वाचनासाठी 3 मिनिटे

कॉलमधला गोंधळ एआय कसा कमी करते?

प्रकाशित

३० सेकंदांत अर्थ

न्युरल आवाज दमन म्हणजे प्रशिक्षण दिलेल्या मॉडेलच्या मदतीने बोलण्याच्या ध्वनीतील नको असलेले आवाज कमी करून संभाषण अधिक स्पष्ट करण्याची प्रक्रिया.

कॉलवर बोलताना शेजारी पंखा सुरू आहे, पण दुसऱ्या व्यक्तीला त्याचा घरघराट कमी ऐकू येतो. पंखा थांबलेला नसतो आणि खोलीतली हवा शांत झालेली नसते. बदल कॉलमध्ये पाठवलेल्या आवाजात होतो. म्हणून तुम्हाला खोलीत जो आवाज ऐकू येतो तो आणि सहकाऱ्याला मिळालेला आवाज वेगळे असू शकतात.

मायक्रोफोनला वेगळे आवाज मिळत नाहीत

मायक्रोफोन तुमचे बोलणे, पंखा आणि इतर आवाज एकत्र पकडतो. प्रत्येकाचा स्वतंत्र ध्वनी मिळालेला नसतो. मॉडेल या मिश्रणाचे छोटे तुकडे तपासते आणि बोलण्याशी जुळणारे भाग व गोंधळ असण्याची शक्यता असलेले भाग यांचा अंदाज लावते. काही भागांचे ध्वनीमान कमी केले की पुढे पाठवलेल्या आवाजात गोंधळ कमी जाणवतो. मात्र हा अंदाज आहे, निर्विवाद वेगळेकरण नाही.

RNNoise या संशोधन पद्धतीत ध्वनीचे खालचे आणि वरचे घटक गटांत मांडले जातात. प्रत्येक गट किती कमी करायचा हे शिकलेले मॉडेल ठरवते; पारंपरिक ध्वनी प्रक्रिया त्यासोबत काम करते. प्रत्येक ॲप हेच तंत्र वापरत नाही. हे उदाहरण मिश्र ध्वनी येतो, दमनाचा अंदाज तयार होतो आणि बदललेला ध्वनी बाहेर जातो, ही प्रक्रिया स्पष्ट करते.

शिकण्याची तयारी आणि प्रत्यक्ष वापर

प्रशिक्षणासाठी स्वच्छ बोलण्याच्या नोंदीत वेगळा गोंधळ मिसळता येतो. त्यामुळे मिश्र ध्वनी आणि जपायचे मूळ बोलणे यांची तुलना करता येते. त्या उदाहरणांवरून मॉडेल ध्वनी कमी करण्याचे गणित सुधारते. नंतर वापराच्या वेळी नव्या ध्वनीवर शिकलेले संबंध लागू होतात. प्रत्येक शब्दाचा अर्थ समजून त्याला परत बनवणे ही या विशिष्ट पद्धतीची प्रक्रिया नाही.

शिकवताना विविध गोंधळ आणि रेकॉर्डिंग परिस्थिती दाखवणे महत्त्वाचे आहे, असे RNNoise चे लेखक स्पष्ट करतात. अपरिचित आवाज किंवा वेगळ्या माईकमुळे फळ बदलू शकते. एखाद्या प्रात्यक्षिकात पंख्याचा आवाज चांगला कमी झाला म्हणून प्रत्येक परिस्थितीत तितकीच कामगिरी होईल असे ठरत नाही. वापरत असलेले साधन आणि तुमचा ध्वनी यांची प्रत्यक्ष तुलना आवश्यक आहे.

गोंधळासोबत बोलणेही कमी होऊ शकते

बोलणे आणि पार्श्वभूमीचा आवाज ध्वनीच्या काही समान भागांत येऊ शकतात. तो भाग जास्त कमी केल्यास त्यातला शब्दाचाही अंश कमी होतो. आवाज कृत्रिम वाटू शकतो किंवा शब्दांची सुरुवात आणि शेवट अस्पष्ट होऊ शकतो. म्हणून पार्श्वभूमी पूर्ण शांत झाली हेच चांगल्या निकालाचे लक्षण नाही. समोरच्या व्यक्तीला शब्द नीट समजतात का, हेही पाहायला हवे.

बोलण्यासाठी तयार केलेले दमन गिटार किंवा गाण्याला नको असलेला ध्वनी मानू शकते. संगीत शिकवताना हे त्रासदायक ठरते. झूमच्या अधिकृत मार्गदर्शनात संगीतासाठी मूळ ध्वनी जपणारे पर्याय दिले आहेत. हा त्या उत्पादनाचा विशिष्ट पर्याय आहे; दुसऱ्या ॲपमध्ये नाव आणि प्रक्रिया बदलू शकतात. संगीत पाठवायचे असल्यास त्या सेवेत योग्य ध्वनी मोड आहे का तपासा.

फरक ऐकून सेटिंग निवडा

लहान चाचणीत तेच वाक्य दमन सुरू करून आणि बंद करून म्हणा. पंखा कमी ऐकू येतो का आणि शब्द अखंड राहतात का, हे दोन्ही पाहा. तीव्रता निवडता येत असेल तर कमी तीव्रताही वापरून बघा. असा पर्याय नसल्यास शोधत बसण्याऐवजी अधिक शांत जागा किंवा नीट बसवलेला मायक्रोफोन वापरता येतो. प्रत्येक कॉलसाठी सर्वात तीव्र दमन चांगलेच असेल असे नाही.

महत्त्वाच्या बैठकीपूर्वी दुसऱ्या व्यक्तीला आवाज कसा मिळतो ते विचारा. स्थानिक रेकॉर्डिंग आणि कॉलमध्ये पाठवलेला आवाज यांना समान प्रक्रिया मिळेलच असे नाही. संगीताच्या धड्यात बोलणे आणि वाद्य दोन्ही तपासा. हा कोणत्याही विशिष्ट ॲपचा परीक्षेत मिळालेला निकाल नाही; तुमच्या सेटिंगची खात्री करण्याची पद्धत आहे.

आवाजातील गोंधळ कमी केल्याने आजूबाजूची खोली शांत होत नाही; पाठवलेला ध्वनी बदलतो. ही प्रक्रिया उपयुक्त आहे, पण तिचे उद्दिष्ट फक्त शांतता नाही. ऐकणाऱ्याला हवी असलेली माहिती स्पष्ट राहणे, हा सेटिंग निवडण्याचा अधिक उपयोगाचा निकष आहे.

स्रोत
  1. A Hybrid DSP/Deep Learning Approach to Real-Time Full-Band Speech EnhancementJean-Marc Valin; IEEE Multimedia Signal Processing Workshop
  2. RNNoise: Learning Noise SuppressionJean-Marc Valin / Xiph.org
  3. Setting up professional audio for Zoom MeetingsZoom Support