AI लिप सिंक: व्हिडिओमध्ये कोणत्याही भाषेनुसार ओठांची हालचाल अचूक जुळवणारे तंत्रज्ञान

हॉलिवूडचा अभिनेता अस्खलित मराठीत बोलतो तेव्हा

तुम्ही टीव्हीवर एखादा इंग्रजी चित्रपट पाहिला असेल. जेव्हा तो मराठीत डब केलेला असतो, तेव्हा एक मोठी अडचण नेहमी नजरेत भरायची: अभिनेता पडद्यावर इंग्रजीत 'थँक यू' म्हणून तोंड बंद करायचा, पण मराठी डबिंगमध्ये 'फार फार आभारी आहे' असा लांबलचक संवाद सुरूच राहायचा! आवाज आणि ओठांचा हा बेतालपणा अत्यंत हास्यास्पद वाटायचा. आज मात्र आधुनिक संगणकीय तंत्रज्ञानाने ही दरी कायमची मिटवली आहे. आवाजानुसार ओठांची हालचाल आपोआप बदलणाऱ्या तंत्रज्ञानामुळे (न्यूरल लिप सिंक्रोनायझेशन) हॉलिवूडचा अभिनेता चक्क अस्खलित मराठी किंवा हिंदीमध्ये स्वतःच्याच ओठांनी बोलताना दिसतो.

पूर्वी अशा कामासाठी एकेका फ्रेममध्ये हाताने रेखाटने करून बदल करण्याची जुनी पद्धत (मॅन्युअल कीफ्रेमिंग) लागायची, ज्यासाठी महिन्यांचे कष्ट आणि कोट्यवधी रुपये लागायचे. आधुनिक एआय मात्र हे काम काही तासांत संगणकावर स्वयंचलितपणे पूर्ण करते. आंतरराष्ट्रीय शिक्षण, भाषांतर आणि सिनेमा क्षेत्रासाठी हे साधन अत्यंत क्रांतिकारी ठरले आहे.

आवाजाचे तुकडे आणि ओठांचे आकार: पडद्यामागचे गणित

हे तंत्रज्ञान काम कसे करते? सॉफ्टवेअर सुरुवातीला नवीन भाषेतील आवाजाचे तुकडे करते. मानवी आवाजातील लहानात लहान उच्चार तुकड्यांना फोनीम्स (Phonemes) म्हणतात; जसे की 'प', 'ब' किंवा 'म'. जेव्हा आपण 'म' उच्चारतो, तेव्हा दोन्ही ओठ एकमेकांना चिकटतात. बोलताना ओठ आणि जबड्याचे दिसणारे हे बाह्य आकार म्हणजेच व्हिझीम्स (Visemes) होय.

संगणक प्रत्येक उच्चार तुकड्याला योग्य त्या ओठांच्या आकाराशी जुळवून मूळ व्हिडिओतील खालचा चेहरा पुन्हा नव्याने तयार करतो. मात्र येथे एक अडचण येते. बोलताना माणसाचे गाल हलतात, हनुवटीखालील स्नायू ताणले जातात आणि चेहऱ्यावरील सूक्ष्म भाव (मायक्रो-एक्स्प्रेशन्स) बदलतात. जर संगणकाने केवळ ओठ हलवले आणि बाकीचा चेहरा मृत माणसासारखा स्थिर राहिला, तर माणसासारखा वाटणारा पण कृत्रिम असल्यामुळे भीतीदायक वाटणारा विचित्र भास (अनकॅनी व्हॅली इफेक्ट) प्रेक्षकांच्या मनात निर्माण होतो.

बनावट लिप-सिंक कसे ओळखायचे?

राजकीय नेते किंवा अधिकाऱ्यांचे बनावट भाषण ओळखण्यासाठी खालील गोष्टी बारकाईने तपासाव्यात:

• दातांची आणि जिभेची अस्वाभाविक हालचाल: एआय अनेकदा तोंडाच्या आत दात धूसर दाखवते किंवा जीभ न हलताच शब्द बाहेर पडतात.
• गाल आणि डोळ्यांमधील निर्जीवपणा: जोरात हसताना किंवा रागात बोलताना डोळ्यांच्या कोपऱ्यातील सुरकुत्या न बदलणे.
• ओठांभोवतीचा धुरकटपणा: ओठांच्या कडा चेहऱ्याच्या त्वचेमध्ये विरघळल्यासारख्या किंवा किंचित थरथरताना दिसणे.
• मूळ व्हिडिओचा शोध घ्या: संशयास्पद व्हिडिओतील एक फ्रेम गुगलवर शोधून मूळ भाषेतील अस्सल भाषण तपासा.

भविष्यात खोट्या भाषणांना आळा घालण्यासाठी व्हिडिओच्या मूळ उगमाची डिजिटल प्रमाणके (कंटेंट प्रॉव्हेनन्स स्टँडर्ड्स) लागू केली जात आहेत. तंत्रज्ञानाचा आनंद घेतानाच डोळे आणि बुद्धी सतर्क ठेवणे हीच खरी सजगता आहे.