न्यूरल भाषांतर: शब्दांऐवजी वाक्याचा खरा आशय समजून संगणक कसा अनुवाद करतो?

दोन हजार पाचच्या सुमारास इंटरनेटवर भाषांतर वापरणाऱ्या कोणालाही त्या काळातील विचित्र आणि हास्यास्पद अनुवादाची नक्कीच आठवण असेल. जर तुम्ही एखादा व्यावसायिक ईमेल किंवा साधी म्हण जुन्या भाषांतर साधनांमध्ये टाकली, तर समोर येणारा निकाल एखाद्या अनाकलनीय कोड्यासारखा वाटायचा. 'Raining cats and dogs' (मुसळधार पाऊस) किंवा 'Break a leg' (शुभेच्छा) यांसारख्या इंग्रजी वाक्प्रचारांचे भाषांतर कुत्रे-मांजरांचा पाऊस आणि मोडलेले पाय असे शब्दशः केले जायचे. सुरुवातीचे स्वयंचलित भाषांतर हे एखाद्या यांत्रिक पॉकेट डिक्शनरीसारखे काम करायचे; मानवी व्याकरण किंवा मूळ हेतू न समजता कडक नियमावलीनुसार एका शब्दाला दुसरा शब्द चिकटवला जायचा.

आज मात्र गुगल ट्रान्सलेट किंवा आधुनिक भाषा मॉडेल्स (लार्ज लँग्वेज मॉडेल्स किंवा LLM) इतके अस्खलित आणि संदर्भानुसार अचूक भाषांतर करतात की ते वाचून आश्चर्य वाटते. भाषेतील या अफाट परिवर्तनाचे मूळ संगणक विज्ञानातील एका ऐतिहासिक क्रांतीमध्ये आहे: ज्याला न्यूरल मशीन ट्रान्सलेशन (एनएमटी) म्हणजेच कृत्रिम मेंदूजाळ्यावर आधारित भाषांतर म्हणतात.

जीएनएमटीपासून ट्रान्सफॉर्मरपर्यंत: ऐतिहासिक आणि तांत्रिक टप्पे

मानवी भाषा ही गणिताच्या साध्या समीकरणांसारखी सरळ रेषेत चालत नाही. इंग्रजीत विशेषण नामाच्या आधी येते (उदा. 'the black cat'); तर फ्रेंच किंवा स्पॅनिशमध्ये ते नामाच्या नंतर येते. जर्मन भाषेत क्रियापद अनेकदा लांबलचक वाक्याच्या अगदी शेवटी जाते. तर मराठी किंवा जपानी भाषेत संभाषणाच्या संदर्भानुसार कर्त्याचा स्पष्ट उल्लेख न करताही वाक्याचा अर्थ पूर्ण होतो.

२०१६ च्या सुमारास गुगलने आणलेली जीएनएमटी (GNMT) ही प्रणाली न्यूरल भाषांतराचा एक महत्त्वाचा टप्पा ठरली. ती प्रामुख्याने शब्दांची क्रमाने साखळी जोडणाऱ्या जुन्या न्यूरल जाळ्यांवर (RNN किंवा LSTM) आधारित होती, ज्यामध्ये मॉडेल वाक्यातील शब्द एकामागून एक क्रमाने वाचत असे. यामध्ये वाक्यातील महत्त्वाच्या शब्दांवर लक्ष केंद्रित करण्याची पद्धत (अटेंशन मेकॅनिझम) जोडली गेली, तरीही शब्दांवर क्रमाने प्रक्रिया करावी लागत असल्याने लांबलचक वाक्यांमध्ये वेळ लागायचा आणि सुरुवातीचा संदर्भ शेवटपर्यंत टिकवणे कठीण जायचे.

२०१७ मध्ये संदर्भ एकाच वेळी समजून घेणाऱ्या रचनेचा ('ट्रान्सफॉर्मर' आर्किटेक्चर) शोध लागला आणि या रचनेने भाषांतराचे स्वरूप आमूलाग्र बदलून टाकले. ट्रान्सफॉर्मरने शब्दांची एकामागून एक क्रमाने प्रक्रिया करण्याची पद्धत मोडून काढली. त्याऐवजी, यात सर्व शब्दांचा एकमेकांशी संबंध एकाच वेळी तपासण्याच्या पद्धतीद्वारे ('सेल्फ-अटेंशन') संपूर्ण वाक्य समांतरपणे वाचले जाते. यामुळे मॉडेल वाक्यातील प्रत्येक शब्दाचा इतर सर्व शब्दांशी असलेला थेट संबंध क्षणार्धात तपासू शकते — कर्ता कोणता, सर्वनाम कोणासाठी आले आहे, आणि क्रियापदाचा रोख काय आहे हे अचूक समजते. आजची सर्व प्रगत भाषांतर मॉडेल्स याच तंत्रज्ञानावर चालतात.

शब्दशः अदलाबदल आणि न्यूरल आकलन यांची थेट तुलना

सांस्कृतिक म्हणी आणि लाक्षणिक वाक्प्रचार हाताळताना वेगवेगळ्या प्रणाली कशा वागतात यावरून भाषांतरातील प्रगती स्पष्टपणे दिसून येते:

• वाक्यांश-आधारित जुने भाषांतर: स्पॅनिश भाषेतील 'Tomar el pelo' (थट्टा करणे किंवा फिरकी घेणे) या लोकप्रिय वाक्प्रचाराचे जुन्या साधनांनी इंग्रजीत 'To take the hair' (केस पकडणे) असे शब्दशः भाषांतर केले, ज्यामुळे वाचकांचा पुरता गोंधळ उडाला.
• आधुनिक न्यूरल भाषांतर: अर्थ समजून घेऊन दुसऱ्या भाषेत मांडणारी संगणकीय रचना (एन्कोडर-डिकोडर नेटवर्क) त्या संपूर्ण वाक्प्रचाराला एकच सांस्कृतिक अर्थाचे एकक मानते आणि इंग्रजीत त्याचा नैसर्गिक पर्याय असणारे 'To pull someone's leg' किंवा मराठीत 'फिरकी घेणे' असा समर्पक अनुवाद करते.

सांस्कृतिक बारकावे जपणे आणि संदर्भातील संदिग्धता

न्यूरल मॉडेल्स संपूर्ण वाक्याचे सर्वसमावेशक मूल्यांकन करत असल्याने, ते एकाच शब्दाचे अनेक अर्थ असणाऱ्या (पॉलीसेमी) शब्दांमधील संशय सहज सोडवतात. उदाहरणार्थ, इंग्रजी वाक्यात 'bank' हा शब्द आल्यास मॉडेल आजूबाजूच्या शब्दांची तपासणी करते: जर तिथे 'river' (नदी), 'water' (पाणी) किंवा 'fishing' (मासेमारी) असे शब्द असतील, तर ते 'तीर' किंवा 'काठ' असा अर्थ लावते; आणि जर 'deposit' (ठेव), 'loan' (कर्ज) किंवा 'account' (खाते) हे शब्द असतील, तर ते 'बँक' या पैशांच्या व्यवहाराच्या संस्थेची अचूक निवड करते.

याशिवाय, आधुनिक भाषांतर मॉडेल्स संभाषणातील आदराची पातळी आणि औपचारिकतेची भाषा ओळखतात. मराठीत जसे 'तू' आणि 'तुम्ही' असा भेद असतो, तसेच जर्मन किंवा जपानी भाषेत कार्यालयीन शिष्टाचार आणि सामाजिक नात्यांवरून सर्वनामे ठरतात. न्यूरल मॉडेल्स परिच्छेदातील संभाषणाचा सूर तपासून योग्य त्या आदराची भाषा निवडतात.

स्वयंचलित भाषांतरामध्ये मानवी सावधगिरीची गरज कुठे भासते?

अभूतपूर्व प्रगती झाली असली तरी न्यूरल भाषांतर त्रुटीमुक्त नाही. उच्च दर्जाचे भाषांतर हे प्रशिक्षणासाठी उपलब्ध असलेल्या भाषिक साठ्याच्या प्रमाणावर अवलंबून असते: इंग्रजी, स्पॅनिश किंवा हिंदी यांसारख्या प्रचंड डेटा असलेल्या भाषांमधील भाषांतर अत्यंत विश्वासार्ह असते, परंतु कमी डेटा उपलब्ध असलेल्या स्थानिक किंवा आदिवासी बोलीभाषांमध्ये अचूकतेचा स्तर घसरू शकतो.

तसेच जर मूळ मजकुरात विरामचिन्हे चुकीची असतील किंवा वाक्य संदिग्ध असेल, तर मॉडेल्स कधीकधी चुकीचा अर्थ लावू शकतात किंवा 'नाही' यांसारखा महत्त्वाचा नकारात्मक शब्द वगळू शकतात. म्हणूनच कायदेशीर करार, वैद्यकीय प्रक्रिया किंवा संवेदनशील मुत्सद्दी वाटाघाटींसाठी सूक्ष्म बारकावे आणि कायदेशीर अटी अचूक राहतील याची खात्री करण्यासाठी प्रमाणित मानवी अनुवादकांची मदत घेणे अपरिहार्य ठरते.