डिफ्युजन मॉडेल: संगणक डिजिटल धुळीतून सुंदर चित्रे कशी साकारतो?

अस्पष्ट ठिपक्यांमधून आकार घेणारी डिजिटल चित्रे

तुम्ही संगणकाला “समुद्रकिनाऱ्यावर सूर्यास्ताच्या वेळी चहा पिणारा मांजर” अशी केवळ एक ओळ लिहून देता आणि काही सेकंदांत एखाद्या कसलेल्या चित्रकाराने काढल्यासारखे अप्रतिम चित्र स्क्रीनवर प्रकट होते. अनेकांना वाटते की संगणकाने गुगलवर शोध घेऊन आधीपासून तयार असलेली चित्रे कापून एकत्र चिकटवली असतील. मात्र वास्तव यापेक्षा पूर्णपणे वेगळे आणि आश्चर्यकारक आहे. हे काम धुरकटपणातून चित्र निर्माण करणाऱ्या संगणकीय पद्धतीद्वारे (डिफ्युजन मॉडेल) केले जाते, जी शून्यातून अगदी नवीन चित्र घडवते.

या प्रक्रियेची तुलना एखाद्या शिल्पकलेशी करता येईल. मूर्तिकार जसा दगडातून नको असलेला भाग हळूहळू तासून काढतो आणि शेवटी सुंदर मूर्ती उरते, अगदी तसेच हे मॉडेल काम करते. संगणक टीव्हीच्या जुन्या पडद्यावर दिसणाऱ्या मुंग्यांसारख्या गोंधळलेल्या डिजिटल धुळीपासून (गॉशियन नॉईज) सुरुवात करतो. त्यानंतर प्रत्येक पायरीवर ही धूळ थोडी थोडी पुसून स्वच्छ करत शेवटी स्पष्ट आकाराचे चित्र बाहेर आणतो.

धूळ मिसळणे आणि धूळ पुसणे: उलट-सुलट प्रवास

हे तंत्रज्ञान शिकवण्यासाठी संशोधक एक रंजक पद्धत वापरतात. सुरुवातीला एका चांगल्या चित्रात टप्प्याटप्प्याने डिजिटल गोंधळ मिसळला जातो. शेकडो फेऱ्यांनंतर ते सुंदर चित्र केवळ काळ्या-पांढऱ्या मुंग्यांसारख्या गोंधळात बदलते. या प्रशिक्षणादरम्यान संगणक प्रत्येक पायरीवर कोणती धूळ कशी काढायची हे शिकून घेतो. जेव्हा प्रत्यक्ष चित्र तयार करायचे असते, तेव्हा संगणक हीच प्रक्रिया उलट दिशेने राबवतो. याला डिजिटल धूळ पुसून चित्र स्वच्छ करण्याची उलट प्रक्रिया (रिव्हर्स डिफ्युजन) म्हणतात.

या उलट प्रक्रियेला दिशा देण्यासाठी तुमचा लेखी मजकूर वापरला जातो. मानवी शब्दांचे रूपांतर गणितात करणारा दुभाषी (टेक्स्ट एन्कोडर) तुमच्या सूचनेतील प्रत्येक शब्दाचा अर्थ समजून घेतो आणि त्याचे रूपांतर संख्यात्मक निर्देशकांमध्ये (टेक्स्ट एम्बेडिंग्स) करतो. धुरकटपणा साफ करण्याचा प्रत्येक टप्पा (डीनॉईझिंग) पार पडताना संगणक या निर्देशकांनुसार रंग आणि आकार जुळवतो. अतिवेगवान ग्राफिक्स प्रोसेसर चिप्सच्या (GPUs) मदतीने हा प्रवास काही क्षणांत पूर्ण होतो. सुरुवातीचा आकडा (रँडम सीड) बदलला की प्रत्येक वेळी अगदी वेगळे चित्र तयार होते.

Google Research च्या Imagen शोधनिबंधात आणि ऑन-डिव्हाइस डिफ्यूजन तंत्रज्ञानाच्या संशोधनात मजकुरातील भाषिक संकेत आणि विस्कळीत प्रतिमेतील टप्प्याटप्प्याचे बदल कसे जोडले जातात याचे सविस्तर विश्लेषण केले आहे. गुगलच्या संशोधकांनी दाखवून दिले आहे की भाषा मॉडेलने समजून घेतलेला मजकुराचा अर्थ डिफ्यूजन मॉडेलच्या प्रत्येक पायरीला अचूक दिशा देण्याचे काम करतो. त्यामुळे मजकूर समजणे आणि दृश्य रूप देणे या दोन वेगवेगळ्या क्षमतांचा समन्वय घडून येतो.

येथे एक महत्त्वाची तांत्रिक मर्यादा लक्षात घेणे गरजेचे आहे. हे मॉडेल चित्रांमधील घटकांचा मानवी अर्थ किंवा भावना समजत नाही, तर केवळ शिकलेल्या दृश्य संबंधांची पुनर्रचना करते. त्यामुळे अनेकदा चित्रात अक्षरे लिहिताना स्पेलिंगच्या चुका होतात किंवा मानवी हाताची बोटे, अवयवांची रचना आणि चेहऱ्याची सममिती यात चित्रातील विसंगत डाग किंवा अस्वाभाविक खुणा (व्हिज्युअल आर्टिफॅक्ट्स) स्पष्टपणे दिसून येतात.

डिफ्यूजन साधनांचा वापर करताना बाळगायची दृष्टी

चित्रनिर्मिती साधनांचा प्रभावी वापर करण्यासाठी सूचनेची पद्धत आणि मर्यादांचे भान असणे आवश्यक आहे:

• वर्णनात तपशील आणि प्रकाशाचा संदर्भ द्या: केवळ मांजर लिहिण्याऐवजी हिरव्या गवतावर सकाळच्या कोवळ्या उन्हात बसलेली मांजर असे दृश्य वर्णन केल्यास मॉडेलला आकार निवडणे सोपे जाते.
• बारकावे आणि अक्षरांची स्वतः तपासणी करा: चित्रातील फलकांवरील अक्षरे, हाताची बोटे आणि पार्श्वभूमीतील वस्तूंचे आकार नीट तपासा, कारण मॉडेल तिथे सहसा चुका करते.
• मिळालेल्या चित्राला प्रत्यक्ष घटनेचा पुरावा मानू नका: हे चित्र संपूर्णपणे गणिताने तयार केलेले काल्पनिक दृश्य असते, त्यामुळे त्याचा वापर करताना सत्यतेची कोणतीही खोटी हमी देऊ नका.

अस्पष्ट ठिपक्यांमधून सुंदर कलाकृती साकारणे ही संगणक विज्ञानाची एक मोठी झेप आहे. हे साधन मानवी कल्पकतेला पंख देते, मात्र तयार झालेल्या चित्राचे सौंदर्य आणि अचूकता पारखण्याची खरी जबाबदारी शेवटी मानवी नजरेचीच राहते.