वाचनासाठी 4 मिनिटे

एक वाक्य लिहा आणि व्हिडिओ तयार: संगणक हालचालींचे नियम कसे शिकतो?

प्रकाशित

३० सेकंदांत अर्थ

एआय व्हिडिओ निर्मिती मॉडेल हे असे संगणकीय तंत्रज्ञान आहे जे केवळ लेखी सूचना किंवा एका स्थिर चित्रावरून नवीन हालचाली असणारा व्हिडिओ तयार करते. हे मॉडेल इंटरनेटवरील लाखो व्हिडिओंमधून वस्तू, प्रकाश आणि हालचालींचे नमुने शिकते आणि त्याच नमुन्यांवर आधारित नवीन दृश्य रचते.

OpenAI Sorasora.com ↗
OpenAI चे अधिकृत व्हिडिओ निर्मिती साधन, जे ChatGPT Plus आणि Pro वर्गणीदारांसाठी sora.com वर उपलब्ध आहे.

तुमच्या मुलाच्या वाढदिवसाची थीम 'अंतराळातील प्रवास' आहे. तुम्ही फोनवर एक वाक्य टाइप केले: 'एक लहान मुलगा चंद्रावर उडी मारत आहे, मागे पृथ्वी चमकत आहे.' काही सेकंदांत स्क्रीनवर एक व्हिडिओ दिसतो. मुलगा हळूहळू उडी मारतो, धूळ उडते आणि पृथ्वी मागे फिरत राहते. पण बारकाईने पाहिल्यास मुलाचे पाय जमिनीवरून वर उचलले जात नाहीत, तर सरकत जातात. ही छोटी चूक तुम्हाला सांगते की हा व्हिडिओ खऱ्या कॅमेऱ्याने घेतलेला नाही. मग संगणक हे दृश्य कसे तयार करतो?

व्हिडिओचे तुकडे आणि हालचालींचे नियम

सामान्य कॅमेरा एका सेकंदात 24 ते 30 फोटो (फ्रेम्स) टिपतो. एआय मॉडेल मात्र प्रत्येक फ्रेम स्वतंत्रपणे काढत नाही. ते व्हिडिओचे लहान चौकोनी तुकडे करते, ज्यांना 'पॅचेस' म्हणतात. प्रत्येक तुकडा हा फोटोचा एक भाग आणि काही क्षणांचा वेळ यांचा संगम असतो. यामुळे संगणकाला 'कोणती वस्तू कुठे आहे' आणि 'ती किती वेगाने हलत आहे' हे दोन्ही एकाच वेळी समजते. ही पद्धत 'स्पेस-टाइम पॅचेस' (जागा आणि काळाचे तुकडे) म्हणून ओळखली जाते.

मग संगणकाला हे नियम कसे कळतात? त्याला इंटरनेटवरील लाखो तासांचे व्हिडिओ दाखवले जातात. तो प्रत्येक व्हिडिओत 'पाणी खाली वाहते', 'चेंडू उडी मारल्यावर खाली येतो', 'सावली प्रकाशाच्या विरुद्ध दिशेला पडते' असे नमुने शोधतो. या नमुन्यांना तो गणितीय संख्यांमध्ये साठवतो. जेव्हा तुम्ही नवीन सूचना द्याल, तेव्हा तो याच संख्यांच्या आधारे नवीन दृश्य रचतो. हे तंत्र 'डिफ्यूजन ट्रान्सफॉर्मर' (डिफ्यूजन म्हणजे धुरकटपणा साफ करणे आणि ट्रान्सफॉर्मर म्हणजे माहितीचे भाग जोडणारे जाळे) असे म्हणतात.

धुरकटपणापासून स्पष्ट चित्रापर्यंत

कल्पना करा की तुमच्या समोर एक धूसर काच आहे. तिच्यावर काहीतरी हलताना दिसते, पण स्पष्ट नाही. संगणक सुरुवातीला अशीच धूसर फ्रेम तयार करतो. नंतर तो ती फ्रेम तुमच्या सूचनेशी तुलना करतो. 'समुद्रकिनारा' असे लिहिले असेल, तर तो लाटांचा आकार अधिक स्पष्ट करतो. 'संध्याकाळचा प्रकाश' असेल, तर नारिंगी रंग वाढवतो. हे पायऱ्या-पायऱ्यांनी तो धूसर चित्र स्वच्छ करत जातो. शेवटी प्रत्येक फ्रेममधील वस्तू मागील फ्रेमशी जुळवून तो एक सलग व्हिडिओ बनवतो.

या प्रक्रियेत एक महत्त्वाची गोष्ट घडते: 'ऑब्जेक्ट परसिस्टन्स' (वस्तू टिकून राहणे). समजा, तुमच्या व्हिडिओत एक कुत्रा डावीकडे गेला आणि पडद्याबाहेर निघून गेला. काही सेकंदांनी तो पुन्हा उजवीकडून आला, तर तो पहिल्यासारखाच दिसला पाहिजे. जुनी मॉडेल्स हे विसरत असत, पण नवीन मॉडेल्स वस्तूचा 'मागोवा' ठेवतात. हेच तंत्रज्ञान तुमच्या व्हिडिओला खरेपणा देते.

कॅमेरा कसा हलवायचा?

सूचना लिहिताना तुम्ही कॅमेराची हालचालही सांगू शकता. उदाहरणार्थ, 'कॅमेरा हळूहळू वर सरकत आहे' किंवा 'ड्रोनसारखा फिरत आहे' असे लिहिल्यास संगणक तसाच कोन ठेवतो. यामुळे चित्रपटातील ग्रू-शॉट किंवा प्लॅन-सिक्वेन्स सारखे दृश्य तयार होतात. पण लक्षात ठेवा, हे सर्व तुमच्या सूचनेतील शब्दांवर अवलंबून असते. 'कॅमेरा फिरत आहे' असे लिहिल्यास तो कोणत्या दिशेने फिरावा हे तो स्वतः ठरवतो, आणि कधीकधी चुकतो.

संगणक कुठे चुकतो?

सर्वात सामान्य चूक म्हणजे भौतिक नियमांचे उल्लंघन. उदाहरणार्थ, काच फुटण्याआधीच तुकडे पडतात, किंवा एखादी व्यक्ती मागे चालताना पुढे जात असल्यासारखी दिसते. कारण संगणकाने 'कारण आणि परिणाम' हे नाते फार बारकाईने शिकलेले नसते. तो फक्त दिसणारे नमुने ओळखतो. दुसरी अडचण म्हणजे हात-बोटांची हालचाल. जास्त हालचालींमध्ये बोटे एकमेकांत मिसळतात किंवा वाढतात. हे टाळण्यासाठी तुम्ही सूचना अधिक तपशीलवार लिहू शकता, पण 100% अचूकतेची हमी कोणीही देऊ शकत नाही.

आणखी एक महत्त्वाची गोष्ट म्हणजे ओळख. या साधनाने तयार केलेल्या प्रत्येक व्हिडिओमध्ये एक सूक्ष्म खूण (मेटाडेटा) बसवली जाते. त्यामुळे तो व्हिडिओ एआयने बनवला आहे हे तपासणारी साधने ओळखू शकतात. पण ही खूण कापली किंवा बदलली गेली, तर ओळखणे कठीण होते. म्हणूनच कोणताही व्हिडिओ पाहिल्यावर केवळ दिसण्यावर विश्वास ठेवू नका, तर त्याचा स्रोत तपासा.

तुम्ही काय करू शकता?

  • सूचना तपशीलवार लिहा: 'एक मुलगी' असे न लिहिता 'लाल फ्रॉक घातलेली मुलगी हिरव्या गवतावर धावत आहे, तिचे केस वाऱ्याने उडत आहेत' असे लिहा. यामुळे संगणकाला दिशा मिळते.
  • हालचालींचे वर्णन करा: 'ती हळूहळू डावीकडे वळते' किंवा 'कॅमेरा जवळ येत आहे' असे लिहा. केवळ 'व्हिडिओ बनव' असे लिहिल्यास तो स्वतःच अंदाज लावतो आणि चुकतो.
  • एकावेळी एकच बदल करा: आधी फक्त दृश्य तयार करा, नंतर कॅमेरा हलवा, नंतर प्रकाश बदला. एकाच सूचनेत सर्व काही मागितल्यास गोंधळ होतो.
  • तयार व्हिडिओ काळजीपूर्वक पाहा: पाय, बोटे, सावली आणि वस्तूंचा आकार तपासा. शंका आल्यास पुन्हा तयार करा किंवा सूचना बदला.
  • व्हिडिओ शेअर करण्यापूर्वी खात्री करा: तो खरा आहे की एआयने बनवलेला? कोणत्याही व्यक्तीचा चेहरा किंवा आवाज वापरला असेल, तर त्यांची परवानगी आहे का ते तपासा.

हे तंत्रज्ञान अजूनही शिकत आहे. जसजसे अधिक व्हिडिओ आणि अधिक अभिप्राय मिळतील, तसतसे ते अधिक अचूक होईल. पण तोपर्यंत, प्रत्येक व्हिडिओ मागे एक संगणक आहे हे लक्षात ठेवा. तो तुमच्या कल्पनेला आकार देतो, पण तो स्वतः विचार करत नाही. त्यामुळे त्याच्या आउटपुटवर विश्वास ठेवण्यापूर्वी तुमची स्वतःची नजर आणि विवेक हेच सर्वात मोठे साधन आहे.

स्रोत
  1. व्हिडिओ निर्मिती मॉडेल्स जगाचे सिम्युलेटर म्हणूनOpenAI