फोटो आणि प्रश्न एकत्र: एआय वेगवेगळी माहिती कशी जोडते?

एका काल्पनिक प्रसंगात आपण बसच्या वेळापत्रकाचा फोटो काढून विचारता, “संध्याकाळी सहानंतर कोणती बस आहे?” फक्त मजकूर स्वीकारणाऱ्या साहाय्यकाला वेळापत्रक टाइप करून द्यावे लागेल. चित्र स्वीकारणारी प्रणाली फोटो आणि प्रश्न एकत्र वापरू शकते. पण फोटो धूसर असेल तर ती वेळ चुकीची वाचू शकते. माहिती देण्याचे मार्ग वाढले म्हणजे उत्तर चुकणारच नाही असे होत नाही.

माहितीची रूपे वेगळी असतात

बहुरूपी म्हणजे एकापेक्षा जास्त प्रकारची माहिती हाताळणारे. मजकुरात शब्दांचा क्रम असतो, चित्रात रंग, आकार आणि त्यांच्या जागा असतात, तर ध्वनीत वेळेनुसार बदलणारा संकेत असतो. या माहितीवर प्रक्रिया करण्याच्या पद्धतीही वेगळ्या असू शकतात. दोन रूपे वापरणारी प्रणालीही बहुरूपी आहे. नावातील “बहु” म्हणजे ती सर्व प्रकारच्या फाइल स्वीकारते किंवा तयार करते असा अर्थ नाही.

अनेक भाषा येणे ही वेगळी गोष्ट आहे. मराठी आणि इंग्रजी मजकूर वापरणारी प्रणाली बहुभाषिक असू शकते; तिला फोटो देता येईलच असे नाही. उलट चित्र आणि मजकूर स्वीकारणारी प्रणाली बहुरूपी असली तरी मराठीतील प्रत्येक प्रश्नाला सारख्याच दर्जाचे उत्तर देईल याची खात्री नाही. माहितीचे रूप आणि भाषेचा आधार या दोन्ही गोष्टी स्वतंत्रपणे तपासाव्या लागतात.

फोटोचा प्रश्नाशी संबंध कसा जोडला जातो?

चित्रावर प्रक्रिया करणारा भाग दृश्यातील खुणांचे वापरण्याजोग्या संख्यात्मक प्रतिनिधित्वात रूपांतर करतो. वेळापत्रकातील ओळी, अंकांचे आकार आणि त्यांच्या जागा उत्तरासाठी महत्त्वाच्या असू शकतात. लिखित प्रश्न सहानंतरच्या वेळांकडे लक्ष वळवतो. या माहितीला जोडणाऱ्या भागामुळे उत्तर तयार करताना चित्रातील माहिती वापरता येते. सर्व प्रणाली आधी संपूर्ण चित्रातील मजकूर लिहून काढतात आणि मगच उत्तर देतात असे मात्र नाही.

२०२२ मधील Flamingo संशोधनात दृश्यांवर काम करणारे मॉडेल आणि भाषेवर काम करणारे मॉडेल जोडण्याचे उदाहरण आहे. उत्तर तयार करताना प्रश्नानुसार दृश्यातील माहिती वापरता येईल अशी जोड त्यात दिली आहे. तयारीसाठी चित्रांसोबत येणारा मजकूर वापरला जातो. अशा उदाहरणांतून चित्र, वर्णन आणि प्रश्न यांचे संबंध शिकता येतात. हीच रचना प्रत्येक व्यावसायिक साहाय्यकात आहे असे या संशोधनावरून म्हणता येत नाही.

तयारीच्या काळात उदाहरणांतून संबंध शिकणे आणि नंतर आपण दिलेल्या फोटोवर उत्तर देणे वेगळे टप्पे आहेत. फोटोतील माहिती आणि आधी शिकलेले संबंध दोन्ही उत्तरावर परिणाम करू शकतात. चित्रात नसलेली वेळ नेहमीच्या वेळापत्रकाच्या पद्धतीवरून सांगितली तर ते अचूक वाचन नाही. उत्तर ठाम भाषेत दिले म्हणून ते फोटोवरून बरोबर घेतले आहे असा पुरावा मिळत नाही.

स्पष्ट प्रश्नाची मदत किती?

“हे समजावून सांगा” ऐवजी “या वेळापत्रकात संध्याकाळी सहानंतरच्या सुटण्याच्या वेळा वाचा; अस्पष्ट अंकांचा अंदाज बांधू नका” असे विचारता येईल. यामुळे सर्वसाधारण वर्णनाऐवजी नेमकी हवी असलेली माहिती स्पष्ट होते. तरी स्पष्ट सूचना चुकीचे वाचन पूर्णपणे थांबवत नाही. दिलेले उत्तर फोटोतील संबंधित ओळींशी जुळते का हे पाहावे लागते.

Google ची चित्रांबाबतची कागदपत्रे चित्रवर्णन, वर्गीकरण आणि दृश्यावरील प्रश्नांची उत्तरे अशी कामे सांगतात. स्पष्ट फोटो आणि योग्य दिशा यांचे महत्त्वही नमूद करतात. बारीक अंक वाचताना चूक होऊ शकते; आवश्यक भाग स्पष्ट दिसणारा फोटो उपयोगी पडतो. वेळ वाचता येत नसेल तर वाहतूक संस्थेच्या अधिकृत वेळापत्रकात तपासा. फोटोचे वर्णन म्हणजे बस प्रत्यक्ष चालू आहे याची खात्री नाही.

ध्वनी स्वीकारणाऱ्या काही प्रणाली रेकॉर्डिंगविषयी उत्तर देऊ शकतात, त्याचे शब्द लिहू शकतात किंवा सारांश देऊ शकतात. Google ची ध्वनीसंबंधी कागदपत्रे असे उपयोग सांगतात. पण चित्र स्वीकारणारी प्रत्येक प्रणाली ध्वनीही स्वीकारेल असे नाही. व्हिडिओ स्वीकारल्याने त्यातील प्रत्येक घटना अचूक ओळखली जाईल याचीही हमी नाही. कोणते इनपुट चालतात आणि उत्तर कोणत्या रूपात मिळते हे वेगळे पाहा.

फोटो देण्याआधी त्यात अनावश्यक नाव, फोन क्रमांक किंवा दुसऱ्याचा चेहरा आहे का ते पाहा. Google च्या कागदपत्रांत चित्र आणि ध्वनी अपलोड करण्याचे मार्ग आहेत; सर्व बहुरूपी प्रणाली उपकरणातच काम करतात असा त्याचा अर्थ नाही. आपण वापरत असलेल्या सेवेच्या साठवण आणि वाटपाच्या अटी तपासा. अधिक माहिती देता येते म्हणून सर्व माहिती देणे आवश्यक नसते.

Google च्या सुरक्षिततेच्या मार्गदर्शनात चुकीची माहिती तयार होऊ शकते हे स्पष्ट केले आहे. त्यामुळे फोटोमध्ये काय आहे हे शोधण्याची मदत आणि ती माहिती खरी व अद्ययावत आहे का हे तपासणे वेगळे ठेवा. बहुरूपी एआय पहिल्या कामात मदत करू शकते; दुसऱ्यासाठी लागणारा बाहेरचा पुरावा तिला आपोआप मिळत नाही. महत्त्वाच्या निर्णयासाठी उत्तराच्या आत्मविश्वासापेक्षा मूळ माहितीसोबतचा मेळ तपासा.