अल्गोरिदमिक पक्षपात: गणिताचे नियम मानवी भेदभावाची पुनरावृत्ती का करतात?

स्वयंचलित निर्णयांमागील गणिती तटस्थतेचा भ्रम

आधुनिक समाजात असा एक मोठा गैरसमज पसरलेला आहे की संगणकाचे नियम (अल्गोरिदम) हे स्वभावतःच निष्पक्ष असतात, कारण संगणकाला राग येत नाही, तो कोणाबद्दल व्यक्तिगत आकस बाळगत नाही किंवा त्याच्या मनात कोणतेही पूर्वग्रह नसतात. मानवी व्यक्तिनिष्ठ निर्णयांच्या जागी गणिती आकडेमोड आणल्यास गुणवत्तेवर आधारित पूर्णपणे निःपक्षपाती निकाल मिळतील या गृहीतकावर बँका, सरकारी संस्था आणि कंपन्यांचे भरती विभाग स्वयंचलित प्रणालींचा वापर करतात. एखादा अल्गोरिदम क्रेडिट स्कोअर मोजत असेल, नोकरीसाठी उमेदवारांची निवड करत असेल किंवा गुन्हेगारी प्रवृत्तीचा अंदाज लावत असेल, तर तो केवळ वस्तुनिष्ठ सत्यच मांडत आहे असा दावा अनेकदा केला जातो.

परंतु हे गृहीतक एका मूलभूत तांत्रिक सत्याकडे डोळेझाक करते: डेटावरून स्वतः शिकणारी संगणकीय प्रणाली (मशीन लर्निंग) कोणत्याही निष्कलंक तात्त्विक दृष्टिकोनातून जगाचे मूल्यांकन करत नाही. त्या केवळ गेल्या अनेक दशकांत अपूर्ण मानवी संस्थांनी तयार केलेल्या जुन्या ऐतिहासिक नोंदींवर प्रशिक्षित झालेली सांख्यिकी पॅटर्न जुळवणारी इंजिने आहेत. जर भूतकाळातील डेटामध्ये घरांच्या कर्जातील पक्षपात, वरिष्ठ पदांवरील भरतीमध्ये महिलांचे नगण्य प्रमाण, किंवा विशिष्ट वस्त्यांमध्ये पोलिसांनी केलेली अवाजवी धरपकड दिसून येत असेल, तर अल्गोरिदम त्या नोंदींच्या नैतिक वैधतेवर कधीही शंका घेत नाही. तो फक्त त्यातील गणिती परस्परसंबंध ओळखतो आणि भूतकाळातील मानवी पूर्वग्रहांचे स्वयंचलित भविष्यातील धोरणात रूपांतर करतो.

पक्षपाताची मुख्य तांत्रिक कारणे: डेटातील असमतोल आणि फीडबॅक लूप

अल्गोरिदममधील पक्षपात सहसा कोणत्याही दुष्ट प्रोग्रामरने कोडमध्ये थेट भेदभावाचे नियम लिहिल्यामुळे निर्माण होत नाही. त्याऐवजी, हा पक्षपात पुढील गणिती कारणांमुळे प्रणालीत प्रवेश करतो:

• ऐतिहासिक नमुन्यांमधील असंतुलन: जेव्हा प्रशिक्षण डेटामध्ये बहुसंख्य लोकांचेच प्रमाण जास्त असते, तेव्हा संगणकाची दृष्टी आणि आवाज ओळखणारी प्रणाली त्या गटांसाठी अचूक चालते; मात्र अल्पसंख्याक चेहऱ्यांवर किंवा स्थानिक बोलीभाषांवर तिच्या चुकांचे प्रमाण प्रचंड वाढते.
• पर्यायी किंवा छुप्या खुणांचा सापळा (प्रॉक्सी व्हेरिएबल्स): डेटामधून जात, धर्म किंवा लिंग यांसारखी संवेदनशील माहिती काढून टाकली तरी पक्षपात नष्ट होत नाही; कारण प्रणाली पिनकोड, शाळेचे नाव किंवा इंटरनेटवरील सवयी यांसारखे पर्यायी घटक शोधून काढते, जे थेट त्या घटकांशी जोडलेले असतात.
• स्वतःला बळकट करणारे चक्र (फीडबॅक लूप): जेव्हा पोलीस तपासातील अल्गोरिदम जुन्या नोंदींवरून विशिष्ट वस्त्यांमध्ये अतिरिक्त गस्त पाठवतो, तेव्हा पोलीस तिथेच लहान गुन्ह्यांची नोंद जास्त करतात; अल्गोरिदम या नव्या नोंदींचा वापर करून त्याच भागाला पुन्हा अधिक संशयित घोषित करतो.
• मानवी निर्णयांचे पूर्वग्रहदूषित लेबलिंग: जेव्हा अल्गोरिदमला भूतकाळातील मानवी निर्णयांवरून — जसे कर्ज मंजूर झाले होते की नाही किंवा कर्मचाऱ्याला पदोन्नती मिळाली होती का — शिकवले जाते, तेव्हा मॉडेल खऱ्या क्षमतेऐवजी माणसांच्या जुन्या पक्षपाती प्रवृत्तीची पुनरावृत्ती करायला शिकते.

कंपन्यांमधील नोकरभरतीमध्ये जाणिवपूर्वक मानवी पूर्वग्रह आणि अल्गोरिदमचा अप्रत्यक्ष प्रभाव यातील ठोस फरक लक्षात घ्या. जुन्या विचारांचा एक पक्षपाती व्यवस्थापक महिलांची नावे असलेले अर्ज हेतुपुरस्सर कचऱ्यात फेकून देऊ शकतो. याउलट, गेल्या वीस वर्षांत प्रामुख्याने पुरुष अभियंत्यांनाच कामावर ठेवण्याच्या कंपनीच्या इतिहासावर प्रशिक्षित झालेले स्वयंचलित भरती साधन बाहेरून पूर्णपणे तटस्थ वाटू शकते. तरीही संशोधकांच्या असे लक्षात आले की अशा मॉडेल्सनी 'महिला' शब्द असलेले अर्ज (जसे 'महिला बुद्धिबळ संघाची कर्णधार') किंवा केवळ महिलांच्या महाविद्यालयातून पदवी घेतलेल्या उमेदवारांचे गुण परस्पर कमी केले; कारण ऐतिहासिक डेटातील सांख्यिकी प्रमाणाने पुरुष गुणधर्मांनाच भूतकाळातील यशाचे लक्षण मानले होते.

ऑडिट पद्धती, कायदेशीर चौकट आणि तपासणीच्या मर्यादा

अल्गोरिदममधील पक्षपात शोधण्यासाठी आणि कमी करण्यासाठी तंत्रज्ञ विविध सांख्यिकी पद्धती वापरतात:

• तुलनात्मक पडताळणी चाचण्या (काउंटरफॅक्च्युअल ऑडिटिंग): तंत्रज्ञ अर्जातील सर्व माहिती समान ठेवून केवळ जात, लिंग किंवा भागाचे नाव बदलून प्रणालीत टाकतात आणि अल्गोरिदमच्या गुणांमध्ये विनाकारण फरक पडतो का हे तपासतात.
• वेगवेगळ्या गटांवरील परिणामांचे सांख्यिकी विश्लेषण (डिस्पॅरेट इम्पॅक्ट ॲनालिसिस): नियामक आणि संशोधक विविध लोकसंख्या घटकांना मिळणाऱ्या निकालांचे गुणोत्तर मोजतात, जेणेकरून एखाद्या विशिष्ट गटावर अप्रत्यक्षपणे प्रतिकूल परिणाम होत नाही ना हे स्पष्ट होते.
• संतुलित डेटा संकलन: जबाबदार संस्था मॉडेल्स लागू करण्यापूर्वीच डेटाबेसमधील प्रतिनिधित्वाची तपासणी करतात आणि नमुन्यांमधील तफावत भरून काढण्यासाठी अतिरिक्त माहिती गोळा करतात.

मात्र अशा तांत्रिक तपासण्यांच्याही स्वतःच्या मर्यादा असतात. समाजातील सर्व सूक्ष्म आणि गुंतागुंतीचे संदर्भ केवळ गणिताच्या सूत्रांनी सोडवणे शक्य नसते. शिवाय, कायदेशीर अधिकारांचा विचार केला, तर सर्व देशांमध्ये एकसारखी परिस्थिती नाही. उदाहरणार्थ, युरोपियन युनियनमध्ये (GDPR आणि EU AI Act अंतर्गत) नागरिकांना महत्त्वाच्या स्वयंचलित निर्णयांचे स्पष्टीकरण मागण्याचा किंवा मानवी फेरविचाराची विनंती करण्याचा कायदेशीर अधिकार मिळतो. परंतु भारत आणि इतर अनेक विकसनशील देशांमध्ये अशा निर्णयांविरुद्ध स्वतंत्र नियामक कायदे अजूनही प्राथमिक टप्प्यात आहेत. त्यामुळे सर्वत्र असा कोणताही जागतिक पातळीवर हमी दिलेला अधिकार अस्तित्वात नाही.

अल्गोरिदम हे काही न्यायाचे दैवी न्यायाधीश नाहीत; आपण त्यांना जी ऐतिहासिक माहिती पुरवतो, त्याचाच तो आरसा आहेत. गणिती मॉडेल्स भूतकाळातील मानवी चुकांना अधिकृत रूप देऊ शकतात हे ओळखणे, हीच पारदर्शक तपासणी, स्थानिक कायदेशीर उत्तरदायित्व आणि मानवी विवेक जपणाऱ्या तंत्रज्ञानाची मागणी करण्याच्या दिशेने पडलेली महत्त्वाची पायरी आहे.