पेंसिल्वेनिया राज्य विश्वविद्यालय के हाल ही में प्रकाशित अध्ययन "माइंड योर टोन" ने एक अजीब सच का खुलासा किया: बड़े भाषा मॉडल के साथ बातचीत करते समय, सीधा या असभ्य ढंग से बोलना, सभ्य शब्दों के बजाय अधिक सटीक जवाब प्राप्त कर सकता है। यह अध्ययन अपने आप में एक अध्ययन है जिसमें प्रश्न के ढंग के AI मॉडल प्रदर्शन पर वास्तविक प्रभाव की जांच की गई है।
अध्ययन टीम ने 50 प्रश्नों के एक परीक्षण सेट का निर्माण किया, जिसमें गणित, विज्ञान और ऐतिहासिक क्षेत्रों के मध्यम कठिनाई के प्रश्न शामिल हैं। प्रत्येक प्रश्न के लिए, अध्ययनकर्ता ने पांच अलग-अलग ढंग के प्रश्न डिज़ाइन किए, जैसे "क्या आप अच्छा होकर इस प्रश्न का उत्तर दे सकते हैं?" जैसे बुराई वाले अभिव्यक्ति, "इस प्रश्न का उत्तर दें" के तटस्थ कथन तक, "सीधे उत्तर दें" के सीधे निर्देश तक, और "आप गलत नहीं हैं तो उत्तर दें" और "आप अच्छे नहीं हैं, इस प्रश्न का उत्तर दे सकते हैं?" जैसे हमलावर अभिव्यक्ति तक।
परीक्षण के लिए OpenAI के नए GPT-4o मॉडल का उपयोग किया गया। परीक्षण के स्वतंत्रता सुनिश्चित करने के लिए, अध्ययनकर्ता ने मॉडल को पिछले बातचीत को भूलने के लिए कहा और केवल विकल्प अक्षर के रूप में उत्तर देने के लिए कहा। सांख्यिकी परिणामों के अनुसार, असभ्य ढंग से पूछे गए प्रश्नों पर, GPT-4o की सही दर 84.8% रही, जबकि अत्यधिक सभ्य विधि ने सटीकता दर को 80.8% तक कम कर दिया, जो चार प्रतिशत के अंतर के बराबर है।
अध्ययन टीम इस घटना की व्याख्या करती है कि अत्यधिक सभ्य अभिव्यक्ति आमतौर पर बहुत सारे बुराई वाले शब्दों और वर्णन भाषा के साथ होती है, जो बुनियादी सवाल से संबंधित नहीं हैं और इसलिए मॉडल के लिए महत्वपूर्ण सामग्री के निष्कर्षण में बाधा डालते हैं। इसके विपरीत, सीधे आदेश वाले ढंग से बोलना बुरा नहीं होता है, लेकिन मॉडल को सवाल के बारे में अधिक ध्यान देने के लिए मजबूर करता है, जिससे जानकारी प्रसंस्करण प्रक्रिया में शोर कम हो जाता है।
ध्यान देने योग्य बात यह है कि यह नियम सभी AI मॉडल के लिए सामान्य रूप से लागू नहीं होता है। अध्ययनकर्ताओं ने GPT-3.5 और Llama2-70B जैसे पुराने मॉडल पर तुलनात्मक परीक्षण किया, जिसमें इन मॉडलों के लिए सभ्य प्रश्नों के जवाब बेहतर रहे, जबकि असभ्य ढंग से पूछे गए प्रश्नों ने जवाब की गुणवत्ता कम कर दी। अध्ययनकर्ता अनुमान लगाते हैं कि नए मॉडल अपने प्रशिक्षण चरण में अधिक विविध ढंग के बोलने वाले डेटा के संपर्क में रहे हैं, जिसके कारण उन्हें असभ्य वातावरण में भी बरकरार रखने या बढ़ाने में सक्षम बनाया गया है।
हालाँकि, परीक्षण परिणाम रोचक तकनीकी अंतर्दृष्टि प्रदान करते हैं, लेकिन वास्तविक अनुप्रयोग के दृष्टिकोण से, उपयोगकर्ता को अपने दैनिक उपयोग में AI उपकरणों के लिए अपनी बातचीत के ढंग को अपने मॉडल के विशेषता और विशेष परिस्थिति की आवश्यकता के अनुसार समायोजित करना चाहिए। इस अध्ययन का अधिक महत्व यह है कि यह विकासकर्ताओं और उपयोगकर्ताओं को यह याद दिलाता है कि प्रेरक शब्दों के डिज़ाइन केवल सभ्यता या असभ्यता तक सीमित नहीं है, बल्कि जानकारी के घनत्व और निर्देश की स्पष्टता के बारे में भी है।
