छह सप्ताह पहले, हमने OpenAI की GPT प्रौद्योगिकी के साथ निर्मित चैटबॉट, My AI को शुरू किया। हमने Snapchat+ ग्राहकों को My AI प्रदान करके धीरे-धीरे शुरू किया और एक महीने से अधिक में, हमने बहुत कुछ सीखा है। उदाहरण के लिए, हम जानते हैं, हमारे समुदाय ने My AI से फिल्म, खेल, पालतू जानवर और गणित इत्यादि जैसे कुछ सबसे आम विषयों के बारे में पूछा है।
हमने दुरुपयोग की कुछ संभावनाओं के बारे में भी सीखा है, जिनमें से कई संभावनाओं के बारे में हमने उन लोगों से सीखा है जिन्होंने हमारे दिशानिर्देशों से मेल न खाने वाले जवाब देने के लिए चैटबॉट को बेवकूफ बनाने की कोशिश की। My AI को बेहतर बनाने के लिए अपने संयुक्त कार्य के हिस्से के रूप में, हम हाल ही में अपने शिक्षाओं के परिणामस्वरूप कुछ सुरक्षा संवर्धन और नए टूल्स - जो हम अमल में लाना चाहते हैं - पर अपडेट शेयर करना चाहते हैं।
डेटा के प्रति My AI का दृष्टिकोण
गोपनीयता, हमेशा Snap के मिशन का केंद्र रही है — यह फ़्रेंड्स और परिवार के साथ संवाद करते समय लोगों को और अधिक आरामदायक महसूस करने में मदद करती है। Snapchat में, हम अपने समुदाय को स्पष्टता और सन्दर्भ प्रदान करने की कोशिश करते हैं कि हमारे उत्पाद, डेटा का उपयोग कैसे करते हैं और हम डिजाइन के आधार पर गोपनीयता प्रक्रियाओं का उपयोग करके विशेषताओं का निर्माण कैसे करते हैं। उदाहरण के लिए, हम Snapchat पर फ़्रेंड्स के बीच बातचीत से संबंधित डेटा को जिस तरीके से संभालते हैं, वह उस तरीके से अलग है जिस तरीके से हम Snapchat पर प्रसारण सामग्री से संबंधित डेटा को संभालते हैं, जिसे हम उन्हें उच्चतर मानक पर बरक़रार रखते हैं और हमें उन्हें मॉडरेट करना पड़ता है क्योंकि यह बड़ी ऑडिएंस तक पहुंचता है।
हालांकि, My AI एक चैटबॉट है, न कि एक रियल फ़्रेंड, इसलिए हम संबंधित डेटा को अलग से उपचारित करने पर जोर देते हैं, क्योंकि हम My AI को और मज़ेदार, उपयोगी, और सुरक्षित बनाने के लिए बातचीत हिस्ट्री का इस्तेमाल करने में सक्षम हैं। Snap चैटर्स को My AI का उपयोग करने की अनुमति देने से पहले, हम उन्हें एक ऑनबोर्डिंग मैसेज दिखाते हैं जिससे यह साफ़ होता है कि My AI से संबंधित सभी मैसेज को तब तक बरक़रार रखा जाएगा जब तक आप उन्हें डिलीट नहीं करते हैं।
My AI के साथ इन प्रारंभिक बातचीत की समीक्षा करने में सक्षम होने के कारण, हमें यह पहचानने में मदद मिली है कि कौन सा गार्डरेल अच्छी तरह काम कर रहा है और किसे और मजबूत बनाने की आवश्यकता है। इसका आकलन करने के लिए हम My AI के सवालों और प्रतिक्रियाओं की समीक्षा करते हैं, जिसमें “गैर-अनुरूपी” भाषा शामिल है, जिसे हम किसी ऐसे टेक्स्ट के रूप में परिभाषित करते हैं जिसमें हिंसा, यौन स्पष्ट शब्द, या अवैध मादक पदार्थ, बाल यौन शोषण, बदमाशी, नफरत वाले भाषण, अपमानजनक या पक्षपातपूर्ण बयान, नस्लवाद, स्री जाति से द्वेष, या अल्पमत समूहों के संदर्भ शामिल है। इन सभी श्रेणियों की सामग्री, Snapchat पर स्पष्ट रूप से निषिद्ध है।
हमारे सबसे हाल के विश्लेषण में पाया गया कि My AI की प्रतिक्रियाओं में से केवल 0.01% को गैर-अनुरूपी समझा गया था। सबसे आम गैर-अनुरूपी My AI प्रतिक्रियाओं के उदाहरणों में, Snap चैटर्स के सवालों के जवाब में My AI द्वारा अनुचित शब्दों को दोहराना शामिल था।
हम My AI को बेहतर बनाने के लिए इन शिक्षाओं का उपयोग करते रहेंगे। यह डेटा हमें My AI के दुरुपयोग को सीमित करने के लिए एक नई प्रणाली तैनात करने में भी मदद करेगा। हम अपने मौजूदा टूलसेट में Open AI की मॉडरेशन प्रौद्योगिकी जोड़ रहे हैं, जो हमें संभावित हानिकारक सामग्री की गंभीरता का आकलन करने देगा और अगर Snap चैटर सेवा का दुरुपयोग करते हैं तो उन तक My AI की पहुंच को अस्थायी रूप से प्रतिबंधित करने देगा।
उम्र-उपयुक्त अनुभव
हम सुरक्षा और उम्र की उपयुक्त स्थिति को प्राथमिकता देने वाले उत्पादों और अनुभवों को डिजाइन करने की अपनी जिम्मेदारी को गंभीरता से लेते हैं। My AI शुरू करने के बाद, हमने Snap चैटर्स की उम्र की परवाह किए बिना Snap चैटर के अनुपयुक्त अनुरोध के लिए, इसकी प्रतिक्रियाओं में सुधार करने के लिए बड़े पैमाने पर काम किया है। हम संभावित रूप से गैर-अनुरूपी टेक्स्ट के लिए, My AI के साथ बातचीत को सक्रिय डिटेक्शन टूल्स का उपयोग करते हुए स्कैन करते हैं और कार्रवाई करते है।
हमने Snap चैटर की जन्मतिथि का इस्तेमाल करके My AI के लिए new age signal को भी लागू किया है, ताकि अगर कोई Snap चैटर, बातचीत में My AI को अपनी उम्र कभी नहीं बताता तो भी चैटबॉट, बातचीत में शामिल होने पर लगातार उनकी उम्र पर सोच-विचार करेगा।
फ़ैमिली सेंटर में My AI
Snapchat, अभिभावकों और देखभाल करने वालों को हमारे इन-ऐप फ़ैमिली सेंटर के माध्यम से यह दृश्यता प्रदान करता है कि उनके किशोर बच्चे-बच्चियां किन फ़्रेंड्स के साथ बात कर रहे हैं, और हाल ही में कितना समय पहले बात किया था। आने वाले हफ्तों में, हम अभिभावकों को उनके किशोर बच्चों-बच्चियों की My AI के साथ बातचीत के बारे में और अधिक जानकारी प्रदान करेंगे। इसका मतलब है कि माता-पिता, फ़ैमिली सेंटर का उपयोग करके यह देख सकेंगे कि उनके किशोर बच्चे-बच्चियां My AI के साथ संवाद कर रहे हैं या नहीं, और कब-कब। फ़ैमिली सेंटर का उपयोग करने के लिए, अभिभावक और किशोर दोनों को शामिल होने के लिए सहमति की आवश्यकता है - और इच्छुक परिवारों को साइन अप करने के बारे में अधिक जानकारी यहाँ मिल सकती है।
हम Snap चैटर्स को My AI से संबंधित चिंताजनक प्रतिक्रिया प्राप्त करने पर हमारे इन-ऐप रिपोर्टिंग टूल्स का इस्तेमाल करने और उत्पाद के साथ अपने समग्र अनुभवों के बारे में हमें फ़ीडबैक देने के लिए प्रोत्साहित करते रहते हैं और हम आगे भी प्रोत्साहित करते रहेंगे।
हम My AI को बेहतर बनाने के लिए लगातार काम कर रहे हैं, और हम अपने समुदाय को सुरक्षित रखने में मदद करने के लिए अतिरिक्त उपायों का लगातार मूल्यांकन करेंगे। हम My AI पर सभी शुरूआती फ़ीडबैक की सराहना करते हैं, और हम अपने समुदाय के लिए मज़ेदार और सुरक्षित अनुभव प्रदान करने के लिए प्रतिबद्ध हैं।