În urmă cu șase săptămâni, am lansat My AI un chatbot construit cu tehnologia GPT OpenAI. Am început încet, oferind My AI abonaților Snapchat+ și, în puțin mai mult de o lună, am învățat foarte multe. De exemplu, știm că unele dintre cele mai frecvente subiecte pentru care comunitatea noastră a întrebat despre My AI includ filme, sport, jocuri, animale de companie și matematică.
Am aflat, de asemenea, despre o parte din potențialul de utilizare greșită, multe dintre acestea provenind de la persoane care încearcă să păcălească chatbotul pentru a oferi răspunsuri care nu sunt conforme cu orientările noastre. Ca parte a activității noastre comune de îmbunătățire a My AI, dorim să împărtășim o actualizare a unora dintre îmbunătățirile în materie de siguranță pe care le-am pus în aplicare recent ca urmare a învățăturilor noastre – împreună cu noile instrumente pe care intenționăm să le implementăm.
Abordarea My AI față de date
Confidențialitatea a fost întotdeauna esențială pentru misiunea Snap – îi ajută pe oameni să se simtă mai confortabil exprimându-se atunci când comunică cu prietenii și familia. În cadrul Snapchat, încercăm să oferim comunității noastre claritate și context cu privire la modul în care produsele noastre utilizează datele și la modul în care construim funcții folosind procese de confidențialitate prin proiectare. De exemplu, modul în care tratăm datele legate de conversațiile dintre prieteni pe Snapchat este diferit de modul în care tratăm datele legate de conținutul difuzat pe Snapchat, pe care îl considerăm la un standard mai ridicat și care necesită să fie moderat, deoarece ajunge la o audiență mare.
Cu toate acestea, deoarece My AI este un chatbot și nu un prieten real, am tratat în mod deliberat datele asociate în mod diferit, deoarece putem folosi istoricul conversației pentru a continua să facem My AI mai distractiv, mai util și mai sigur. Înainte de a li se permite Snapchatterilor să folosească My AI, le arătăm un mesaj de integrare care clarifică faptul că toate mesajele cu My AI vor fi păstrate, cu excepția cazului în care le vei șterge.
Faptul că am putut analiza aceste interacțiuni timpurii cu My AI ne-a ajutat să identificăm care sunt măsurile de protecție care funcționează bine și care trebuie să fie mai puternice. Pentru a ajuta la evaluarea acestui aspect, am analizat interogările și răspunsurile din My AI care conțin „limbaj neconform”, pe care îl definim ca fiind orice text care include referiri la violenţă, termeni expliciți din punct de vedere sexual, utilizarea ilicită a drogurilor, abuzul sexual asupra copiilor, hărțuirea, discursul de ură, declarațiile derogatorii sau părtinitoare, rasismul, misoginismul sau marginalizarea grupurilor subreprezentate. Toate aceste categorii de conținut sunt interzise în mod explicit pe Snapchat.
Cea mai recentă analiză a noastră a constatat că doar 0,01% din răspunsurile My AI au fost considerate neconforme. Printre cele mai frecvente exemple de răspunsuri neconforme ale My AI se numără repetarea de către My AI a unor cuvinte nepotrivite ca răspuns la întrebările Snapchatterilor.
Vom continua să folosim aceste învățăminte pentru a îmbunătăți My AI. Aceste date ne vor ajuta, de asemenea, să implementăm un nou sistem pentru a limita utilizarea abuzivă a My AI. Adaugăm tehnologia de moderare a Open AI la setul nostru de instrumente existente, ceea ce ne va permite să evaluăm gravitatea conținutului potențial dăunător și să restricționăm temporar accesul Snapchatterilor la My AI în cazul în care aceștia utilizează acest serviciu în mod abuziv.
Experiențe adecvate vârstei
Ne luăm în serios responsabilitatea de a proiecta produse și experiențe care să acorde prioritate siguranței și caracterului adecvat al vârstei. De la lansarea My AI, am depus eforturi susținute pentru a îmbunătăți răspunsurile sale la solicitările nepotrivite ale Snapchatterilor, indiferent de vârsta acestora. De asemenea, folosim instrumente de detectare proactivă pentru a scana conversațiile din My AI pentru textul potențial neconform și pentru a lua măsuri.
Am implementat, de asemenea, un nou semnal de vărstă pentru My AI care utilizează data de naștere a unui Snapchatter, astfel încât, chiar dacă un Snapchatter nu îi spune niciodată vârsta lui My AI în timpul unei conversații, chatbotul va lua în considerare în mod constant vârsta acestuia atunci când se angajează într-o conversație.
My AI în Centrul pentru Familie
Snapchat oferă părinților și persoanelor care îi îngrijesc vizibilitate în ceea ce privește prietenii cu care comunică adolescenții lor și cât de recent, prin intermediul Centrului pentru Familie din aplicație. În săptămânile următoare, le vom oferi părinților mai multe informații despre interacțiunile adolescenților lor cu My AI. Acest lucru înseamnă că părinții vor putea folosi Centrul pentru Familie pentru a vedea dacă adolescenții lor comunică cu My AI și cât de des. Pentru a utiliza Centrul pentru Familie, atât un părinte, cât și un adolescent trebuie să se înscrie, iar familiile interesate pot afla mai multe despre cum să se înscrie aici.
Continuăm să încurajăm Snapchatterii să folosească instrumentele noastre de raportare din aplicație, dacă primesc răspunsuri îngrijorătoare din partea My AI și să ne trimită feedback despre experiențele lor generale cu produsul.
Lucrăm în mod constant pentru a îmbunătăți My AI și vom evalua în permanență măsurile suplimentare pentru a contribui la menținerea siguranței comunității noastre. Apreciem tot feedback-ul timpuriu cu privire la My AI și ne angajăm să oferim o experiență distractivă și sigură pentru comunitatea noastră.