Zes weken geleden hebben we My AI uitgerold, een chatbot die is gebouwd met de GPT-technologie van OpenAI. We zijn langzaam begonnen met het aanbieden van My AI aan Snapchat+ abonnees en in iets meer dan een maand tijd hebben we veel geleerd. We weten bijvoorbeeld dat de meest voorkomende onderwerpen waarover onze community My AI ondervraagd o.a. films, sport, spelletjes, huisdieren en wiskunde betreft.
We hebben ook veel geleerd over het potentieel voor misbruik, waaronder van mensen die probeerden om de chatbot te misleiden om antwoorden te geven die niet aan onze richtlijnen voldoen. Als onderdeel van ons gezamenlijke werk om My AI te verbeteren, delen we een update van enkele veiligheidsverbeteringen die we onlangs hebben doorgevoerd als gevolg van onze bevindingen, samen met nieuwe tools die we van plan zijn te implementeren.
Hoe My AI gegevens benadert
Privacy heeft altijd centraal gestaan in de missie van Snap - het helpt mensen zich comfortabeler te voelen wanneer ze met vrienden en familie communiceren. Bij Snapchat proberen we onze community duidelijkheid en context te bieden over hoe onze producten gegevens gebruiken en hoe we functies bouwen met behulp van privacy-by-designprocessen. De manier waarop we bijvoorbeeld omgaan met gegevens over gesprekken tussen vrienden op Snapchat is anders dan hoe we omgaan met gegevens over uitgezonden content op Snapchat, waar we een hogere norm voor hanteren en moderatie verplicht hebben gemaakt omdat het een groot publiek bereikt.
Maar omdat My AI een chatbot is en geen echte vriend, hebben we de bijbehorende gegevens bewust anders behandeld, omdat we de gespreksgeschiedenis kunnen gebruiken om My AI leuker, nuttiger en veiliger te maken. Voordat Snapchatters My AI mogen gebruiken, tonen we ze een onboarding-bericht dat duidelijk maakt dat alle gesprekken met My AI worden bewaard, tenzij je ze verwijdert.
Door het evalueren van deze eerste interacties met My AI, hebben we kunnen vaststellen welke begrenzingen goed functioneren en welke sterker moeten worden gemaakt. Om dit te helpen beoordelen, hebben we de vragen aan en reacties van My AI bestudeerd die "afwijkende" taal bevatten, die we definiëren als tekst met verwijzingen naar geweld, expliciete seksuele termen, illegaal drugsgebruik, seksueel misbruik van kinderen, pesten, haatzaaien, denigrerende of bevooroordeelde uitspraken, racisme, vrouwenhaat of het marginaliseren van minderheidsgroepen. Al deze categorieën van content zijn uitdrukkelijk verboden op Snapchat.
Uit onze meest recente analyse bleek dat slechts 0,01% van de antwoorden van My AI als afwijkend werd beschouwd. Voorbeelden van de meest voorkomende afwijkende reacties van My AI waren het herhalen van ongepaste woorden in antwoord op vragen van Snapchatters.
We zullen deze inzichten blijven gebruiken om My AI te verbeteren. Deze gegevens zullen ons ook helpen een nieuw systeem in te zetten om misbruik van My AI te beperken. We voegen de moderatietechnologie van Open AI toe aan onze bestaande toolset, waarmee we de ernst van potentieel schadelijke content kunnen beoordelen en Snapchatters tijdelijk de toegang tot My AI kunnen beperken als ze de service misbruiken.
Leeftijdsgebonden ervaringen
Wij nemen onze verantwoordelijkheid serieus om producten en ervaringen te ontwerpen die prioriteit geven aan veiligheid en leeftijdsgeschiktheid. Sinds de lancering van My AI hebben we hard gewerkt om de reacties op vragen van Snapchatters te verbeteren, ongeacht de leeftijd van de Snapchatter. We gebruiken ook proactieve detectietools om My AI-gesprekken te scannen op potentieel afwijkende tekst en hierop actie te ondernemen.
We hebben ook een nieuw leeftijdssignaal voor My AI geïmplementeerd dat gebruik maakt van de geboortedatum van een Snapchatter, zodat zelfs als een Snapchatter My AI nooit zijn leeftijd vertelt in een gesprek, de chatbot consequent rekening houdt met zijn leeftijd wanneer hij een gesprek aangaat.
My AI in Family Center
Snapchat biedt ouders en verzorgers inzicht in met welke vrienden hun tieners communiceren en hoe recent, via ons in-app Family Center. In de komende weken zullen we ouders meer inzicht geven in de interacties van hun tieners met My AI. Dit betekent dat ouders via Family Center kunnen zien of en hoe vaak hun tieners met My AI communiceren. Om het Family Center te kunnen gebruiken, moeten zowel een ouder als een tiener zich aanmelden. Geïnteresseerde gezinnen kunnen hier meer te weten komen over hoe ze zich kunnen aanmelden.
We blijven Snapchatters aanmoedigen om onze in-app rapportage tools te gebruiken als ze verontrustende reacties ontvangen van My AI en om ons feedback te geven over hun algemene ervaringen met het product.
We werken voortdurend aan het verbeteren van My AI en we blijven doorgaan met het evalueren van aanvullende maatregelen om onze community veilig te houden. We waarderen alle vroegtijdige feedback over My AI, en we zijn vastbesloten onze community een leuke en veilige ervaring te bieden.