Vor sechs Wochen haben wir My AI eingeführt, einen Chatbot, der mit der GPT-Technologie von OpenAI entwickelt wurde. Wir haben langsam damit begonnen, My AI unseren Snapchat+-Abonnenten zur Verfügung zu stellen, und haben in etwas mehr als einem Monat viel gelernt. Wir wissen zum Beispiel, dass unsere Community MY AI unter anderem häufig nach Themen wie Filme, Sport, Spiele, Haustiere und Mathematik fragt.
Wir haben auch über einige Möglichkeiten für Missbrauch erfahren: Viele Leute wollten den Chatbot dazu bringen, Antworten zu geben, die nicht unseren Richtlinien entsprechen. Im Rahmen unserer gemeinsamen Arbeit zur Verbesserung von My AI möchten wir ein Update über einige der Sicherheitsverbesserungen teilen, die wir vor kurzem als Ergebnis unserer Erkenntnisse eingeführt haben – zusammen mit neuen Tools, die wir implementieren möchten.
So geht My AI mit Daten um
Datenschutz war für Snaps Mission schon immer von zentraler Bedeutung – er trägt dazu bei, dass sich Menschen bei der Kommunikation mit Freunden und Familie wohler fühlen. Wir wollen unserer gesamten Snapchat Community klar und verständlich erklären, wie unsere Produkte Daten verwenden und wie wir Funktionen entwickeln, bei denen der Datenschutz „vorprogrammiert“ ist. Zum Beispiel unterscheidet sich unser Umgang mit Daten im Zusammenhang mit Unterhaltungen zwischen Freunden auf Snapchat von jenen in Zusammenhang mit Content, den wir auf Snapchat veröffentlichen – diese Inhalte bedürfen eines höheren Standards und müssen moderiert werden, weil sie ein größeres Publikum erreichen.
Da My AI jedoch ein Chatbot und kein echter Freund ist, behandeln wir die damit verbundenen Daten bewusst anders. Wir können nämlich den Gesprächsverlauf nutzen, um My AI unterhaltsamer, nützlicher und sicherer zu machen. Bevor Snapchatter My AI verwenden dürfen, zeigen wir ihnen eine Onboarding-Nachricht, die deutlich macht, dass alle Nachrichten mit My AI gespeichert werden, sofern der Snapchatter sie nicht löscht.
Durch die Überprüfung dieser frühen Interaktionen mit My AI konnten wir erkennen, was gut funktioniert und was wir verbessern müssen. Um dies besser einschätzen zu können, überprüfen wir die Fragen und Antworten von My AI, die „nicht konforme“ Formulierungen enthalten: Das bedeutet für uns jeder Text, der Hinweise auf Gewalt, sexuell eindeutige Begriffe, illegalen Drogenkonsum, sexuellen Missbrauch von Kindern, Mobbing, Hassreden, abfällige oder voreingenommene Äußerungen, Rassismus, Frauenfeindlichkeit oder Marginalisierung unterrepräsentierter Gruppen enthält. Alle diese Content-Kategorien sind auf Snapchat ausdrücklich verboten.
Unsere jüngste Analyse hat ergeben, dass nur 0,01 % der Antworten von My AI als nicht konform eingestuft wurden. Eine der häufigsten nicht konformen Antworten von My AI war zum Beispiel, dass My AI unangemessene Wörter als Antwort auf die Fragen von Snapchatter wiederholte.
Wir werden diese Erkenntnisse weiterhin nutzen, um My AI zu verbessern. Diese Daten werden uns auch bei der Bereitstellung eines neuen Systems helfen, um den Missbrauch von My AI einzuschränken. Wir fügen unserem bestehenden Toolset die Moderationstechnologie von OpenAI hinzu. Dadurch können wir den Schweregrad von potenziell schädlichen Inhalten bewerten und den Zugriff von Snapchattern auf My AI vorübergehend einschränken, wenn sie den Service missbrauchen.
Altersgerechte Nutzererlebnisse
Wir nehmen unsere Verantwortung für die Entwicklung von sicheren und altersgemäßen Produkten und Nutzererlebnissen ernst. Seit der Einführung von My AI arbeiten wir intensiv daran, die Antworten auf unangemessene Anfragen von Snapchattern zu verbessern, unabhängig vom Alter eines Snapchatters. Zudem verwenden wir proaktive Erkennungstools, um My AI Unterhaltungen nach potenziell nicht konformen Texten zu durchsuchen und Maßnahmen zu ergreifen.
Außerdem haben wir ein neues Alterssignal für My AI implementiert: Wir verwenden das Geburtsdatum eines Snapchatters, damit der Chatbot bei der Unterhaltung stets das Alter des Snapchatters berücksichtigt, selbst wenn dieser es My AI gegenüber nie erwähnt.
My AI im Family Center
Snapchat bietet Eltern und Betreuern über das In-App-Family-Center Auskunft darüber, mit welchen Freunden ihre Teenager wann kommunizieren. In den kommenden Wochen werden wir Eltern mehr Einblick in die Interaktionen ihrer Teenager mit My AI geben. Das bedeutet, dass Eltern im Family Center sehen können, ob und wie oft ihre Teenager mit My AI kommunizieren. Um das Family Center nutzen zu können, müssen sich sowohl ein Elternteil als auch ein Teenager dafür anmelden. Hier erfahren Familien, die daran interessiert sind, wie sie sich registrieren können.
Wir empfehlen Snapchattern auch weiterhin die Verwendung unserer In-App Meldetools, wenn sie von My AI bedenkliche Antworten erhalten. Darüber hinaus halten wir sie dazu an, uns Feedback über ihre allgemeinen Erfahrungen mit dem Produkt zu geben.
Wir arbeiten ständig daran, My AI zu verbessern, und wir werden laufend zusätzliche Maßnahmen in Erwägung ziehen, um die Sicherheit unserer Community zu gewährleisten. Vielen Dank für das frühe Feedback zu My AI! Wir werden alles tun, um unserer Community weiterhin ein unterhaltsames und sicheres Erlebnis zu bieten.