Il y a six mois que nous avons déployé My AI, un chatbot incorporé avec la technologie GPT IA ouverte. Nous avons commencé lentement en offrant My AI à des abonnés Snapchat+ et, en un peu plus d'un mois, nous avons beaucoup appris. Par exemple, nous savons certains des sujets les plus courants que notre communauté a questionné sur My AI concernent les films, les sports, les jeux, les animaux de compagnie et les mathématiques.
Nous avons également appris des choses sur le risque d'utilisation abusive. Plusieurs de ces informations ont été fournies par des personnes qui ont essayé de tromper le chatbot en donnant des réponses non conformes à nos règles. Outre notre nouvelle collaboration visant à améliorer My AI, nous voulons partager une mise à jour de certaines mises à jour de sécurité que nous avons récemment mis en œuvre dans le cadre de nos apprentissages. Il en est de même pour nos nouveaux outils que nous souhaitons mettre en œuvre.
Approche de My AI concernant les données
La confidentialité a toujours été au cœur de la mission de Snap. Elle permet aux personnes de se sentir plus à l'aise quand elles communiquent avec des amis ou la famille. Sur Snapchat, nous nous efforçons de fournir à notre communauté une clarté et un contexte en ce qui concerne la façon dont nos données sont utilisées et la manière dont nous construisons des fonctionnalités en utilisant des processus de confidentialité par conception. Par exemple, la façon dont nous gérons les données liées aux conversations entre amis sur Snapchat est différente de la façon dont nous gérons les données liées à la diffusion de contenus qui répondent à des normes plus strictes et nécessitent de la modération parce qu'elles destinées à de grandes audiences.
Cependant, My AI étant un chatbot et non pas un réel ami, nous avons été moins stricts en traitant différemment les données qui y sont associées parce que nous pouvons utiliser l'historique de conversation pour rendre My AI plus ludique, utile et sûr. Avant que les Snapchatters ne soient autorisés à utiliser My AI, nous leur affichons un message d'intégration qui indique clairement que tous les messages My AI seront conservés s'ils ne sont pas supprimés.
Le fait de pouvoir consulter ces premières interactions My AI nous a permis d'identifier les filtres de sécurité qui fonctionnent bien et ceux qui doivent être renforcés. Pour cela, nous avons effectué des révisions des questions et réponses My AI contenant un langage "non conforme", que nous définissons comme tout texte incluant des références à la violence, des termes sexuels explicites, l'utilisation illégale de drogues, l'abus sexuel sur mineurs, l'intimidation, les discours de haine, les déclarations dérogatoires ou biaisées, le racisme, la mysogynie ou la marginalisation des groupes sous-représentés. Toutes ces catégories de contenu sont explicitement interdites sur Snapchat.
Notre dernière analyse a révélé que seulement 0,01% des réponses My AI étaient considérées comme non conformes. Parmi les réponses My AI les moins conformes figurent la répétition de mots inappropriés dans les réponses aux questions des Snapchatters.
Nous continuerons d'utiliser ces éléments pour améliorer My AI. Ces données, nous aiderons également à déployer un nouveau système pour limiter l'utilisation abusive de My AI. Nous ajoutons la technologie de modération Open IA pour notre ensemble d'outils existants. Cela nous permettra d'évaluer la gravité du contenu potentiellement dangereux et de restreindre temporairement l'accès des Snapchatters à My AI en cas d'utilisation abusive du service.
Expériences adaptées aux âges
Nous prenons au sérieux notre responsabilité dans la conception des produits et des expériences qui privilégient la sécurité et l'adéquation des âges. Depuis le lancement de My AI, nous avons travaillé rigoureusement pour améliorer ses réponses aux demandes du Snapchatter, quel que soit l'âge. Nous utilisons aussi des outils de détection proactive pour scanner les conversations My AI pour identifier les conversations potentiellement non conformes et appliquer des mesures.
Nous avons également mis en œuvre un nouveau signal d'âge pour My AI en utilisant la date de naissance d'un Snapchatter, de sorte que même ce dernier n'indique pas son âge à My AI dans une conversation, le chatbot prendra toujours en considération son âge une fois qu'il s'engage dans une conversation.
Centre familial et My AI
Snapchat offre aux parents et aux tuteurs la possibilité de voir les amis avec lesquels leurs adolescents communiquent ainsi que la durée de leur amitié dans notre application Centre familial. Dans les prochaines semaines, nous offrirons aux parents un aperçu plus important des interactions de leurs adolescents dans My AI. Cela signifie que les parents pourront utiliser le Centre familial pour savoir si leurs adolescents utilisent My AI et à quelle fréquence. Pour utiliser le Centre familial, le parent et l'adolescent doivent s'inscrire. Les familles intéressées peuvent en savoir plus sur l'inscription ici.
Nous continuons d'encourager les Snapchatters à utiliser nos outils de reporting intégrés à l'application s'ils reçoivent des réponses inappropriées de My AI et de nous soumettre un feedback sur leurs expériences générales du produit.
Nous travaillons constamment à améliorer My AI et nous continuerons d'évaluer les mesures supplémentaires visant à assurer la sécurité de notre communauté. Nous apprécions tous les commentaires préliminaires sur My AI et nous nous engageons à offrir une expérience ludique et sécurisée à notre communauté.