Kuusi viikkoa sitten julkaisimme My AI -chatbotin, joka on kehitetty OpenAI:n GPT-teknologian avulla. Aloitimme verkkaisesti tuomalla My AI -chatbotin Snapchat+ -tilaajien käyttöön, ja reilun kuukauden aikana olemme oppineet paljon. Tiedämme esimerkiksi sen, että yhteisömme My AI -chatbotille esittämät kysymykset ovat koskeneet usein muun muassa elokuvia, urheilua, pelejä, lemmikkejä ja matematiikkaa.
Olemme saaneet tietoa myös väärinkäytön mahdollisuuksista. Moni näistä on tullut ilmi siten, että ihmiset ovat yrittäneet huijata chatbotin antamaan ohjeidemme vastaisia vastauksia. Osana yhteistä työtämme My AI -chatbotin parantamiseksi haluamme nyt kertoa eräistä turvallisuusparannuksista, jotka olemme hiljattain tehneet kokemuksemme perusteella, sekä uusista työkaluista, joita aiomme ottaa käyttöön.
My AI -chatbotin tapa käsitellä tietoa
Yksityisyys on aina ollut keskeinen osa Snapin missiota, sillä se auttaa ihmisiä tuntemaan olonsa mukavaksi, kun he ilmaisevat itseään yhteydenpidossa kaverien ja perheen kanssa. Pyrimme kaikilla Snapchatin alueilla antamaan yhteisöllemme selkeyttä ja kontekstia sitä koskien, miten tuotteemme käyttävät tietoa ja miten kehitämme ominaisuuksia sellaisiksi, että ne suojaavat tietoa. Esimerkiksi se, miten käsittelemme kavereiden välisiin Snapchat-keskusteluihin liittyvää tietoa eroaa siitä, miten käsittelemme Snapchatin tiedonvälityssisältöön liittyvää tietoa; jälkimmäiselle on tiukemmat vaatimukset ja sitä on moderoitava, sillä sen yleisö on laajempi.
My AI on kuitenkin chatbot eikä todellinen kaveri, joten olemme valinneet käsitellä siihen liittyvää tietoa eri tavalla. Voimme käyttää keskusteluhistoriaa, kun kehitämme My AI -chatbottia entistä hauskemmaksi, hyödyllisemmäksi ja turvallisemmaksi. Ennen kuin Snapchattaajat pääsevät käyttämään My AI -chatbottia, näytämme heille perehdytysviestin, jossa tehdään selväksi, että kaikki My AI -viestit säilytetään, ellei niitä poisteta.
Koska olemme voineet arvioida tätä alkuvaiheen vuorovaikutusta My AI -chatbotin kanssa, olemme voineet paremmin tunnistaa, mitkä turvatoimet toimivat hyvin ja mitä puolestaan on tehostettava. Tämän selvittääksemme olemme arvioineet My AI -kyselyitä ja -vastauksia, joissa on “sääntöjen vastaista” kieltä. Määritelmämme mukaan tällaista on mikä tahansa teksti, joka koskee väkivaltaa, seksuaalisia ilmauksia, laitonta huumeiden käyttöä, lasten seksuaalista hyväksikäyttöä, kiusaamista, vihapuhetta, halventavia tai puolueellisia kuvauksia, rasismia, naisvihaa tai aliedustettujen ryhmien marginalisointia. Kaikki nämä sisältöluokat on selkeästi kielletty Snapchatissa.
Viimeisimmän analyysimme mukaan vain 0,01 % My AI -vastauksista luokiteltiin sääntöjen vastaisiksi. Yleisimpiä sääntöjen vastaisia My AI -vastauksia olivat muun muassa sellaiset, joissa chatbot toisti sopimattomia sanoja vastatessaan Snapchattaajien kysymyksiin.
Jatkamme saamiemme tietojen käyttöä My AI -chatbotin toiminnan parantamiseksi. Ne auttavat myös uuden järjestelmän käyttöönotossa, jotta voimme rajoittaa My AI -chatbotin väärinkäyttöä. Lisäämme nykyisiin työkaluihimme Open AI -moderointiteknologiaa, jonka avulla voimme arvioida mahdollisesti haitallisen sisällön vakavuutta ja rajoittaa väliaikaisesti Snapchattaajien pääsyä My AI -chatbottiin väärinkäytösten yhteydessä.
Ikätasolle soveltuvat kokemukset
Otamme vakavasti vastuumme suunnitella tuotteita ja kokemuksia siten, että niissä priorisoidaan turvallisuutta ja ikätasolle soveltuvuutta. My AI -chatbotin käyttöönoton jälkeen olemme tehneet lujasti työtä parantaaksemme sen vastauksia Snapchattaajien sopimattomiin kysymyksiin, olipa henkilön ikä mikä tahansa. Käytämme myös ennakoivia tunnistustyökaluja, joiden avulla etsimme My AI -keskusteluista mahdollisesti sääntöjen vastaista tekstiä ja ryhdymme tarvittaessa toimiin.
Olemme myös ottaneet käyttöön My AI:lle uuden ikäsignaalin, joka perustuu Snapchattaajan syntymäaikaan. Vaikka Snapchattaaja ei kertoisi ikäänsä keskustelun aikana, chatbot ottaa sen jatkuvasti huomioon keskustellessaan.
My AI -chatbot Perhekeskuksessa
Snapchat tarjoaa sovelluksen sisäisen Perhekeskuksen kautta vanhemmille ja huoltajille tietoa siitä, keiden kavereiden kanssa heidän teininsä ovat olleet yhteydessä ja kuinka kauan aikaa sitten. Tulevina viikkoina tarjoamme vanhemmille enemmän tietoa heidän teini-ikäisten lastensa viestinnästä My AI -chatbotin kanssa. Tämä tarkoittaa, että vanhemmat voivat käyttää Perhekeskusta selvittääkseen, kommunikoivatko teinit My AI -chatbotin kanssa ja kuinka usein. Perhekeskusta voidaan käyttää vain jos sekä vanhempi että teini valitsevat sen käyttöönoton; perheet saavat lisätietoa rekisteröitymisestä täältä.
Toivomme edelleen, että Snapchattaajat käyttävät sovelluksen sisäisiä ilmoitustyökaluja, jos My AI -chatbotin vastauksissa on jotakin huolta aiheuttavaa, ja että he lähettävät meille palautetta tuotteen yleisestä käyttökokemuksestaan.
Pyrimme kaiken aikaa parantamaan My AI -chatbotia, ja arvioimme jatkuvasti lisätoimia, jotta yhteisömme turvallisuus voidaan taata. Arvostamme kaikkea saamaamme My AI -chatbotin alkuvaiheen palautetta ja olemme sitoutuneet tarjoamaan yhteisöllemme hauskan ja turvallisen kokemuksen.