Enam minggu lalu, kami telah melancarkan My AI, sebuah chatbot yang dibina menggunakan teknologi GPT OpenAI. Kami mulakan dengan memberi My AI kepada pelanggan Snapchat+ dan dalam masa tidak melebihi sebulan, banyak yang telah kami pelajari. Sebagai contoh, kami telah mengetahui topik-topik yang paling kerap ditanya oleh komuniti kita kepada My AI termasuklah filem, sukan, permainan, haiwan peliharaan dan matematik.
Kami juga telah mempelajari tentang beberapa potensi penyalahgunaan, kebanyakannya kami pelajari daripada orang yang cuba memperdaya chatbot untuk memberikan maklum balas yang tidak mematuhi garis panduan kami. Sebagai sebahagian daripada kerja bersama kami untuk mempertingkatkan My AI, kami ingin berkongsi kemaskini tentang beberapa peningkatan keselamatan yang telah kami sediakan baru-baru ini hasil daripada pembelajaran kami — bersama-sama dengan alatan baharu yang kami rancang untuk melaksanakan.
Pendekatan My AI kepada Data
Privasi sentiasa menjadi pusat kepada misi Snap — ia membantu orang ramai berasa lebih selesa untuk mengekspresikan diri mereka semasa berkomunikasi dengan rakan dan keluarga. Di seluruh Snapchat, kami cuba memberi komuniti kami penjelasan dan konteks tentang cara produk-produk kami menggunakan data dan cara kami membina ciri-ciri melalui proses privasi-mengikut-reka bentuk. Sebagai contoh, cara kami mengendalikan data yang berkaitan dengan perbualan antara rakan-rakan di Snapchat adalah berbeza daripada cara kami mengendalikan data yang berkaitan dengan kandungan siaran di Snapchat, yang kami pegang pada standard yang lebih tinggi dan perlu dimoderasikan kerana ia menjangkau khalayak ramai.
Walau bagaimanapun, memandangkan My AI ialah chatbot dan bukannya seorang rakan sebenar, kami telah bersungguh-sungguh dalam menangani data yang berkaitan dengannya secara berbeza, kerana kami dapat menggunakan sejarah perbualan untuk terus menjadikan My AI lebih menyeronokkan, berguna dan lebih selamat. Sebelum Snapchatter dibenarkan menggunakan My AI, kami tunjukkan kepada mereka mesej pengenalan yang menjelaskan bahawa semua mesej dengan My AI akan dikekalkan melainkan anda memadamkannya.
Semakan interaksi awal dengan My AI ini telah membantu kami mengenalpasti benteng mana yang berfungsi dengan baik dan yang mana perlu diperkukuhkan lagi. Untuk membantu menilai perkara ini, kami telah menjalankan semakan pertanyaan dan maklumbalas My AI yang mengandungi bahasa "tidak mematuhi", yang kami takrifkan sebagai mana-mana teks yang merangkumi rujukan kepada keganasan, istilah seksual eksplisit, penggunaan dadah haram, penderaan seksual kanak-kanak, buli, pertuturan kebencian, kenyataan yang menghina atau berat sebelah, perkauman, misogi atau meminggirkan kumpulan yang kurang diwakili. Semua kategori kandungan ini dilarang secara keras dalam Snapchat.
Analisis terbaru kami mendapati bahawa hanya 0.01% daripada maklumbalas My AI dianggap sebagai tidak mematuhi. Contoh jawapan My AI yang tidak mematuhi yang paling biasa dijumpai termasuk My AI mengulangi perkataan yang tidak sesuai sebagai maklumbalas kepada soalan-soalan Snapchatters.
Kami akan terus menggunakan pembelajaran ini untuk meningkatkan My AI. Data ini juga akan membantu kami menggunakan sistem baharu untuk mengehadkan penyalahgunaan My AI. Kami sedang menambahkan teknologi moderasi Open AI kepada set alatan kami yang sedia ada, yang akan membolehkan kami menilai tahap keseriusan kandungan yang berpotensi berbahaya dan mengehadkan sementara akses Snapchatters kepada My AI jika mereka menyalahgunakan perkhidmatan tersebut.
Pengalaman Bersesuaian dengan Umur
Kami mengambil serius tanggungjawab kami untuk merekabentuk produk-produk dan pengalaman yang mengutamakan keselamatan dan kesesuaian umur. Sejak melancarkan My AI, kami telah berusaha bersungguh-sungguh untuk mempertingkatkan maklumbalasnya terhadap permintaan Snapchatter yang tidak sesuai, tanpa mengira umur Snapchatter. Kami juga menggunakan alat pengesanan proaktif untuk mengimbas perbualan My AI yang berkemungkinan mengandungi teks tidak mematuhi dan mengambil tindakan.
Kami juga telah melaksanakan isyarat umur baharu untuk My AI yang menggunakan tarikh lahir Snapchatter, supaya walaupun Snapchatter tidak pernah memberitahu My AI umur mereka dalam perbualan, chatbot akan mengambil kira umur mereka secara konsisten apabila terlibat dalam perbualan.
My AI dalam Pusat Keluarga
Baru-baru ini, Snapchat membolehkan ibu bapa dan penjaga mengetahui dengan rakan mana anak remaja mereka sedang berkomunikasi, dan bagaimana melalui Pusat Keluarga dalam aplikasi kami. Dalam minggu-minggu yang akan datang, kami akan memberikan ibu bapa lebih cerapan tentang perinteraksian remaja mereka dengan My AI. Ini bermakna ibu bapa akan dapat menggunakan Pusat Keluarga untuk melihat sama ada anak remaja mereka berkomunikasi dengan My AI dan kekerapannya. Untuk menggunakan Pusat Keluarga, ibu bapa dan remaja perlu ikut serta — dan keluarga yang berminat boleh mengetahui secara lebih lanjut tentang cara mendaftar di sini.
Kami terus menggalakkan para Snapchatter untuk menggunakan alat laporan dalam aplikasi kami jika mereka menerima sebarang maklumbalas yang membimbangkan daripada My AI dan menghantar maklumbalas kepada kami tentang pengalaman keseluruhan mereka dengan produk tersebut.
Kami sentiasa berusaha untuk mempertingkatkan My AI dan kami akan terus menilai langkah-langkah tambahan untuk membantu memastikan komuniti kami selamat. Kami menghargai semua maklumbalas awal tentang My AI, dan kami komited untuk menyediakan pengalaman yang menyeronokkan dan selamat untuk komuniti kami.