6주 전, 당사는 OpenAI의 GPT 기술을 바탕으로 만든 챗봇인 My AI를 출시했습니다. 당사는 Snapchat+ 가입자들에게 My AI를 제공하는 것으로 시작해 천천히, 한 달 조금 넘는 기간 동안에 많은 것을 배웠습니다. 예를 들어, 당사는 우리 커뮤니티가 My AI에게 영화, 스포츠, 게임, 애완동물 및 수학에 대해 질문한 가장 일반적인 주제 중 일부를 파악했습니다.
당사는 또한 오용의 가능성에 대해서도 배웠으며, 챗봇을 속여서 당사 가이드라인에 부합하지 않는 응답을 제공하려고 하는 사람들로부터 많은 것을 알게 되었습니다. My AI 개선을 위한 공동 작업의 일부로, 당사는 학습의 결과로 최근에 시행한 몇 가지 안전 개선 사항에 대한 최신 정보와 함께 구현할 계획인 새로운 도구를 공유하기를 원합니다.
My AI의 데이터 접근 방식
개인정보 보호는 항상 Snap의 임무의 중심에 있었습니다. 이는 사람들이 친구 및 가족과 소통할 때 더 편안하게 자신을 표현할 수 있도록 도와줍니다. Snapchat 전반에 걸쳐, 당사는 제품이 데이터를 사용하는 방식과 설계를 바탕으로 한 개인정보 보호 프로세스를 사용하여 기능을 구축하는 방식에 대한 명확성과 맥락을 우리 커뮤니티에 제공하려고 합니다. 예를 들어, Snapchat에서 친구 간의 대화와 관련된 데이터를 처리하는 방식은 Snapchat에서 브로드캐스트 콘텐츠에 관련된 데이터를 처리하는 방식과 다르며, 이는 더 높은 기준을 보유하고 많은 청중에게 전달되기 때문에 조정되어야 합니다.
하지만, My AI는 챗봇이며 실제 친구가 아니기 때문에, 당사는 계속해서 My AI를 더 재밌고, 유용하고 안전하게 만들기 위해 대화 기록을 사용할 수 있기 때문에 관련 데이터를 다르게 취급하는 데 주의했습니다. Snapchat 사용자의 My AI 사용을 허용 전, 당사는 귀하가 삭제하지 않는 한 My AI가 포함된 모든 메시지가 유지된다는 것을 명확히 하는 온보딩 메시지를 그들에게 보여 주었습니다.
My AI와의 이런 초기 상호 작용을 검토할 수 있어서, 당사는 어떤 가드레일이 잘 작동하고 어떤 가드레일을 더 강하게 만들어야 하는지를 식별할 수 있었습니다. 이를 평가하는 데 도움을 주기 위해, 당사는 폭력, 성적으로 노골적인 용어, 불법 마약 사용, 아동 성폭력, 괴롭힘, 혐오 발언, 경멸적이거나 편향된 진술, 인종차별, 여성혐오, 그리고 대표성이 낮은 그룹을 소외시키는 것 등 당사가 정의하는 모든 텍스트를 포함하는 "부적합한" 언어를 포함하는 My AI 질의와 응답에 대한 검토를 실행해 왔습니다. 이러한 모든 범주의 콘텐츠는 Snapchat에서 명시적으로 금지됩니다.
가장 최근의 분석에 따르면 My AI의 응답 중 0.01%만이 부적합한 것으로 나타났습니다. 가장 일반적으로 부적합한 My AI 응답의 예에는 Snapchat 사용자의 질문에 My AI가 부적절한 단어로 반복하는 것이 포함되었습니다.
당사는 계속해서 이 배운 내용을 통해 My AI를 개선할 것입니다. 본 데이터는 또한 My AI 오용을 제한하는 새 시스템 배치에도 도움이 될 것입니다. 기존 툴셋에 Open AI의 Moderation 기술을 추가하여 잠재적으로 유해한 콘텐츠의 심각성을 평가하고 서비스를 오용할 경우 Snapchat 사용자의 My AI 액세스를 일시적으로 제한할 수 있습니다.
연령에 적합한 경험
당사는 안전 및 연령 적합성을 우선순위로 제품 및 경험을 설계할 책임을 진지하게 받아들입니다. My AI를 출시한 이후, 당사는 Snapchat 사용자 나이에 상관 없이 부적절한 Snapchat 사용자의 요구에 대한 응답을 개선하기 위해 열심히 작업했습니다. 또한, 사전 탐지 도구를 사용해 잠재적으로 부적절한 텍스트에 대한 My AI 대화를 스캔하고 조치를 취했습니다.
당사는 또한 Snapchat 사용자의 생년월일을 활용해 My AI에 새 나이 신호를 실행해 Snapchat 사용자가 대화중 나이를 절대 밝히지 않아도 챗봇은 대화에 참여할 때 지속적으로 나이를 고려할 것입니다.
패밀리 센터 My AI
Snapchat은 부모 및 보호자에게 앱 내 패밀리 센터를 통해 그들의 십대 자녀가 어떤 친구와 소통하고 있는지, 최근에는 어떤 친구와 소통하는지 파악할 수 있도록 합니다. 앞으로, 당사는 십대 자녀에 대해 My AI를 통해 더 많은 통찰력을 부모에게 제공할 것입니다. 이는 십대 자녀가 My AI를 통해 대화를 얼마나 자주 하는지 패밀리 센터를 사용해 부모가 알 수 있게 됨을 의미합니다. 패밀리 센터를 사용하려면, 부모와 십대 둘 다 등록을 해야 하며, 관심이 있는 가족은 여기에서 가입 방법에 대한 더 많은 정보를 확인할 수 있습니다.
당사는 계속해서 Snapchat 사용자가 My AI로부터 우려스러운 응답을 받고 당사 상품의 전반적인 경험에 대한 그들의 의견을 제출하기 위해 당사 앱 내 신고 도구를 사용할 것을 권장합니다.
당사는 My AI를 개선하기 위해 지속적으로 노력하고 있으며, 우리 커뮤니티를 안전하게 유지하기 위한 추가 조치를 지속적으로 평가할 것입니다. My AI에 대한 모든 초기 의견에 감사드리며 우리 커뮤니티에 즐겁고 안전한 경험을 제공하고자 최선을 다 할 것입니다.