새로운 렌즈, 플랫폼 기능 및 Spectacles의 기능 소개

개발자에게 카메라 액세스는 AR의 잠재력을 최대한 발휘할 수 있는 열쇠라고 생각합니다. 오늘 Snap은 Spectacles 카메라와 SnapML의 성능을 보여주는 새로운 렌즈와 Spectacles 렌즈를 더 잘 빌드하고 실험하는 데 도움이 되는 플랫폼 기능 및 성능이 포함된 Snap OS v5.58을 출시합니다.

피아노 튜터 렌즈는 개인 강사와 대화형 코스를 손쉽게 이용할 수 있도록 합니다. SnapML로 구동되는 이 렌즈는 맞춤형 머신 러닝 모델을 사용하여 다양한 피아노를 식별하고 추적하며, 실시간으로 건반에 음표를 오버레이합니다. 이를 통해 건반 레이아웃에 대한 인식을 높이고 그에 따라 움직임을 조정할 수 있습니다. 또 다른 맞춤형 ML 모델을 사용하여, 이 렌즈는 사용자의 연주 실력을 감지하고 실시간 피드백을 제공할 수 있습니다.

볼 게임 렌즈는 실제 공을 컨트롤러로 변환하여 다양한 챌린지를 통해 쉽고 재미있게 기술을 연습할 수 있는 게임입니다. 맞춤형 ML 추적 모델을 사용하여 렌즈는 공의 움직임을 따라가므로 물리적 요소와 디지털 요소를 함께 상호 작용하고 완벽한 킥을 마스터할 수 있습니다.

개발 과정에서 더 많은 실험을 할 수 있도록, 클라우드에서 호스팅되는 카메라 데이터와 다중 모드 대규모 언어 모델(LLM)을 쉽게 사용할 수 있는 새로운 API를 도입합니다. 이제 확장된 권한 개발자 설정과 새로운 Fetch API를 사용하여 호스팅된 다중 모드 LLM과 직접 인터페이스하는 렌즈를 빌드할 수 있습니다.

또한 이미지 공간화 API를 도입합니다. 이 API는 생성형 AI를 활용하여 일반적인 2D 이미지 형식을 3D로 변환합니다. 이제 개발자는 이 API를 렌즈에 통합하여 마치 그 순간에 있는 것처럼 느껴질 정도로 사실적인 깊이감을 가진 멋진 3D 효과를 만들 수 있습니다.

추가 플랫폼 기능은 다음과 같습니다.

• 공간 앵커: 렌즈 내 특정 위치에 디지털 개체를 고정하고 나중에 다시 돌아올 수 있습니다.

• 기본 위치: Spectacles의 GPS 좌표에 액세스하여 보다 사실적인 야외 경험을 만들어 보세요.

• 레이아웃 모드: Spectacles 앱을 사용하여 휴대폰에서 이미지를 가져와 공간화하여 매력적인 3D 경험을 만들어 보세요.

• 웹 뷰: 웹 페이지를 렌즈에 직접 드래그 앤 드롭하여 삽입하세요.

• 렌즈 잠금 해제:URL을 공유하기만 하면 Spectacles에 제출되었지만 아직 카테고리나 렌즈 탐색기에 추가되지 않은 렌즈를 잠금 해제할 수 있습니다.

이러한 렌즈를 경험하고 새로운 기능을 사용하여 빌드를 시작하려면 다음을 사용하여 Snap OS 및 Spectacles 앱을 최신 버전으로 업데이트하세요. 이 지침. 여러분이 무엇을 만들지 정말 기대됩니다!