Представляем новые линзы, функции платформы и возможности для Spectacles
Что касается разработчиков, мы считаем, что доступ к камере раскрывает весь потенциал дополненной реальности. Сегодня мы запускаем версию 5.58 Snap OS, которая включает в себя новые линзы, демонстрирующие мощь камеры Spectacles и SnapML, а также функции и возможности платформы для того, чтобы помочь вам лучше создавать линзы Spectacles и пользоваться ими.
Линза Piano Tutor предоставляет вам личного персонального преподавателя и интерактивные курсы. Благодаря технологии SnapML, линза использует специальную модель машинного обучения для распознавания и отслеживания различных фортепиано, накладывая ноты на клавиши в режиме реального времени. Это помогает вам лучше понять расположение клавиш на клавиатуре и соответствующим образом скоординировать свои движения. Используя другую настраиваемую модель машинного обучения, линза может определять, насколько хорошо вы играете, и предоставлять обратную связь в режиме реального времени.
Линза Ball Game — это игра, которая превращает обычный мяч в контроллер, позволяя легко и увлекательно тренировать свои навыки с помощью ряда различных заданий. Используя специальную модель отслеживания машинного обучения, линза отслеживает движения мяча, позволяя вам взаимодействовать с физическими и цифровыми элементами одновременно и освоить идеальный удар.
Чтобы расширить возможности для экспериментов в области разработки, мы вводим новые API, которые упрощают использование данных с камер и мультимодальных больших языковых моделей (LLM), размещенных в облаке. Используя расширенные настройки разрешений для разработчиков и наш новый API Fetch, теперь вы можете создавать линзы, которые напрямую взаимодействуют с размещенными мультимодальными LLM.
Мы также представляем Image Spatialization API, который использует генеративный ИИ для преобразования распространенных форматов 2D-изображений в 3D. Теперь разработчики могут интегрировать этот API в свои линзы, чтобы создавать потрясающие 3D-эффекты с такой реалистичной глубиной, что вы почувствуете себя как будто действительно находитесь в этом моменте.
Дополнительные возможности платформы включают:
Пространственные привязки: закрепите цифровые объекты в определенных местах в линзе и возвращайтесь к ним позже
Базовое местоположение: получите доступ к GPS-координатам Spectacles, чтобы создавать более реалистичные впечатления на открытом воздухе
Режим макета: импортируйте изображения со своего телефона с помощью приложения Spectacles и преобразуйте их в пространственное изображение для создания захватывающего 3D-опыта
Веб-просмотра: перетаскивайте и встраивайте веб-страницы прямо в свои линзы
Разблокировка линз: разблокируйте линзу, которая была отправлена в Spectacles, но еще не добавлена в категорию или коллекцию линз, просто поделившись URL-адресом
Чтобы опробовать эти линзы и начать создавать контент с помощью новых функций, обновите Snap OS и приложение Spectacles до последней версии, следуя этим инструкциям. Мы с нетерпением ждём ваших творений!