Presentación de nuevas lentes, funciones de plataforma y capacidades para las gafas
Para los desarrolladores, creemos que el acceso a la cámara desbloquea todo el potencial de la realidad aumentada. Hoy lanzamos Snap OS v5.58, que incluye nuevas Lentes que muestran el poder de la cámara Spectacles y SnapML, así como características y capacidades de la plataforma para ayudarte a crear y experimentar mejor con las Lentes Spectacles.
La Lente de Piano Tutor pone a tu alcance un instructor personal y cursos interactivos. Impulsada por SnapML, la Lente utiliza un modelo de aprendizaje automático personalizado para identificar y rastrear una variedad de pianos, superponiendo notas en las teclas en tiempo real. Esto te ayuda a reconocer el diseño del teclado y a coordinar tu movimiento en consecuencia. Usando otro modelo de aprendizaje automático personalizado, la Lente puede detectar qué tan bien juegas y proporcionar comentarios en tiempo real.
La Lente de Ball Game es un juego que transforma una pelota física en un controlador, lo que hace que sea fácil y divertido practicar tus habilidades por medio de un conjunto de desafíos diferentes. Al utilizar un modelo de seguimiento de aprendizaje automático personalizado, la Lente sigue los movimientos de la pelota, lo que te permite interactuar con elementos físicos y digitales juntos y dominar la patada perfecta.
Para desbloquear la capacidad de experimentar más en el desarrollo, estamos presentando nuevas API que faciliten el uso de los datos de la cámara y los Modelos extensos de lenguaje multimodales (LLM, por sus siglas en inglés) alojados en la nube. Al usar la configuración de desarrollador de permisos ampliados u nuestra nueva Fetch API, puedes crear Lentes que interactúen directamente con los LLM multimodales alojados.
También estamos presentando una API de espacialización de imágenes, que aprovecha la IA generativa para convertir formatos de imagen en 2D comunes en 3D. Los desarrolladores ahora pueden incorporar esta API en sus Lentes para crear impresionantes efectos 3D con tal profundidad realista que sentirás que estás realmente en ese momento.
Las capacidades adicionales de la plataforma incluyen:
Anclas espaciales: ancla objetos digitales a ubicaciones específicas dentro de una Lente y vuelve a ellos más tarde
Ubicación básica: obtén acceso a las coordenadas GPS de tus Spectacles para crear experiencias al aire libre más realistas
Modelo de diseño: importa imágenes desde tu teléfono utilizando la aplicación Spectacles y espacialízalas para tener una experiencia 3D cautivadora
Visualización web: arrastra y suelta páginas web incrustadas directamente en tus Lentes
Desbloqueo de Lente: desbloquea una Lente que se haya enviado a Spectacles, pero que aún no se haya añadido a una categoría o al Explorador de lentes, simplemente compartiendo la URL
Para experimentar estas Lentes y empezar a crear usando las nuevas funciones, actualiza a la última versión de Snap OS y la aplicación Spectacles siguiendo estas instrucciones. Empieza a crear y deslúmbranos