Presentamos nuevos lentes, funciones de la plataforma y capacidades para Spectacles
Para los desarrolladores, creemos que el acceso a la cámara permite aprovechar todo el potencial de la realidad aumentada. Hoy lanzamos Snap OS v5.58, que incluye nuevos lentes que muestran el poder de la cámara de Spectacles y SnapML, así como funciones y capacidades de la plataforma para ayudarte a crear y experimentar mejor con los lentes de Spectacles.
Lente de Tutor de Piano pone a tu disposición un instructor personal y cursos interactivos. El Lente funciona con SnapML y usa un modelo de aprendizaje automático para identificar y rastrear diferentes pianos, superponiendo notas sobre las teclas en tiempo real. Esto te ayuda a reconocer el diseño del teclado y a coordinar tu movimiento como corresponde. Usando otro modelo de aprendizaje automático personalizado, el Lente puede detectar lo bien que tocas y ofrecer retroalimentación en tiempo real.
El Lente de Juego de Pelota es un juego que transforma una pelota física en un controlador, lo que permite que practicar tus habilidades sea fácil y divertido con un conjunto de desafíos. Usando un modelo de seguimiento de aprendizaje automático personalizado, el Lente sigue los movimientos de la pelota, lo que te permite interactuar con elementos físicos y digitales y dominar la patada perfecta.
Para descubrir la capacidad de experimentar más con el desempeño presentamos nuevas APIs que hacen que sea fácil usar los datos de la cámara y los Modelos de Lenguaje Grande (LLM) multimodales alojados en la nube. Usando la configuración de permisos extendidos para desarrolladores y nuestra nueva API de Fetch, ahora puedes crear Lentes que interactúen directamente con los LLM multimodales alojados.
También presentamos una API de Espacialización de Imágenes, que aprovecha la IA generativa para convertir formatos de imagen 2D comunes en 3D. Los desarrolladores ahora pueden incorporar esta API en sus Lentes para crear impresionantes efectos 3D con una profundidad tan realista que sentirás que estás realmente en el momento.
Las capacidades adicionales de la plataforma incluyen:
Anclas espaciales: Ancla objetos digitales en ubicaciones específicas dentro de un Lente y vuelve a ellos más tarde
Ubicación básica: Accede a las coordenadas GPS de tus Spectacles para crear experiencias al aire libre más realistas
Modo de Diseño: Importa imágenes desde tu teléfono con la app de Spectacles y espacialízalas para una experiencia 3D cautivadora
Vista web: Arrastra y suelta páginas web directamente en tus Lentes
Desbloquea Lentes: Desbloquea un Lente que se haya enviado a Spectacles, pero que aún no se haya añadido a una categoría o al Explorador de lentes simplemente compartiendo la URL
Para experimentar estos Lentes y empezar a crear con las nuevas funciones, actualiza a la última versión de Snap OS y la app de Spectacles con estas instrucciones. ¡Estamos ansiosos por ver tus creaciones!