Presentamos nuevas Lentes, funciones de la plataforma y capacidades para Spectacles
Para los desarrolladores, creemos que el acceso a la cámara libera todo el potencial de la RA. Hoy lanzamos Snap OS v5.58, que incluye nuevas Lentes que demuestran el poder de la cámara de los Spectacles y SnapML, así como funciones y capacidades de la plataforma para ayudarte a crear y experimentar mejor con las Lentes de Spectacles.
La Lente Piano Tutorpone a tu alcance un instructor personal y cursos interactivos. Con la tecnología de SnapML, la Lente utiliza un modelo de aprendizaje automático personalizado para identificar y seguir una variedad de pianos, superponiendo notas en las teclas en tiempo real. Esto te ayuda a familiarizarte con la disposición del teclado y a coordinar tus movimientos en consecuencia. Utilizando otro modelo de ML personalizado, la Lente puede detectar qué tan bien tocás y darte devoluciones en tiempo real.
La Lente Ball Gamees un juego que transforma una pelota física en un control, lo que hace que sea fácil y divertido practicar tus habilidades a través de una serie de desafíos diferentes. Mediante un modelo de seguimiento de ML personalizado, la Lente sigue los movimientos de la pelota, lo que te permite interactuar con elementos físicos y digitales juntos y dominar la patada perfecta.
Para desbloquear la capacidad de experimentar más en el desarrollo, presentamos nuevas API que facilitan el uso de datos de la cámara y modelos de lenguaje grandes (LLM) multimodales alojados en la nube. Con la configuración de desarrollador de permisos extendidos y nuestra nueva API Fetch, ahora podés crear Lentes que interactúen directamente con LLM multimodales alojados.
También presentamos una API de espacialización de imágenes, que aprovecha la IA generativa para convertir formatos de imagen 2D comunes en 3D. Los desarrolladores ahora pueden incorporar esta API en sus Lentes para crear impresionantes efectos 3D con una profundidad tan realista que sentirás que estás realmente en el momento.
Otras capacidades de la plataforma incluyen:
Anclajes espaciales: Anclá objetos digitales a ubicaciones específicas dentro de una Lente y volvé a ellos más tarde
Ubicación básica: Obtené acceso a las coordenadas GPS de tus Spectacles para crear experiencias al aire libre más realistas
Modo de diseño: Importá imágenes desde tu teléfono con la aplicación de Spectacles y espacializalas para una experiencia 3D cautivadora
vista web: Arrastrá y soltá páginas web incrustadas directamente en tus Lentes
Desbloqueo de Lente: Desbloqueá una Lente que se haya enviado a Spectacles, pero que aún no se haya agregado a una categoría o al Explorador de Lentes, simplemente compartiendo la URL
Para experimentar estas Lentes y empezar a crear con las nuevas funciones, actualizá a la última versión de Snap OS y la aplicación de Spectacles con estas instrucciones. ¡Estamos ansiosos por ver lo que creás!