Apresentando novas Lentes, recursos de plataforma e capacidades para o Spectacles
Para os desenvolvedores, acreditamos que o acesso à câmera desbloqueia todo o potencial da RA. Hoje, estamos lançando o Snap OS v5.58, que inclui novas Lentes que mostram o poder da câmera do Spectacles, do Aprendizado de máquina Snap e recursos e capacidades de plataforma para ajudar você a bem criar e experimentar com as Lentes do Spectacles.
A Lente Piano Tutor coloca um instrutor pessoal e cursos interativos ao seu alcance. Impulsionada pelo SnapML, a Lente usa um modelo personalizado de aprendizado de máquina para identificar e rastrear diferentes tipos de piano, sobrepondo as notas das teclas em tempo real. Isso ajuda você a se familiarizar com o layout do teclado e coordenar seus movimentos adequadamente. Usando outro modelo de aprendizado de máquina, a Lente pode detectar como você está tocando e fornecer feedback em tempo real.
A Lente Ball Game é um jogo que transforma uma bola física em um controle, tornando fácil e divertido praticar suas habilidades por meio de uma série de desafios diferentes. Usando um modelo de rastreamento de aprendizado de máquina personalizado, a Lente acompanha os movimentos da bola, permitindo que você interaja com elementos físicos e digitais ao mesmo tempo e domine o chute perfeito.
Para ampliar as possibilidades de experimentação no desenvolvimento, estamos lançando novas APIs que facilitam o uso de dados da câmera e modelos de linguagem de grande escala (LLMs) hospedados na nuvem. Usando as configurações do desenvolvedor com permissões estendidas e nossa nova API Fetch, agora é possível criar Lentes que se conectam diretamente com os LLMs multimodais hospedados.
Também estamos apresentando a API Image Spatialization, que utiliza IA generativa para converter formatos de imagem 2D comuns em 3D. Agora, os desenvolvedores podem incorporar essa API em suas Lentes para criar efeitos 3D impressionantes, com profundidade tão realista que você terá a sensação de realmente estar no momento.
Os recursos adicionais da plataforma incluem:
Anncoras espaciais: ancore objetos digitais em locais específicos dentro de uma Lente e retorne a eles mais tarde
Localização básica: tenha acesso às coordenadas de GPS dos seus Spectacles para criar experiências ao ar livre mais realistas
Modo de layout: importe imagens do seu celular usando o aplicativo Spectacles e transforme-as em uma experiência 3D envolvente
Visualização da Web: arraste e solte páginas da web diretamente em suas Lentes
Desbloqueio de Lente: desbloqueie uma Lente que foi enviada para o Spectacles, mas ainda não foi adicionada a uma categoria ou ao Lens Explorer, simplesmente compartilhando o URL
Para experimentar essas Lentes e começar a criar usando os novos recursos, atualize para a versão mais recente do Snap OS e do aplicativo Spectacles seguindo estas instruções. Estamos ansiosos para ver o que você vai criar!