Apresentamos novas Lentes, funcionalidades da plataforma e capacidades para os Spectacles
Para os programadores, acreditamos que o acesso à câmara desbloqueia todo o potencial da RA. Hoje, estamos a lançar o Snap OS v5.58, que inclui novas Lentes que demonstram o poder da câmara dos Spectacles e do SnapML, bem como funcionalidades e capacidades da plataforma para te ajudar a criar e a experimentar melhor as Lentes dos Spectacles.
A Lente Piano Tutorcoloca um instrutor pessoal e cursos interativos na ponta dos teus dedos. Com base no SnapML, a Lente utiliza um modelo de aprendizagem automática personalizado para identificar e acompanhar uma variedade de pianos, sobrepondo notas nas teclas em tempo real. Isto ajuda-te a tomar consciência da disposição do teclado e a coordenar os teus movimentos em conformidade. Utilizando outro modelo de ML personalizado, a Lente consegue detetar o quão bem tocas e fornecer feedback em tempo real.
A Lente Ball Gameé um jogo que transforma uma bola física num comando, tornando fácil e divertido praticar as tuas capacidades através de um conjunto de desafios diferentes. Utilizando um modelo de acompanhamento de ML personalizado, a Lente segue os movimentos da bola, permitindo-te interagir com elementos físicos e digitais em conjunto e dominar o remate perfeito.
Para desbloquear a capacidade de experimentar mais no desenvolvimento, estamos a introduzir novas APIs que facilitam a utilização de dados da câmara e de Modelos de Linguagem Grandes (LLMs) multimodais alojados na nuvem. Utilizando as definições de programador de permissões alargadas e a nossa nova API Fetch, podes agora criar Lentes que interagem diretamente com LLMs multimodais alojados.
Também estamos a introduzir umaAPI de Espacialização de Imagens, que utiliza IA generativa para converter formatos de imagem 2D comuns em 3D. Os programadores podem agora incorporar esta API nas suas Lentes para criar efeitos 3D deslumbrantes com uma profundidade tão realista que sentirás que estás verdadeiramente no momento.
As capacidades adicionais da plataforma incluem:
Âncoras Espaciais: Ancorar objetos digitais em locais específicos dentro de uma Lente e regressar a eles mais tarde
Localização Básica:Obtém acesso às coordenadas GPS dos teus Spectacles para criar experiências ao ar livre mais realistas
Modo de Disposição:Importa imagens do teu telemóvel utilizando a aplicação Spectacles e espacializa-as para uma experiência 3D cativante
visualização na web: Arrastar e largar páginas web incorporadas diretamente nas tuas Lentes
Desbloqueio de Lente:Desbloqueia uma Lente que tenha sido submetida aos Spectacles, mas que ainda não tenha sido adicionada a uma categoria ou ao Explorador de Lentes, simplesmente partilhando o URL
Para experimentar estas Lentes e começar a criar utilizando as novas funcionalidades, atualiza para a versão mais recente do Snap OS e da Aplicação Spectacles utilizandoestas instruções. Mal podemos esperar para ver o que vais criar!