Maak kennis met nieuwe Lenzen, platformfuncties en mogelijkheden voor Spectacles
We geloven dat cameratoegang voor ontwikkelaars de sleutel is tot het volledige potentieel van AR. Vandaag lanceren we Snap OS v5.58, met nieuwe Lenzen die de kracht van de Spectacles-camera en SnapML laten zien, en met platformfuncties en mogelijkheden om betere Spectacles-lenzen te maken en daarmee te experimenteren.
Met de Piano Tutor-lens heb je een persoonlijke instructeur en interactieve cursussen binnen handbereik. De lens maakt gebruik van SnapML en een custom machine learning-model om verschillende soorten piano’s te herkennen en in beeld te volgen, waarbij noten in realtime op de toetsen worden geprojecteerd. Dit helpt je om vertrouwd te raken met de indeling van de toetsen en je handbewegingen daarop af te stemmen. Met een ander custom ML-model kan de Lens detecteren hoe goed je speelt en realtime feedback geven.
De Ball Game-lens is een spel dat een echte bal verandert in een controller, waarmee je op een leuke en makkelijke manier je skills kunt oefenen via verschillende challenges. De lens gebruikt een custom ML-trackingmodel om de bewegingen van de bal te volgen, waardoor je fysieke en digitale elementen kunt combineren en kunt werken aan de perfecte trap.
Om ontwikkelaars meer ruimte te geven om te experimenteren, introduceren we nieuwe API's die het makkelijk maken om cameragegevens te gebruiken en toegang te krijgen tot multimodale Large Language Models (LLM's) die in de cloud worden gehost. Met de uitgebreide toestemmingsinstellingen voor ontwikkelaars en onze nieuwe Fetch API kun je nu Lenzen bouwen die rechtstreeks communiceren met gehoste multimodale LLM's.
Daarnaast lanceren we een Image Spatialization API die generatieve AI inzet om gewone 2D-afbeeldingen te transformeren naar 3D. Ontwikkelaars kunnen deze API nu integreren in hun Lenzen om verbluffende 3D-effecten te creëren met zo'n realistische diepte dat het voelt alsof je er echt bij bent.
Aanvullende platformmogelijkheden zijn:
Ruimtelijke ankers: koppel digitale objecten aan specifieke locaties binnen een Lens en keer er later naar terug
Basislocatie: krijg toegang tot de GPS-coördinaten van je Spectacles om meer realistische buitenervaringen te creëren
Lay-outmodus: importeer afbeeldingen vanaf je telefoon via de Spectacles-app en maak er een boeiende 3D-ervaring van door ze ruimtelijk te maken
Webweergave: sleep en plaats webpagina's rechtstreeks in je Lenzen
Lens ontgrendelen: ontgrendel een Lens die is ingediend voor Spectacles, maar nog niet in een categorie of in Lens Explorer staat, door simpelweg de URL te delen.
Wil je deze Lenzen en de nieuwe functies zelf ervaren? Update dan Snap OS en de Spectacles-app naar de nieuwste versie via deze instructies. We zijn benieuwd wat het resultaat van je creativiteit zal zijn!