Vi presenterar nya linser, plattformsfunktioner och funktioner för Spectacles
För utvecklare tror vi att kameratillgång låser upp den fulla potentialen hos AR. Idag lanserar vi Snap OS v5.58, som inkluderar nya linser som visar kraften i Spectacles-kameran och SnapML, samt plattformsfunktioner och funktioner som hjälper dig att bättre bygga och experimentera med Spectacles-linser.
Piano Tutor-linsenger dig en personlig instruktör och interaktiva kurser direkt till hands. Linsen drivs av SnapML och använder en anpassad maskininlärningsmodell för att identifiera och spåra en mängd olika pianon och lägga över noter på tangenterna i realtid. Detta hjälper dig att bygga upp en medvetenhet om klaviaturens layout och samordna dina rörelser därefter. Med hjälp av en annan anpassad ML-modell kan linsen upptäcka hur bra du spelar och ge feedback i realtid.
Ball Game-linsenär ett spel som förvandlar en fysisk boll till en handkontroll, vilket gör det enkelt och roligt att öva dina färdigheter genom en rad olika utmaningar. Med hjälp av en anpassad ML-spårningsmodell följer linsen bollens rörelser, så att du kan interagera med fysiska och digitala element tillsammans och bemästra den perfekta sparken.
För att låsa upp möjligheten att experimentera vidare i utvecklingen introducerar vi nya API:er som gör det enkelt att använda kameradata och multimodala stora språkmodeller (LLM) som finns i molnet. Med hjälp av utökade behörigheter för utvecklarinställningar och vårt nya Fetch API kan du nu bygga linser som direkt samverkar med värdbaserade multimodala LLM:er.
Vi introducerar också ett API för bildrumslighet, som utnyttjar generativ AI för att konvertera vanliga 2D-bildformat till 3D. Utvecklare kan nu införliva detta API i sina linser för att skapa fantastiska 3D-effekter med ett sådant realistiskt djup att du kommer att känna att du verkligen är i nuet.
Ytterligare plattformsfunktioner inkluderar:
Rumsliga ankare: Förankra digitala objekt på specifika platser i en lins och återvänd till dem senare
Grundläggande plats: Få tillgång till GPS-koordinaterna för dina Spectacles för att skapa mer realistiska utomhusupplevelser
Layoutläge: Importera bilder från din telefon med Spectacles-appen och gör dem rumsliga för en fängslande 3D-upplevelse
Webbvy: Dra och släpp inbäddade webbsidor direkt i dina linser
Linsupplåsning: Lås upp en lins som har skickats in till Spectacles, men som ännu inte har lagts till i en kategori eller linsutforskare, genom att helt enkelt dela webbadressen
För att uppleva dessa linser och börja bygga med de nya funktionerna, uppdatera till den senaste versionen av Snap OS och Spectacles-appen med hjälp av dessa instruktioner. Vi kan knappt vänta på att se vad du skapar!