Einführung neuer Linsen, Plattform-Funktionen und Funktionen für die Spectacles
Wir finden, erst die Kamera erschließt dem Entwickler das volle Potenzial von AR. Heute führen wir Snap OS v5.58 ein. Der Launch enthält neue Linsen, die die Leistungsfähigkeit der Spectacles-Kamera und von SnapML zur Schau stellen. Neu sind außerdem Plattformfunktionen, die dir dabei helfen, mit den Spectacles-Linsen kreativ zu werden und zu experimentieren.
Die Tutorlinse „Piano Tutor“ gibt dir einen persönlichen Klavierlehrer und interaktive Kurse direkt an die Hand. Die Linse basiert auf SnapML und verwendet ein benutzerdefiniertes Modell für maschinelles Lernen, um eine Vielzahl von Klavieren zu identifizieren und zu tracken. Dabei werden zu jeder Taste in Echtzeit die Noten eingeblendet. So eignest du dir die Verteilung der Noten auf der Tastatur an und kannst die Bewegung deiner Finger entsprechend koordinieren. Anhand eines weiteren benutzerdefinierten ML-Modells kann die Linse obendrein erkennen, wie gut du spielst, und sie bietet dir Echtzeit-Feedback.
Die Ball Game Lense ist eine Linse, die einen materiellen Ball in eine Steuerung verwandelt. So kannst du auf einfache und vergnügliche Art deine Fähigkeiten an verschiedenen Herausforderungen trainieren. Anhand eines benutzerdefinierten ML-Tracking-Modells verfolgt die Linse die Bewegungen des Balls. Dadurch interagieren die materielle und die digitale Ebene und du kannst den perfekten „Kick“ kreieren.
Wir wollen weiteres Entwicklungspotenzial erschließen. Deshalb führen wir neue APIs ein, welche die Verwendung von Kameradaten und multimodalen Large-Language-Modellen (LLMs) erleichtern. So kannst du jetzt mit erweiterten Entwicklerberechtigungen und unserer neuen Fetch-API Linsen erstellen, die direkt mit gehosteten, multimodalen LLMs verbunden sind.
Wir führen zudem eine Bild-Spatialisierungs-API ein, die auf der Grundlage von generativer KI gängige 2D-Bildformate in 3D konvertiert. Als Entwickler kannst du diese API jetzt in deine Linsen integrieren und so atemberaubende 3D-Effekte mit einer so realistischen Tiefe erstellen, dass der Moment wirklich erlebbar wird.
Hier einige der zusätzlichen Plattformfunktionen:
Spatial Anchors: Mit diesen Räumlichkeitsankern kannst du digitale Objekte in bestimmten Positionen innerhalb einer Linse verankern und später zu diesen Positionen zurückkehren.
Basic Location: Über den Ausgangsstandort erhältst du Zugriff auf die GPS-Koordinaten deiner Spectacles und kannst so noch realistischere Outdoor-Erlebnisse kreieren.
Layout-Mode: Importiere mit der Spectacles-App von deinem Handy Bilder und stelle sie räumlich dar, um ein fesselndes 3D-Erlebnis zu bieten.
Web View: Ziehe mit der Maus eingebettete Webseiten direkt in deine Linsen.
Lens Unlock: Mit der Freischaltung einer an die Spectacles gesendeten Linse schaltest du eine Linse frei, die noch keiner Kategorie und auch nicht dem Linsen-Explorer zugewiesen wurde. Du teilst einfach nur die URL.
Um dieses neue Linsenerlebnis zu nutzen und mit den neuen Funktionen kreativ zu werden, aktualisiere einfach auf die neueste Version von Snap OS und der Spectacles-App. Folge dazu dieser Anleitung. Wir sind schon ganz gespannt auf deine Kreationen!