Przedstawiamy nowe nakładki, funkcje platformy i możliwości okularów Spectacles
Wierzymy, że dla deweloperów dostęp do kamery uwalnia pełny potencjał AR. Dziś uruchamiamy Snap OS v5.58, który zawiera nowe nakładki prezentujące moc kamery Spectacles i SnapML, a także funkcje i możliwości platformy, które pomogą Ci lepiej tworzyć i eksperymentować z nakładkami Spectacles.
Nakładka Piano Tutorzapewnia osobistego instruktora i interaktywne kursy na wyciągnięcie ręki. Dzięki SnapML nakładka wykorzystuje niestandardowy model uczenia maszynowego do identyfikowania i śledzenia różnych pianin, nakładając nuty na klawisze w czasie rzeczywistym. Pomaga to w budowaniu świadomości układu klawiatury i odpowiedniej koordynacji ruchów. Korzystając z innego niestandardowego modelu ML, nakładka może wykryć, jak dobrze grasz i przekazać informację zwrotną w czasie rzeczywistym.
Nakładka Ball Gameto gra, która przekształca fizyczną piłkę w kontroler, dzięki czemu ćwiczenie umiejętności poprzez serię różnych wyzwań staje się łatwe i przyjemne. Wykorzystując niestandardowy model śledzenia ML, nakładka podąża za ruchami piłki, umożliwiając interakcję z elementami fizycznymi i cyfrowymi oraz opanowanie idealnego kopnięcia.
Aby odblokować możliwość dalszego eksperymentowania w procesie tworzenia, wprowadzamy nowe interfejsy API, które ułatwiają korzystanie z danych z kamery i multimodalnych dużych modeli językowych (LLM) hostowanych w chmurze. Korzystając z rozszerzonych ustawień uprawnień deweloperskich i naszego nowego interfejsu Fetch API, możesz teraz tworzyć nakładki, które bezpośrednio łączą się z hostowanymi multimodalnymi modelami LLM.
Wprowadzamy również API do spacjalizacji obrazu, które wykorzystuje generatywną sztuczną inteligencję do konwersji popularnych formatów obrazów 2D na 3D. Deweloperzy mogą teraz włączyć ten interfejs API do swoich nakładek, aby tworzyć oszałamiające efekty 3D o tak realistycznej głębi, że poczujesz się, jakbyś naprawdę był w danej chwili.
Dodatkowe możliwości platformy obejmują:
Kotwice przestrzenne: zakotwicz obiekty cyfrowe w określonych lokalizacjach w nakładce i wróć do nich później
Lokalizacja podstawowa: uzyskaj dostęp do współrzędnych GPS swoich okularów Spectacles, aby tworzyć bardziej realistyczne wrażenia na zewnątrz
Tryb układu: importuj obrazy z telefonu za pomocą aplikacji Spectacles i rozmieść je przestrzennie, aby uzyskać urzekające wrażenia 3D
widok WebView: przeciągnij i upuść osadzone strony internetowe bezpośrednio do swoich nakładek
Odblokowanie nakładki: odblokuj nakładkę, która została przesłana do Spectacles, ale nie została jeszcze dodana do kategorii ani eksploratora nakładek, po prostu udostępniając adres URL
Aby wypróbować te nakładki i zacząć tworzyć przy użyciu nowych funkcji, zaktualizuj aplikację Snap OS i Spectacles do najnowszej wersji, korzystając z tych instrukcji. Nie możemy się doczekać, aby zobaczyć, co stworzysz!