Ecco le nuove Lenti, funzionalità della piattaforma e capacità degli Spectacles
Per gli sviluppatori, crediamo che la possibilità di accedere alla fotocamera sblocchi tutto il potenziale della AR. Oggi lanciamo Snap OS v5.58, che include nuove Lenti che mostrano funzionalità di Spectacles e SnapML, nonché caratteristiche della piattaforma per aiutarti a creare e a sperimentare al meglio le Lenti di Spectacles.
La Lente Piano Tutor mette a tua disposizione un istruttore personale e corsi interattivi. Grazie alla tecnologia SnapML, la Lente utilizza un modello di apprendimento automatico personalizzato per identificare e tracciare una varietà di pianoforti, sovrapponendo le note sui tasti in tempo reale. Questo consente di familiarizzare con il layout della tastiera e di coordinare i movimenti conformemente. Grazie a un altro modello ML personalizzato, la Lente è capace di rilevare l'abilità dell'utente nel suonare e fornire un riscontro in tempo reale.
La Lente Ball Game è un gioco che trasforma una palla fisica in un controller, rendendo facile e divertente l'esercizio delle proprie abilità attraverso una serie di sfide diverse. Grazie a un modello di tracciamento ML personalizzato, la Lente segue i movimenti della palla, consentendo di interagire al contempo con elementi fisici e digitali e di acquisire la padronanza del calcio perfetto.
Per sbloccare la possibilità di sperimentare più a fondo nello sviluppo, stiamo introducendo nuove API che semplificano l'utilizzo dei dati della fotocamera e dei modelli linguistici di grandi dimensioni (LLM) multimodali ospitati nel cloud. Grazie alle impostazioni estese dei permessi per gli sviluppatori e alla nuova API Fetch, è ora possibile creare Lenti che si interfacciano direttamente con le LLM multimodali ospitate.
Stiamo inoltre introducendo un'API di spazializzazione delle immagini, che sfrutta l'IA generativa per convertire i comuni formati di immagine 2D in formati 3D. Ora gli sviluppatori possono incorporare questa API nelle Lenti per creare straordinari effetti 3D con una profondità così realistica che ti farà sentire come se fossi davvero sul posto.
Le funzionalità aggiuntive della piattaforma includono:
Ancoraggi spaziali: ancorare gli oggetti digitali a posizioni specifiche all'interno di una Lente per poterci ritornare in un secondo momento
Posizione di base: accedi alle coordinate GPS dei tuoi Spectacles per creare esperienze all'aperto più realistiche
Modalità Layout: importare immagini dal telefono utilizzando l'app Spectacles e spazializzarle per un'esperienza 3D accattivante
Visualizzazione web: trascinare e rilasciare le pagine web incorporate direttamente nelle tue lenti
Sblocco Lenti: sbloccare una Lente che è stata inviata a Spectacles, ma non è ancora stata aggiunta a una categoria o a Explorer Lenti, semplicemente condividendo l'URL
Per provare queste Lenti e iniziare a creare utilizzando le nuove funzionalità, aggiorna all'ultima versione di Snap OS e dell'app Spectacles utilizzando queste istruzioni. Non vediamo l'ora di scoprire le tue creazioni!