Esittelyssä uudet tehosteet, alustan ominaisuudet ja toiminnot Spectacles-laseille
Uskomme, että kehittäjille kameran käyttö avaa AR:n koko potentiaalin. Julkaisemme tänään Snap OS v5.58:n, joka sisältää uusia tehosteita, jotka esittelevät Spectacles-kameran ja SnapML:n tehoa, sekä alustan ominaisuuksia ja toimintoja, joiden avulla voit paremmin rakentaa ja kokeilla Spectacles-tehosteita.
Piano Tutor -tehostetuo henkilökohtaisen ohjaajan ja interaktiiviset kurssit sormiesi ulottuville. SnapML:ään perustuva tehoste käyttää mukautettua koneoppimismallia erilaisten pianojen tunnistamiseen ja seuraamiseen ja asettaa nuotit koskettimille reaaliajassa. Tämä auttaa sinua hahmottamaan koskettimiston asettelua ja koordinoimaan liikkeitäsi sen mukaisesti. Toisen mukautetun ML-mallin avulla tehoste voi havaita, kuinka hyvin soitat, ja antaa reaaliaikaista palautetta.
Ball Game -tehosteon peli, joka muuttaa fyysisen pallon ohjaimeksi, mikä tekee taitojen harjoittelusta helppoa ja hauskaa erilaisten haasteiden avulla. Mukautetun ML-seurantamallin avulla tehoste seuraa pallon liikkeitä, jolloin voit olla vuorovaikutuksessa fyysisten ja digitaalisten elementtien kanssa ja hallita täydellisen potkun.
Jotta kehityksessä olisi mahdollista kokeilla enemmän, esittelemme uusia API-rajapintoja, jotka helpottavat kameran tietojen ja pilvipalvelussa isännöityjen multimodaalisten suurten kielimallien (LLM) käyttöä. Laajennettujen käyttöoikeuksien kehittäjäasetusten ja uuden Fetch API:n avulla voit nyt rakentaa tehosteita, jotka ovat suoraan yhteydessä isännöityihin multimodaalisiin LLM-malleihin.
Esittelemme myöskuvan spatialisointi-API:n, joka hyödyntää generatiivista tekoälyä muuntaakseen yleiset 2D-kuvamuodot 3D-muotoon. Kehittäjät voivat nyt sisällyttää tämän API:n tehosteisiinsa luodakseen upeita 3D-tehosteita, joiden syvyys on niin realistinen, että tunnet olevasi todella hetkessä.
Alustan lisäominaisuuksia ovat:
Spatiaaliset ankkurit: Ankkuroi digitaalisia objekteja tiettyihin paikkoihin tehosteessa ja palaa niihin myöhemmin
Perussijainti: Hae Spectacles-lasiesi GPS-koordinaatit luodaksesi realistisempia ulkoilmaelämyksiä
Asettelutila: Tuo kuvia puhelimestasi Spectacles-sovelluksen avulla ja spatialisoi ne kiehtovaksi 3D-kokemukseksi
verkkonäyttö: Vedä ja pudota upotettuja verkkosivuja suoraan tehosteisiisi
Tehosteen lukituksen avaaminen: Avaa Spectacles-laseille lähetetyn tehosteen lukitus, jota ei ole vielä lisätty kategoriaan tai tehosteselaimeen, jakamalla sen URL-osoite
Kokeile näitä tehosteita ja aloita rakentaminen uusilla ominaisuuksilla päivittämällä uusimpaan Snap OS:n ja Spectacles-sovelluksen versioon käyttämällä näitä ohjeita. Emme malta odottaa, mitä luot!