Snapin tutkimustiimi aloittaa viikon New Orleansissa vuoden 2022 Computer Vision and Pattern Recognition -konferenssissa. Tämän vuoden CVPR-konferenssissa tiimimme esittelee seitsemän uutta akateemista julkaisua yhdessä maailman johtavien tutkijoiden kanssa. Ne käsittelevät läpimurtoja kuvaan, videoon, kohdesynteesiin ja kohteen manipulointiin liittyvissä keinoissa.
Olemme tehneet tiivistä yhteistyötä harjoittelijoiden ja ulkopuolisten oppilaitosten kanssa tähän työhön liittyen voidaksemme kehittää videosynteesiteknologiaa huomattavasti. Tämä kehitys voi ohjata meitä siinä, mitä tarjoamme Snapchattaajille eri puolilla maailmaa.
Julkaisussa esitelty työ perustuu seuraavaan kehitykseen: Tiimimme on rakentanut epäsuoria videokuvauksia, joiden tulos on edistyksellinen videosynteesi eri tehtävistä ja joka ei vaadi suurta tietokonekapasiteettia. Sen jälkeen esittelemme kaksi uutta ongelmaa: multimodaaliset videosynteesit ja peliympäristöt.
CLIP-NeRF -julkaisu on esimerkiksi yhteistyönä tehty tutkimus, joka tutkii hermosäteilykenttien manipulointia. Hermosäteilykentät mahdollistavat esineiden hahmottamisen käyttämällä hermoverkostoja ja tarvitsematta kehittyneitä näytönohjaimen johtimia. Tämän työn tulokset voivat auttaa parantamaan digitaalisten resurssien luomista käytettäviksi lisätyn todellisuuden kokemuksissa. Lisäksi tämä PartGlot -julkaisu tutkii, miten koneet voivat ymmärtää paremmin ympärillä olevia muotoja ja esineitä kielimalleja käyttäen.
Olemme innoissamme tämän työn antamista mahdollisuuksista, joiden avaulla yhteisömme ja sisällöntuottajat voivat tulevaisuudessa käyttää luovuuttaan eri tuotteissamme ja alustoilla.
OSALLISTUTKO CVPR-KONFERENSSIIN?
Tiimimme on paikalla siellä, joten käythän tervehtimässä heitä. Jos haluat lisätietoja julkaisuistamme, tiimistämme ja tuotteistamme, käy messujen osastopaikalla #1322 messun aikana (21. kesäkuuta - 23. heinäkuuta) tai lähetä viesti sähköpostiosoitteeseen conferences@snap.com
2022 CVPR -JULKAISUT
Julkaistu yhteistyössä Snapin tutkimusosaston kanssa
Peliympäristöt; Videomanipulointi tilassa ja ajassa
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Esitystilaisuus: tiistai, 21. kesäkuuta 2022 14.30 - 17.00
Julkaisutunnus: 2345 | Esitystunnus: 99b
Näytä mitä ja kerro kuinka: Videosynteesi multimodaalisen ehdollistamisen avulla Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Esitystilaisuus: tiistai, 21. kesäkuuta 2022 14.30 - 17.00
Julkausitunnus: 3594 | Esitystunnus: 102b
CLIP-NeRF: Teksti-ja kuvakäyttöinen hermosädekenttien manipulointi
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Esitystilaisuus: tiistai, 21. kesäkuuta 2022 | 14.30 - 17.00
Julkaisutunnus: 6311 | Esitystunnus: 123b
StyleGAN-V: Jatkuvan videon tuottaminen StyleGAN2:n hinnalla, kuvalaadulla ja eduilla
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Esitystilaisuus: tiistai, 21. kesäkuuta 2022 | 14.30 - 17.00
Julkaisutunnus: 5802 | Esitystunnus: 103b
Monipuolinen kuvan ekstrapolaatio GAN -inversiossa
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Esitystilaisuus: torstai, 23. kesäkuuta 2022 | 10.00 - 12.30
Julkaisutunnus: 5449 | Esitystunnus: 79a
PartGlot: Muodon osittaisen segmentoinnin oppiminen kieliviitepeleistä
Ian Huang, Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Esitystilaisuus: perjantai, 24. kesäkuuta 2022 8.30 - 10.18
Julkaisutunnus: 3830 | Esitystunnus: 49a
Ovatko multimodaaliset muunnokset kestäviä puuttuvan modaalisuuden suhteen?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Esitystilaisuus: perjantai, 24. kesäkuuta 2022 | 10.00 - 12.30
Julkaisutunnus: 7761 | Esitystunnus: 212a