21. Juni 2022
21. Juni 2022

A Spotlight on Snap Research at CVPR 2022

Snap’s Research team is kicking off the week in New Orleans at the 2022 Computer Vision and Pattern Recognition Conference. This year at CVPR, our team will share seven new academic papers, alongside the world’s leading researchers, that show breakthroughs across image, video, object synthesis and object manipulation methods.

Das Forschungsteam von Snap startet die Woche in New Orleans auf der Computer Vision and Pattern Recognition Conference 2022. In diesem Jahr wird unser Team auf der CVPR zusammen mit weltweit führenden Forschern sieben neue akademische Arbeiten vorstellen, die einen Durchbruch in den Bereichen Bild-, Video-, Objektsynthese- und Objektmanipulationsmethoden darstellen.

Wir haben bei dieser Arbeit eng mit Praktikanten und externen akademischen Einrichtungen zusammengearbeitet, um die Technologie der Videosynthese erheblich zu verbessern. Diese Entwicklungen können letztendlich Einfluss darauf haben, was wir unserer Gemeinschaft von Snapchattern auf der ganzen Welt bieten. 

Die in unseren Beiträgen vorgestellten Arbeiten beruhen auf den folgenden Entwicklungen: Unser Team hat implizite Videodarstellungen entwickelt, die bei einer Vielzahl von Aufgaben zu einer Videosynthese auf dem neuesten Stand der Technik führen, während gleichzeitig die Rechenanforderungen bescheiden bleiben. Anschließend stellen wir zwei neue Probleme in diesem Bereich vor: multimodale Videosynthese und spielbare Umgebungen.

Das CLIP-NeRF-Papier beispielsweise war ein gemeinsames Forschungsprojekt zur Untersuchung der Manipulation von neuronalen Strahlungsfeldern. Neuronale Strahlungsfelder ermöglichen das Rendern von Objekten mit Hilfe neuronaler Netze, ohne dass  anspruchsvolle Grafikpipelines erforderlich sind. Die Ergebnisse dieser Arbeit können dazu beitragen, die Art und Weise zu verbessern, wie digitale Inhalte für die Verwendung in Augmented-Reality-Erlebnissen erstellt werden. Und in diesem PartGlot-Beitrag wird untersucht, wie Maschinen mithilfe von Sprachmodellen Formen und Objekte um uns herum besser verstehen können.

Wir freuen uns über das Potenzial dieser Arbeit, die Kreativität unserer Community und unserer Kreativen in Zukunft über unsere Produkte und Plattformen hinweg freizusetzen.

GEHEN SIE ZUR CVPR?  

Unser Team wird vor Ort sein, also komm vorbei und sag hallo! Wenn Sie mehr über unsere Papiere,  unser Team und unsere Produkte erfahren möchten, besuchen Sie uns während der Expo (21. bis 23. Juni) am Stand Nr. 1322 oder senden Sie eine E-Mail an conferences@snap.com

CVPR 2022 PAPIERE

Aufgeschrieben von und in Zusammenarbeit mit Snap Research

Spielbare Umgebungen: Videomanipulation in Raum und Zeit

Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Posterpräsentation: Dienstag, 21. Juni 2022 14:30 - 17:00 Uhr

Papier-ID: 2345 | Poster-ID: 99b

Zeig mir was und sag mir wie: Videosynthese durch multimodale Konditionierung Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov

Posterpräsentation: Dienstag, 21. Juni 2022  14:30 – 17:00 Uhr 

Papier-ID: 3594 | Poster-ID: 102b

CLIP-NeRF: Text- und Bildgestützte Manipulation der neuronalen Strahlungsfelder

Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Posterpräsentation: Dienstag, 21. Juni 2022 |  14:30-17:00 Uhr 

Papier-ID: 6311 | Poster-ID: 123b

StyleGAN-V: Ein kontinuierlicher Videogenerator mit dem Preis, der Bildqualität und den Perks von StyleGAN2 

Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny

Posterpräsentation: Dienstag, 21. Juni 2022 | 14:30-17:00 Uhr 

Papier-ID: 5802 | Poster-ID: 103b

Diverse Bildübermalungen mittels GAN-Inversion

Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang

Posterpräsentation: Donnerstag, 23. Juni 2022 | 10:00-12:30 Uhr 

Papier-ID: 5449 | Poster-ID: 79a

PartGlot: Lernen der Segmentierung von Formteilen anhand von Sprachreferenzspielen 

Ian Huang, Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung

Posterpräsentation: Freitag, 24. Juni 2022 8:30-10:18 Uhr

Papier-ID: 3830 | Poster-ID: 49a

Sind Multimodale Transformatoren robust für die fehlende Modalität?

Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng

Posterpräsentation: Freitag, 24. Juni 2022 | 10:00-12:30 Uhr 

Papier-ID: 7761 | Poster-ID:  212a

 

 

Back To News