Das Forschungsteam von Snap startet die Woche in New Orleans auf der Computer Vision and Pattern Recognition Conference 2022. In diesem Jahr wird unser Team auf der CVPR zusammen mit weltweit führenden Forschern sieben neue akademische Arbeiten vorstellen, die einen Durchbruch in den Bereichen Bild-, Video-, Objektsynthese- und Objektmanipulationsmethoden darstellen.
Wir haben bei dieser Arbeit eng mit Praktikanten und externen akademischen Einrichtungen zusammengearbeitet, um die Technologie der Videosynthese erheblich zu verbessern. Diese Entwicklungen können letztendlich Einfluss darauf haben, was wir unserer Gemeinschaft von Snapchattern auf der ganzen Welt bieten.
Die in unseren Beiträgen vorgestellten Arbeiten beruhen auf den folgenden Entwicklungen: Unser Team hat implizite Videodarstellungen entwickelt, die bei einer Vielzahl von Aufgaben zu einer Videosynthese auf dem neuesten Stand der Technik führen, während gleichzeitig die Rechenanforderungen bescheiden bleiben. Anschließend stellen wir zwei neue Probleme in diesem Bereich vor: multimodale Videosynthese und spielbare Umgebungen.
Das CLIP-NeRF-Papier beispielsweise war ein gemeinsames Forschungsprojekt zur Untersuchung der Manipulation von neuronalen Strahlungsfeldern. Neuronale Strahlungsfelder ermöglichen das Rendern von Objekten mit Hilfe neuronaler Netze, ohne dass anspruchsvolle Grafikpipelines erforderlich sind. Die Ergebnisse dieser Arbeit können dazu beitragen, die Art und Weise zu verbessern, wie digitale Inhalte für die Verwendung in Augmented-Reality-Erlebnissen erstellt werden. Und in diesem PartGlot-Beitrag wird untersucht, wie Maschinen mithilfe von Sprachmodellen Formen und Objekte um uns herum besser verstehen können.
Wir freuen uns über das Potenzial dieser Arbeit, die Kreativität unserer Community und unserer Kreativen in Zukunft über unsere Produkte und Plattformen hinweg freizusetzen.
GEHEN SIE ZUR CVPR?
Unser Team wird vor Ort sein, also komm vorbei und sag hallo! Wenn Sie mehr über unsere Papiere, unser Team und unsere Produkte erfahren möchten, besuchen Sie uns während der Expo (21. bis 23. Juni) am Stand Nr. 1322 oder senden Sie eine E-Mail an conferences@snap.com
CVPR 2022 PAPIERE
Aufgeschrieben von und in Zusammenarbeit mit Snap Research
Spielbare Umgebungen: Videomanipulation in Raum und Zeit
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Posterpräsentation: Dienstag, 21. Juni 2022 14:30 - 17:00 Uhr
Papier-ID: 2345 | Poster-ID: 99b
Zeig mir was und sag mir wie: Videosynthese durch multimodale Konditionierung Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Posterpräsentation: Dienstag, 21. Juni 2022 14:30 – 17:00 Uhr
Papier-ID: 3594 | Poster-ID: 102b
CLIP-NeRF: Text- und Bildgestützte Manipulation der neuronalen Strahlungsfelder
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Posterpräsentation: Dienstag, 21. Juni 2022 | 14:30-17:00 Uhr
Papier-ID: 6311 | Poster-ID: 123b
StyleGAN-V: Ein kontinuierlicher Videogenerator mit dem Preis, der Bildqualität und den Perks von StyleGAN2
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Posterpräsentation: Dienstag, 21. Juni 2022 | 14:30-17:00 Uhr
Papier-ID: 5802 | Poster-ID: 103b
Diverse Bildübermalungen mittels GAN-Inversion
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Posterpräsentation: Donnerstag, 23. Juni 2022 | 10:00-12:30 Uhr
Papier-ID: 5449 | Poster-ID: 79a
PartGlot: Lernen der Segmentierung von Formteilen anhand von Sprachreferenzspielen
Ian Huang, Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Posterpräsentation: Freitag, 24. Juni 2022 8:30-10:18 Uhr
Papier-ID: 3830 | Poster-ID: 49a
Sind Multimodale Transformatoren robust für die fehlende Modalität?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Posterpräsentation: Freitag, 24. Juni 2022 | 10:00-12:30 Uhr
Papier-ID: 7761 | Poster-ID: 212a