A Spotlight on Snap Research at CVPR 2022
Snap’s Research team is kicking off the week in New Orleans at the 2022 Computer Vision and Pattern Recognition Conference. This year at CVPR, our team will share seven new academic papers, alongside the world’s leading researchers, that show breakthroughs across image, video, object synthesis and object manipulation methods.
Zespół Snap ds. badań rozpoczyna ten tydzień w Nowym Orleanie na konferencji poświęconej widzeniu komputerowemu i rozpoznawaniu wzorców CVPR. W tym roku podczas CVPR nasz zespół przedstawi siedem nowych artykułów naukowych wraz z wiodącymi światowymi specjalistami, pokazując przełomowe rezultaty w metodach syntezy obrazu, filmu i obiektu oraz manipulowania obiektami.
Pracowaliśmy ściśle ze stażystami oraz zewnętrznymi instytucjami naukowymi, dokonując znacznych postępów w technologii syntezy wideo. Rezultaty te w ostatecznym rozrachunku wzbogacą naszą ofertę skierowaną do użytkowników Snapchata na całym świecie.
Przedstawione w naszych artykułach prace opierają się na następujących wynikach: nasz zespół stworzył ukryte reprezentacje wideo, tworzące najnowocześniejszą syntezę wideo podczas różnorodnych zadań, utrzymując ograniczone wymogi obliczeniowe. Wprowadzamy następnie do dziedziny dwa nowe problemy: multimodalną syntezę wideo oraz grywalne środowiska.
Na przykład artykuł CLIP-NeRF przedstawia efekt kolektywnych badań nad manipulowaniem polami neuro-radiancji. Pola neuro-radiancji umożliwiają renderowanie obiektów za pomocą sieci neuronowych bez potrzeby zastosowania rozbudowanych potoków graficznych. Wyniki uzyskane w tej pracy mogą pomóc usprawnić metody tworzenia zasobów cyfrowych do wykorzystania w rzeczywistości rozszerzonej. Natomiast w artykule PartGlot badamy sposoby lepszego rozumienia przez maszyny kształtów i przedmiotów z naszego otoczenia dzięki modelom językowym.
Cieszymy się z góry na potencjał tej pracy, która może przyczynić się w przyszłości do rozbudzenia kreatywności naszej społeczności i twórców, pracujących nad różnymi produktami i na różnych platformach.
WYBIERASZ SIĘ NA CVPR?
Nasz zespół będzie na miejscu, więc nie zapomnij się przywitać! Jeśli chcesz dowiedzieć się więcej o naszych artykułach, zespole i produktach, zatrzymaj się przy stanowisku #1322 podczas targów (21-23 czerwca) lub napisz na adres conferences@snap.com
ARTYKUŁY NA KONFERENCJĘ CVPR 2022
Napisane przez i przy współpracy zespołu ds. badań Snap
Grywalne środowiska: manipulacja wideo w przestrzeni i czasie
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Sesja plakatowa: wtorek, 21 czerwca, 2022 r., godz. 14:30 – 17:00.
ID artykułu: 2345 | ID plakatu: 99b
Pokaż mi co i pokaż mi jak: synteza wideo za pośrednictwem warunkowania multimodalnego Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Sesja plakatowa: wtorek 21 czerwca 2022 r., godz. 14:30-17:00
ID artykułu: 3594 | ID plakatu: 102b
CLIP-NeRF: Manipulacja pól neuro-radiancji napędzana tekstem i obrazem
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Sesja plakatowa: wtorek 21 czerwca 2022 r. | godz. 14:30-17:00
ID artykułu: 6311 | ID plakatu: 123b
StyleGAN-V: Ciągły generator wideo o kosztach, jakości obrazu i korzyściach StyleGAN2
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Sesja plakatowa: wtorek, 21 czerwca 2022 r. | godz. 14:30-17:00
ID artykułu: 5802 | ID plakatu: 103b
Różnorodne poszerzanie obrazu za pomocą inwersji GAN
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Sesja plakatowa: czwartek, 23 czerwca 2022 r. | godz. 10:00-12:30
ID artykułu: 5449 | ID plakatu: 79a
PartGlot: uczenie segmentacji fragmentów kształtów z gier wykorzystujących odniesienie językowe
Ian Huang,Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Sesja plakatowa: piątek, 24 czerwca 2022 r., godz. 8:30 – godz. 10:18
ID artykułu: 3830 | ID plakatu: 49a
Czy transformery multimodalne są odporne na brakującą modalność?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Sesja plakatowa: piątek, 24 czerwca 2022 r. | godz. 10:00-12:30
ID artykułu: 7761 | ID plakatu: 212a