A equipe de pesquisa da Snap está dando início à semana em Nova Orleans na Conferência sobre Visão Computacional e Reconhecimento de Padrões (CVPR) de 2022. Este ano na CVPR, nossa equipe compartilhará sete novos trabalhos acadêmicos ao lado dos principais pesquisadores do mundo, que mostram descobertas relacionadas à síntese de imagens, vídeos e objetos, bem como métodos de manipulação de objetos.
Viemos trabalhando em estreita colaboração com estagiários e instituições acadêmicas externas neste trabalho para promover avanços significativos na tecnologia de síntese de vídeos. Esses desenvolvimentos podem informar o que estamos trazendo para a nossa comunidade de Snapchatters de todo o mundo.
O trabalho apresentado em nossos artigos baseia-se nos seguintes desenvolvimentos: nossa equipe construiu representações de vídeo implícitas, resultando numa síntese de vídeo de última geração para diversas tarefas — e mantendo os requisitos computacionais modestos. Em seguida, apresentamos dois novos problemas no domínio: síntese de vídeo multimodal e ambientes jogáveis.
Por exemplo, o artigo sobre o CLIP-NeRF foi um esforço colaborativo de pesquisa para estudar a manipulação de campos radiância neural. Os campos de radiância neural permitem renderizar objetos usando redes neurais, sem a necessidade de pipelines gráficos sofisticados. As descobertas desse trabalho podem ajudar a informar melhorias nas formas como os ativos digitais são criados para uso em experiências de realidade aumentada. Ainda, este artigo sobre o PartGlot explora como as máquinas podem entender melhor formas e objetos ao nosso redor usando modelos de linguagem.
Estamos empolgados com o potencial que esse trabalho tem para desbloquear a criatividade da nossa comunidade e criadores em nossos produtos e plataformas no futuro.
VAI COMPARECER NA CVPR?
Nossa equipe estará no local — venha dizer oi! Se quiser saber mais sobre nossos artigos, equipe e produtos, dê uma passadinha no estande 1322 durante a exposição (21 a 23 de junho) ou mande um e-mail para conferences@snap.com
ARTIGOS DA CVPR 2022
Escrito por e em colaboração com a Snap Research
Playable Environments: Video Manipulation in Space and Time
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Apresentação de pôster: terça-feira, 21 de junho de 2022 | 14h30 às 17h00
ID do artigo: 2345 | ID do pôster: 99b
Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Apresentação de pôster: terça-feira, 21 de junho de 2022 | 14h30 às 17h00
ID do artigo: 3594 | ID do pôster: 102b
CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Apresentação de pôster: terça-feira, 21 de junho de 2022 | 14h30 às 17h00
ID do artigo: 6311 | ID do pôster: 123b
StyleGAN-V: A Continuous Video Generator with the Price, Image Quality and Perks of StyleGAN2
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Apresentação de pôster: terça-feira, 21 de junho de 2022 | 14h30 às 17h00
ID do artigo: 5802 | ID do pôster: 103b
Diverse Image Outpainting via GAN Inversion
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Apresentação de pôster: quinta-feira, 23 de junho de 2022 | 10h00 às 12h30
ID do artigo: 5449 | ID do pôster: 79a
PartGlot: Learning Shape Part Segmentation from Language Reference Games
Ian Huang, Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Apresentação de pôster: sexta-feira, 24 de junho de 2022 | 08h30 às 10h18
ID do artigo: 3830 | ID do pôster: 49a
Are Multimodal Transformers Robust to Missing Modality?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Apresentação de pôster: sexta-feira, 24 de junho de 2022 | 10h00 às 12h30
ID do artigo: 7761 | ID do pôster: 212a