A equipa de Investigação da Snap arranca em Nova Orleães na CVPR — Computer Vision and Pattern Recognition Conference (Conferência de Visão Computacional e Reconhecimento de Padrões de 2022. Este ano na CVPR, a nossa equipa partilhará sete novos papers académicos, ao lado dos principais investigadores do mundo que mostram as inovações na imagem, no vídeo, na síntese de objetos e nos métodos de manipulação de objetos.
Trabalhámos em estreita colaboração com estagiários e instituições académicas externas neste trabalho para obter ganhos significativos na tecnologia de síntese de vídeo. Em última instância, estes desenvolvimentos informam sobre aquilo que trazemos para a nossa comunidade de Snapchatters por todo o mundo.
O trabalho apresentado nos nossos papers baseia-se nos seguintes desenvolvimentos: a nossa equipa criou representações de vídeo implícitas que resultam numa síntese de vídeo de última geração sobre diversas tarefas, enquanto mantém requisitos computacionais modestos. Depois apresentamos dois novos problemas no domínio: a síntese de vídeo multimodal e os ambientes jogáveis.
Por exemplo, o paper CLIP-NeRF foi um esforço de investigação em parceria para estudar a manipulação dos campos de Radiância Neural. Os campos de Radiância Neural tornam possível a renderizar de objetos através de redes neurais sem necessitarem de canais sofisticados de gráficos. Os resultados deste estudo podem contribuir com informação para melhorar a forma como os ativos digitais são criados para utilização em experiências de realidade aumentada. Este paper PartGlot explora a forma como as máquinas podem passar a entender melhor as formas e os objetos à nossa volta usando modelos linguísticos.
Estamos entusiasmados com o potencial deste trabalho para futuramente desbloquear a criatividade da nossa comunidade e dos criadores nos nossos produtos e plataformas.
VAIS À CVPR?
A nossa equipa estará no local por isso vem dizer olá! Se queres saber mais sobre os nossos estudos, equipa e produtos vai até ao posto #1322 na Expo (21 a 23 de junho) ou questiona através do e-mail conferences@snap.com
2022 CVPR PAPERS
Escrito por e em colaboração com a Investigação da Snap
Ambientes Jogáveis: Manipulação de Vídeo no Espaço e no Tempo
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Sessão de Póster: terça-feira, 21 de junho de 2022 das 14h30 às 17h00
ID para Paper: 2345 | ID para Póster: 99b
Mostra-me o Quê e Diz-me Como: Síntese de Vídeo via Multimodal Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minae, Dimitris Metaxas, Sergey Tulyakov
Sessão de Póster: terça-feira, 21 de junho de 2022 das 14h30 às 17h00
ID de Paper: 3594 | ID de Póster: 102b
CLIP-NeRF: Impulsionado por Texto e Imagem Manipulação dos Campos de Radiância Neural
Can Wang, Menglei Chai, Minging He, Dongdong Chen, Jing Liao Sessão de Póster: terça-feira, 21 de junho de 2022 | 14h30 às 17h00
ID de Paper: 6311 | ID de Póster: 123b
StyleGAN-V: Um Gerador de Vídeo Contínuo com o Preço, Qualidade de Imagem e Vantagens do StyleGAN2
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Sessão de Póster: terça-feira, 21 de junho de 2022 | 14h30 às 17h00
ID de Paper: 5802 | ID de Póster: 103b
O Triunfo da Imagem Diversa pela Inversão GAN
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Sessão de Póster: quinta-feira, 23 de junho de 2022 | 10h00 às 12:30
ID de Paper: 5449 | ID de Póster: 79a
PartGlot: Aprender a Segmentação Parcial da Forma a partir de Jogos de Referência Linguística
Ian Huang, Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Sessão de Póster: sexta-feira, 24 de junho de 2022 das 8h30 às 10h18
ID de Paper: 3830 | ID de Póster: 49a
Os Transformadores Multimodais são Resistentes à Ausência da Modalidade?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Sessão de Póster: sexta-feira, 24 de junho de 2022 | 10h00 às 12h30
ID de Paper: 7761 | ID de Póster: 212a