El equipo de Investigación de Snap comenzará la semana en Nueva Orleans con la participación en la 2022 Computer Vision and Pattern Recognition Conference. Este año en la CVPR, nuestro equipo compartirá siete nuevos documentos académicos, junto con investigadores líderes de todo el mundo, en los que se muestran los avances en imágenes, video, síntesis de objetos y métodos de manipulación de objetos.
Hemos trabajado estrechamente con pasantes e instituciones académicas externas para lograr avances significativos en lo que respecta a la tecnología de síntesis de video. En última instancia, estos desarrollos pueden informar lo que aportamos a nuestra comunidad de Snapchatters en todo el mundo.
El trabajo presentado en nuestros documentos se basa en los siguientes desarrollos: Nuestro equipo ha creado representaciones de video implícito, lo que da como resultado la síntesis de video de vanguardia en una variedad de tareas, a la vez que se mantienen los requisitos computacionales discretos. Luego, introdujimos dos problemas nuevos al dominio: la síntesis de video multimodal y los entornos reproducibles.
Por ejemplo, el documento de la CLIP-NeRF fue un esfuerzo de investigación colaborativa para estudiar la manipulación de los campos de Neural Radiance. Los campos de Neural Radiance posibilitan renderizar objetos mediante el uso de redes neurales, sin la necesidad de procesos gráficos sofisticados. Los hallazgos de este trabajo pueden ayudar a informar mejores en las formas en que los activos digitales se crean para uso en experiencias de realidad aumentada. Y en este documento de PartGlot se explora la forma en que las máquinas pueden comprender mejor las formas y los objetos a nuestro alrededor usando modelos de lenguaje.
Estamos entusiasmados por el potencial que tiene este trabajo de desbloquear la creatividad de nuestra comunidad y creadores en todos nuestros productos y plataformas en el futuro.
¿Asistirás a la CVPR?
Nuestro equipo estará allí, pasa a saludarnos. Si quieres conocer más acerca de nuestros documentos, equipos y productos, pasa por el puesto #1322 durante la exposición (del 21 de junio al 23 de junio) o envíanos un email a conferences@snap.com.
DOCUMENTOS DE LA CVPR 2022
Escritos en colaboración con Snap Research
Playable Environments: Video Manipulation in Space and Time
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Sesión del panel: martes 21 de junio de 2022, de 2:30 p. m. a 5:00 p. m.
ID del documento: 2345 | ID del panel: 99b
Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Sesión del panel: martes 21 de junio de 2022 de 2:30 a 5:00 p. m.
ID del documento: 3594 | ID del panel: 102b
CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Sesión del panel: martes 21 de junio de 2022, de 2:30 p. m. a 5:00 p. m.
ID del documento: 6311 | ID del panel: 123b
StyleGAN-V: A Continuous Video Generator with the Price, Image Quality and Perks of StyleGAN2
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Sesión del panel: martes 21 de junio de 2022 | 2:30 p. m. – 5:00 p. m.
ID del documento: 5802 | ID del panel: 103b
Diverse Image Outpainting via GAN Inversion
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Sesión del panel: jueves 23 de junio de 2022 | 10:00 a. m. a 12:30 p. m.
ID del documento: 5449 | ID del panel: 79a
PartGlot: Learning Shape Part Segmentation from Language Reference Games
Ian Huang,Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Sesión del panel: viernes 24 de junio de 2022, de 8:30 a. m. a 10:18 a. m.
ID del documento: 3830 | ID del panel: 49a
Are Multimodal Transformers Robust to Missing Modality?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Sesión del panel: viernes 24 de junio de 2022 | de 10:00 a. m. a 12:30 p. m.
ID del documento: 7761 | ID del panel: 212a