El equipo de investigación de Snap inicia la semana en Nueva Orleans en la conferencia Computer Vision and Pattern Recognition de 2022. Este año, nuestro equipo compartirá en CVPR siete nuevos documentos académicos, junto con los principales investigadores del mundo, que muestran innovaciones en los métodos de síntesis de objetos, imagen, vídeo y manipulación de objetos.
Hemos trabajado estrechamente con pasantes e instituciones académicas externas sobre este trabajo para conseguir ganancias significativas en la tecnología de síntesis de vídeo. Estos desarrollos pueden, en definitiva, informar de lo que aportamos a nuestra comunidad de Snapchatters de todo el mundo.
El trabajo que se presenta en nuestros documentos se basa en los siguientes desarrollos: nuestro equipo ha creado representaciones de vídeo implícitas, que dan como resultado una síntesis de vídeo de alta calidad en diversas tareas, a la vez que se mantienen requisitos informáticos modestos. A continuación, presentamos dos nuevos problemas en el dominio: la síntesis de vídeo multimodal y los entornos jugables.
Por ejemplo, el documento CLIP-NeRF fue un esfuerzo de investigación colaborativo para estudiar la manipulación de los campos de Radiancia neuronal. Los campos de Radiancia neural permiten representar objetos con redes neuronales, sin necesidad de tener canalizaciones de gráficos sofisticadas. Los resultados de este trabajo pueden ayudar a informar de las mejoras en las formas como los activos digitales se crean para su uso en experiencias de realidad aumentada. Además, este documento PartGlot explora cómo las máquinas pueden entender mejor las formas y los objetos que nos rodean usando modelos de lenguaje.
Nos entusiasma el potencial de este trabajo para desbloquear la creatividad de nuestra comunidad y de los creadores en nuestros productos y plataformas en el futuro.
¿VAS A CVPR?
¡Nuestro equipo estará en las instalaciones, así que ven a saludar! Si quieres obtener más información sobre nuestros documentos, equipo y productos, pásate por el stand n.º 1322 durante la exposición (del 21 al 23 de junio) o envía un correo electrónico a conferences@snap.com
DOCUMENTOS DE CVPR 2022
Escritos por y en colaboración con Snap Research
Playable Environments: Video Manipulation in Space and Time (Entornos jugables: manipulación de vídeo en el espacio y el tiempo)
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Sesión de póster: martes, 21 de junio de 2022 2:30 PM - 5:00 PM
ID de documento: 2345 | ID de póster: 99b
Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning (Muéstrame qué y dime cómo: Síntesis de vídeo a través del condicionamiento multimodal) Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Sesión de póster: martes, 21 de junio de 2022 2:30 PM - 5:00 PM
ID de documento: 3594 | ID de póster: 102b
CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields (Manipulación de texto e imagen de campos de radiación neuronal)
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Sesión de póster: martes, 21 de junio de 2022 | 2:30 PM – 5:00 PM
ID de documento: 6311 | ID de póster: 123b
StyleGAN-V: A Continuous Video Generator with the Price, Image Quality and Perks of StyleGAN2 (Un generador de vídeo continuo con el precio, la calidad de imagen y las ventajas de StyleGAN2)
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Sesión de póster: martes, 21 de junio de 2022 | 2:30 PM – 5:00 PM
ID de documento: 5802 | ID de póster: 103b
Diverse Image Outpainting via GAN Inversion (Proyección de imagen diversa a través de la inversión de GAN)
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Sesión de póster: jueves, 23 de junio de 2022 | 10:00 AM - 12:30 PM
ID de documento: 5449 | ID de póster: 79a
PartGlot: Learning Shape Part Segmentation from Language Reference Games (Aprendizaje de la segmentación de piezas de formas a partir de juegos de referencia de lenguaje)
Ian Huang, Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Sesión de póster: viernes, 24 de junio de 2022 8:30 AM - 10:18 AM
ID de documento: 3830 | ID de póster: 49a
Are Multimodal Transformers Robust to Missing Modality? (¿Son los transformadores multimodales robustos para la modalidad que falta?)
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Sesión de póster: viernes, 24 de junio de 2022 | 10:00 AM - 12:30 PM
ID de documento: 7761 | ID de póster: 212a