L'équipe de recherche de Snap démarre la semaine à la Nouvelle-Orléans, à la conférence de 2022 sur la vision informatique et la reconnaissance modèles. Cette année, à la CVPR, notre équipe présentera sept nouveaux articles académiques, aux côtés des plus grands chercheurs du monde, qui montrent des percées dans les méthodes de synthèse et de manipulation d'images, de vidéos et d'objets.
Nous avons travaillé en étroite collaboration avec des stagiaires et des institutions académiques externes sur ce travail afin de réaliser des avancées significatives dans la technologie de synthèse vidéo. Ces développements peuvent finalement informer ce que nous apportons à notre communauté de Snapchatters dans le monde entier.
Le travail présenté dans nos articles est basé sur les développements suivants : Notre équipe a construit des représentations vidéo implicites, résultant en une synthèse vidéo de pointe sur une variété de tâches, tout en maintenant des exigences de calcul modestes. Nous introduisons ensuite deux nouveaux problèmes dans le domaine : la synthèse vidéo multimodale et les environnements jouables.
Par exemple, le document CLIP-NeRF était un effort de recherche en collaboration visant à étudier la manipulation des champs de radiance neuronale. Les champs de radiance neuronale permettent de rendre des objets à l'aide de réseaux neuronaux, sans avoir besoin de pipelines graphiques sophistiqués. Les résultats de ce travail peuvent contribuer à améliorer les méthodes de création de ressources numériques destinées à être utilisées dans des expériences de réalité augmentée. Et cet article de PartGlot se penche sur la manière dont les machines peuvent mieux comprendre les formes et les objets qui nous entourent grâce à des modèles de langage.
Nous sommes enthousiasmés par le potentiel de ce travail qui permettra de libérer la créativité de notre communauté et de nos créateurs à travers nos produits et nos plateformes à l'avenir.
ALLEZ-VOUS AU CVPR ?
Notre équipe sera sur place, alors venez nous saluer ! Si vous souhaitez en savoir plus sur nos papiers, notre équipe et nos produits, passez au stand n° 1322 pendant l'exposition (du 21 au 23 juin) ou envoyez un courriel à l'adresse conferences@snap.com
2022 CVPR DOCUMENTS
Rédigé par et en collaboration avec Snap Research
Environnements jouables : Manipulation vidéo dans l'espace et le temps
Willi Menapace, Stéphane Lathuilière, Aliaksandr Siarohin, Christian Theobalt, Sergey Tulyakov, Vladislav Golyanik, Elisa Ricci Session d'affichage : Mardi 21 juin 2022 14 h 30 - 17 h 00
Identifiant du document : 2345 | Identifiant de l'affiche : 99b
Montrez-moi ce que c'est et dites-moi de quelle manière : Synthèse vidéo via le conditionnement multimodal Ligong Han, Jian Ren, Hsin-Ying Lee, Francesco Barbieri, Kyle Olszewski, Shervin Minaee, Dimitris Metaxas, Sergey Tulyakov
Session d'affichage : Mardi 21 juin 2022 14 h 30 - 17 h 00
Identifiant du document : 3594 | Identifiant de l'affiche : 102b
CLIP-NeRF : Manipulation des champs de radiance neuronaux par le texte et l'image
Can Wang, Menglei Chai, Mingming He, Dongdong Chen, Jing Liao Session d'affichage : Mardi 21 juin 2022 | 14 h 30 - 17 h 00
Identifiant du document : 6311 | Identifiant de l'affiche : 123b
StyleGAN-V : Un générateur de vidéo en continu avec le prix, la qualité d'image et les avantages de StyleGAN2
Ivan Skorokhodov, Sergey Tulyakov, Mohamed Elhoseiny
Session d'affichage : Mardi 21 juin 2022 | 14 h 30 - 17 h 00
Identifiant du document : 5802 | Identifiant de l'affiche : 103b
Retouche d'images diverses par inversion GAN
Yen-Chi Cheng, Chieh Hubert Lin, Hsin-Ying Lee, Jian Ren, Sergey Tulyakov, Ming-Hsuan Yang
Session d'affichage : Jeudi 23 juin 2022 | 10 h 00-12 h 30
Identifiant du document : 5449 | Identifiant de l'affiche : 79a
PartGlot : Apprentissage de la segmentation des parties de forme à partir de jeux de référence linguistique
Ian Huang,Juil Koo, Panos Achlioptas, Leonidas Guibas, Minhyuk Sung
Session d'affichage : Vendredi 24 juin 2022 8 h 30 - 10 h 18
Identifiant du document : 3830 | Identifiant de l'affiche : 49a
Les transformateurs multimodaux sont-ils robustes à la modalité manquante ?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
Séance d'affichage : Vendredi 24 juin 2022 | 10 h 00 - 12 h 30
Identifiant du document : 7761 | Identifiant de l'affiche : 212a