Snap रिसर्च 2025

Snap रिसर्च टीम AR और जेनरेटिव एआई, सिफारिश सिस्टम और पर्सनलाइज़्ड क्रिएटिव टूल्स में नवाचार का नेतृत्व कर रही है।

2025 में, हम उद्योग के कई प्रमुख सम्मेलनों और कार्यक्रमों में अपने काम को प्रदर्शित करेंगे।

पिछली घटनाएं:

SIGGRAPH 2025  -- वैंकूवर, कनाडा 10 अगस्त से 14 अगस्त तक

नेस्टेड अटेंशन: अवधारणा वैयक्तिकरण के लिए अर्थ-जागरूक ध्यान मूल्य

नेस्टेड अटेंशन एक नया तरीका है जो इमेज जनरेशन मॉडल में पहचान के संरक्षण को बढ़ाने में मदद करता है, और विभिन्न शैलियों और दृश्यों में विशिष्ट विषयों की अधिक सुसंगत और सटीक तस्वीरें बनाता है। अर्थ-जागरूक ध्यान संरचना को प्रस्तुत करके, मॉडल विभिन्न शैलियों और दृश्यों में अपनी पहचान को बेहतर ढंग से संरक्षित करता है। इससे पर्सनलाइज़्ड इमेज बनाना संभव हो जाता है, यहाँ तक कि विभिन्न विषयों – जैसे कि व्यक्ति और उनके पालतू जानवर – को एक तस्वीर में संयोजित करना संभव हो जाता है।

इंस्टेंट रिस्टोर: शेयर्ड इमेज अटेंशन के साथ सिंगल-स्टेप पर्सनलाइज़्ड फेस रिस्टोर

यह पेपर इंस्टेंट रिस्टोर का परिचय देता है, जो डिफ्यूजन मॉडल के माध्यम से सिंगल फॉरवर्ड पास का उपयोग करके क्षतिग्रस्त चेहरे की छवियों को रिस्टोर करने का एक तरीका है। इसका उद्देश्य पहचान-विशिष्ट सुविधाओं को बनाए रखना है, और पोर्ट्रेट फ़ोटो वृद्धि के लिए कुशल पहचान-जागरूक बहाली का समर्थन करना है।

एकल वीडियो से डायनामिक अवधारणाओं का पर्सनलाइज़ेशन

सेट-एंड-सीक्वेंस वीडियो जनरेशन मॉडल के लिए एक नया फ्रेमवर्क है जो "डायनामिक कॉन्सेप्ट्स" के साथ वीडियो बनाने की चुनौती को हल करता है - ऐसी संस्थाएं जो न केवल उनके लुक से बल्कि समय के साथ उनके अनोखे मोशन पैटर्न से भी परिभाषित होती हैं, जैसे कि समुद्री लहरें या टिमटिमाती हुई अलाव। सेट-एंड-सीक्वेंस यह सीखकर यथार्थवादी वीडियो पर्सनलाइज़ेशन को सक्षम बनाता है कि गतिशील विषय समय के साथ कैसे व्यवहार करते हैं, जिससे सुसंगत गति, दृश्य की रचना और क्रॉस-सीन ब्लेंडिंग संभव हो जाते हैं।

DuetGen: पदानुक्रमित मास्क मॉडलिंग के माध्यम से संगीत-चालित दो-व्यक्ति के द्वारा नृत्य निर्माण जनरेशन

DuetGen सीधे संगीत से दो व्यक्ति के लिए समकालिक नृत्य गति उत्पन्न करने का एक फ्रेमवर्क है। यह नृत्य भागीदारों के बीच समन्वित गति और शारीरिक अंतःक्रिया जैसे इंटरैक्टिव कोरियोग्राफी के मॉडलिंग की चुनौती को संबोधित करता है। यह प्रणाली सिस्टम एनीमेशन, वर्चुअल अवतार और डिजिटल प्रदर्शन के एप्लिकेशन के लिए यथार्थवादी युगल नृत्य जनरेशन को सक्षम बनाती है।

निर्णायक बनें: मल्टी-सब्जेक्ट जनरेशन के लिए शोर-प्रेरित लेआउट

हमारा काम निर्णायक बनें यह चैलेंज है कि हम बिना किसी दृश्य अशुद्धियों या अनपेक्षित सम्मिश्रण के बिना जटिल छवियों में कई अलग-अलग विषयों को सटीक रूप से उत्पन्न करने की चुनौती से निपटता है। निर्णायक बनें एक छोटे से तंत्रिका नेटवर्क का परिचय देता है जो डिनोइज़िंग के दौरान शोर-प्रेरित स्थानिक लेआउट की भविष्यवाणी करता है और उसे परिष्कृत करता है, और यह मार्गदर्शन करता है कि प्रत्येक विषय को इमेज जनरेशन के शुरुआती चरण से कहाँ दिखना चाहिए। इससे अनेक विशिष्ट विषयों के साथ अत्यधिक विस्तृत इमेज बनाने की सुविधा मिलती है, तथा उनके बीच स्पष्ट सीमाएं और प्राकृतिक संरचना सुनिश्चित होती है।

KDD 2025 -- टोरंटो, ओंटेरियो, कनाडा 3 अगस्त से 7 अगस्त तक

GiGL: Snapchat पर लार्ज-स्केल ग्राफ़ न्यूरल नेटवर्क

GiGL बड़े पैमाने पर ग्राफ़िक्स पर ग्राफ़ न्यूरल नेटवर्क (GNNs) को प्रशिक्षण देने और चलाने के लिए एक ओपन-सोर्स लाइब्रेरी है, जो करोड़ों नोड्स और अरबों किनारों का समर्थन करती है। GIGL का उपयोग Snap में मुख्य मशीन लर्निंग एप्लिकेशन के लिए किया जाता है, जिसमें यूज़र की वृद्धि, कंटेंट की रैंकिंग और विज्ञापन शामिल हैं।

सहयोगात्मक फ़िल्टरिंग में वज़न क्षय की भूमिका पर: एक लोकप्रियता के परिप्रेक्ष्य

यह पेपर PRISM (परिमाण को एम्बेड करने के लिए लोकप्रियता-जागरूकता आरंभीकरण रणनीति) का परिचय देता है। PRISM सिफारिश मॉडल के प्रशिक्षण में एक आम लेकिन महंगी तकनीक के भार क्षय के उपयोग को समाप्त करता है, और इसके बजाय प्रशिक्षण के शुरू होने पर इसकी जगह एक हल्की कम्प्यूटेशन के साथ बदल देता है। PRISM तेज़ है, और लागू करने में आसान है, जिससे अधिक कुशल सिफारिश प्रणालियां बनती हैं।

क्रॉस-डोमेन अनुक्रमिक सिफारिश के लिए आत्म-ध्यान की समीक्षा करना

यह काम AutoCDSR का परिचय देता है, जो बेहतर बनाने का एक तरीका है कि ऐसे सिस्टम शोर या अप्रासंगिक संकेतों को कम करते हुए प्रभावी ज्ञान शेयरिंग को बढ़ावा देकर विभिन्न इंटरैक्शन डोमेन में यूज़र के व्यवहार की भविष्यवाणी कैसे करते हैं। AutoCDSR सिफारिश सेटिंग्स में पर्सनलाइज़ेशन की सटीकता और मजबूती को बेहतर बनाता है।

SnapGen: मोबाइल उपकरणों के लिए उच्च-रिज़ॉल्यूशन टेक्स्ट-टू-इमेज मॉडल का प्रबंधन कुशल वास्तुकला और प्रशिक्षण के साथ मोबाइल उपकरणों के लिए Snap AI T2I मॉडल

SnapGen एक हाई-परफ़ॉर्मेंस टेक्स्ट-टू-इमेज रिसर्च मॉडल है जिसे सीधे मोबाइल डिवाइस पर चलने के लिए डिज़ाइन किया गया है, जो दो सेकंड से भी कम समय में हाई-क्वालिटी इमेज जनरेट करता है। इसमें ऑन-डिवाइस इमेज जनरेशन के लिए ज़रूरी कंप्यूट और मेमोरी को काफ़ी कम करने की क्षमता है।

SnapGen-V: मोबाइल डिवाइस पर पांच सेकंड के अंदर पांच-सेकंड का वीडियो जनरेट करना

SnapGen-V हमारे SnapGen मॉडल को सिर्फ़ पांच सेकंड के वीडियो सीधे मोबाइल डिवाइस पर जनरेट करने के लिए एक्सटेंड करता है। यह तेज़, ऑन-डिवाइस वीडियो जनरेशन को रीच में लाता है, जो टेक्स्ट-टू-इमेज मॉडलिंग में हमारी प्रगति पर आधारित है।

4Real-Video: जनरलाइज़ किए जा सकने वाले फ़ोटो-रियलिस्टिक 4D वीडियो डिफ्यूज़ करना सीखना 

4Real-Video रिसर्च मॉडल रिच डिटेल और नेचुरल मोशन के साथ रियलिस्टिक 4D वीडियो जनरेट करता है जिन्हें कई ऐंगल से देखा जा सकता है। इस टेक्नोलॉजी में इमर्सिव VR और नेक्स्ट-जनरेशन स्टोरीटेलिंग एक्सपीरिएंस से जुड़े संभावित एप्लिकेशन हैं।

स्थिर फ़्लो: प्रशिक्षण-मुक्त इमेज एडिटिंग के लिए महत्वपूर्ण परतें

हमारा स्टेबल फ़्लो रिसर्च मॉडल पावरफ़ुल इमेज एडिटिंग चालू करता है जैसे कि कॉम्प्लेक्स ट्रेनिंग या हाई-एंड हार्डवेयर की ज़रूरत के बिना ऑब्जेक्ट जोड़ना या हटाना। यह ऐप किसी को भी फ़ोटो को आसानी से एडिट करने की सुविधा देता है, इसके लिए किसी तकनीकी विशेषज्ञता की भी ज़रूरत नहीं है।

Omni-ID: समग्र पहचान प्रतिनिधित्व, सृजनात्मक कार्यों के लिए डिज़ाइन किया गया

हमारा Omni-ID रिसर्च मॉडल अलग-अलग ऐंगल और एक्सप्रेशन में किसी व्यक्ति के चेहरे का कॉम्प्रिहेंसिव रिप्रज़ंटेशन बनाता है, जिससे AI और AR जनरेशन ज़्यादा रियलिस्टिक और पर्सनलाइज़्ड हो जाते हैं।

PrEditor3D: तेज़ और सटीक 3D शेप एडिटिंग

PrEditor3D हमारी रिसर्च टीमों द्वारा विकसित किया गया एक टूल है जो न्यूनतम इनपुट के साथ 3D मॉडल्स को तेज़ और सटीक एडिटिंग की सुविधा देता है, साथ ही 3D कॉन्टेंट क्रिएशन की प्रोसेस को भी आसान बनाता है, ताकि 3D शेप्स में हेरफेर करने और एडजस्ट करने का तरीका भी आसान हो जाए। ऐप्लिकेशन में PrEditor3D में एनिमेटर्स और Lens क्रिएटर्स के लिए अपने विज़न को कुशलता से जीवंत करना आसान हो जाता है, जिससे AR और भी ज़्यादा इमर्सिव हो सकता है।

मॉडलिटी का मोज़ेक: मल्टीमोडल ग्राफ़ लर्निंग के लिए एक कॉम्प्रिहेंसिव बेंचमार्क 

MM-Graph मल्टी-मोडल ग्राफ़ लर्निंग के लिए पहला बेंचमार्क पेश करता है, जिसमें विज़ुअल और टेक्सचुअल डेटा दोनों शामिल हैं, ताकि मौजूदा बेंचमार्क में विज़ुअल जानकारी के महत्वपूर्ण अंतर को दूर किया जा सके। यह ज़्यादा कॉम्प्रिहेंसिव मॉडल मूल्यांकन की सुविधा देता है और ऐसे ग्राफ़ लर्निंग सिस्टम में इनोवेशन को बढ़ावा देता है जो ज़्यादा बेहतर रियल-वर्ल्ड इनपुट को समझ सकता है।

वीडियो अल्केमिस्ट

एक टेक्स्ट प्रॉम्प्ट और रेफ़रेंस इमेज के एक सेट के साथ, वीडियो अल्केमिस्ट की मदद से बिना ज़्यादा ट्यूनिंग या ऑप्टिमाइज़ेशन के वीडियो बनाए जा सकते हैं। ऐप में यह वीडियो पर्सनलाइज़ेशन को कस्टम अपीयरेंस और बैकग्राउंड की मदद से सुव्यवस्थित करेगा जिससे समय की बचत होगी और क्रिएटिविटी भी बढ़ेगी।

समय पर ध्यान दें: अस्थायी रूप से नियंत्रित मल्टी-इवेंट वीडियो जनरेशन

समय पर ध्यान दें, AI-जनरेटेड वीडियो में सटीक अस्थायी नियंत्रण की सुविधा देने वाला है. यह क्रिएटर्स को इवेंट के क्रम और समय को तय करने की सुविधा देगा। यह वीडियो जनरेशन में ज़्यादा स्ट्रक्चर्ड, सुसंगत स्टोरीटेलिंग की सुविधा देता है।

डिफ्यूज़न ट्रांसफ़ॉर्मर के साथ वीडियो मोशन ट्रांसफ़र

वीडियो मोशन ट्रांसफ़र, डिफ़्यूज़न रिसर्च मॉडल का इस्तेमाल करके रियलिस्टिक मोशन को एक वीडियो से दूसरे वीडियो में ट्रांसफ़र करने का एक तरीका है। ऐप में यह मॉडल आसानी से रियलिस्टिक मूवमेंट वाले वीडियो बना सकता है बिना कॉम्प्लेक्स सेटअप के इस्तेमाल के। इसके लिए, रेफ़रेंस वीडियो से मोशन ट्रांसफ़र किया जाता है।

वंडरलैंड: किसी सिंगल इमेज से 3D सीन नेविगेट करना

Wonderland सिर्फ़ एक फ़ोटो से डिटेल्ड 3D सीन बनाता है, जिससे 3D सीन बनाना आसान हो जाता है और बिना कई ऐंगल या ज़्यादा रिसोर्स के, तेज़ और ज़्यादा कुशल डिज़ाइन की सुविधा मिलती है।

AC3D: वीडियो डिफ़्यूज़न ट्रांसफ़ॉर्मर में 3D कैमरा कंट्रोल का विश्लेषण करना और बेहतर बनाना

AC3D वीडियो जनरेशन मॉडल के भीतर कैमरा कंट्रोल को बेहतर बनाता है, जिससे ज़्यादा स्मूद और रियलिस्टिक मूवमेंट हो सकता है। यह क्रिएटर्स को वीडियो में कैमरा मूवमेंट पर ज़्यादा फ़्लेक्सिबिलिटी की सुविधा देता है और जनरेटेड सीन की क्वॉलिटी और रियलिज़्म को बेहतर बनाता है।

*यहाँ दिए गए सभी मॉडल और काम सिर्फ़ रिसर्च के लिए है। 

यह पोस्ट अपडेट होती रहेगी।