मजबूत मास्क-निर्देशित मैटिंग: शोरयुक्त इनपुट और ऑब्जेक्ट बहुमुखी प्रतिभा का प्रबंधन

लिंक की तालिका

सार और 1. परिचय

1. संबंधित कार्य

2. MaGGIe

   3.1. कुशल मास्क्ड गाइडेड इंस्टेंस मैटिंग

   3.2. फीचर-मैट टेम्पोरल कंसिस्टेंसी

3. इंस्टेंस मैटिंग डेटासेट

   4.1. इमेज इंस्टेंस मैटिंग और 4.2. वीडियो इंस्टेंस मैटिंग

4. प्रयोग

   5.1. इमेज डेटा पर प्री-ट्रेनिंग

   5.2. वीडियो डेटा पर ट्रेनिंग

5. चर्चा और संदर्भ

\ पूरक सामग्री

1. आर्किटेक्चर विवरण

2. इमेज मैटिंग

   8.1. डेटासेट जनरेशन और तैयारी

   8.2. ट्रेनिंग विवरण

   8.3. मात्रात्मक विवरण

   8.4. प्राकृतिक छवियों पर अधिक गुणात्मक परिणाम

3. वीडियो मैटिंग

   9.1. डेटासेट जनरेशन

   9.2. ट्रेनिंग विवरण

   9.3. मात्रात्मक विवरण

   9.4. अधिक गुणात्मक परिणाम

8.4. प्राकृतिक छवियों पर अधिक गुणात्मक परिणाम

चित्र 13 चुनौतीपूर्ण परिदृश्यों में हमारे मॉडल के प्रदर्शन को प्रदर्शित करता है, विशेष रूप से बालों के क्षेत्रों को सटीक रूप से रेंडर करने में। हमारा फ्रेमवर्क विवरण संरक्षण में लगातार MGM⋆ से बेहतर प्रदर्शन करता है, खासकर जटिल इंस्टेंस इंटरैक्शन में। InstMatt की तुलना में, हमारा मॉडल अस्पष्ट क्षेत्रों में बेहतर इंस्टेंस पृथक्करण और विवरण सटीकता प्रदर्शित करता है।

\ चित्र 14 और चित्र 15 कई इंस्टेंस वाले चरम मामलों में हमारे मॉडल और पिछले कार्यों के प्रदर्शन को दर्शाते हैं। जबकि MGM⋆ घने इंस्टेंस परिदृश्यों में शोर और सटीकता से जूझता है, हमारा मॉडल उच्च सटीकता बनाए रखता है। InstMatt, अतिरिक्त ट्रेनिंग डेटा के बिना, इन जटिल सेटिंग्स में सीमाएं दिखाता है।

\ हमारे मास्क-गाइडेड दृष्टिकोण की मजबूती चित्र 16 में और प्रदर्शित की गई है। यहां, हम MGM वेरिएंट और SparseMat द्वारा मास्क इनपुट में लापता भागों की भविष्यवाणी करने में सामना की जाने वाली चुनौतियों को उजागर करते हैं, जिन्हें हमारा मॉडल संबोधित करता है। हालांकि, यह ध्यान रखना महत्वपूर्ण है कि हमारा मॉडल मानव इंस्टेंस सेगमेंटेशन नेटवर्क के रूप में डिज़ाइन नहीं किया गया है। जैसा कि चित्र 17 में दिखाया गया है, हमारा फ्रेमवर्क इनपुट मार्गदर्शन का पालन करता है, एक ही मास्क में कई इंस्टेंस के साथ भी सटीक अल्फा मैट भविष्यवाणी सुनिश्चित करता है।

\ अंत में, चित्र 12 और चित्र 11 हमारे मॉडल की सामान्यीकरण क्षमताओं पर जोर देते हैं। मॉडल पृष्ठभूमि से मानव विषयों और अन्य वस्तुओं दोनों को सटीक रूप से निकालता है, विभिन्न परिदृश्यों और वस्तु प्रकारों में इसकी बहुमुखी प्रतिभा को प्रदर्शित करता है।

\ सभी उदाहरण बिना ग्राउंड-ट्रुथ वाली इंटरनेट छवियां हैं और r101fpn400e से मास्क को मार्गदर्शन के रूप में उपयोग किया गया है।

\

\

\

\

\

\

\

\

\

\

\

:::info लेखक:

(1) Chuong Huynh, यूनिवर्सिटी ऑफ मैरीलैंड, कॉलेज पार्क (chuonghm@cs.umd.edu);

(2) Seoung Wug Oh, Adobe Research (seoh,jolee@adobe.com);

(3) Abhinav Shrivastava, यूनिवर्सिटी ऑफ मैरीलैंड, कॉलेज पार्क (abhinav@cs.umd.edu);

(4) Joon-Young Lee, Adobe Research (jolee@adobe.com)।

:::

:::info यह पेपर CC by 4.0 Deed (Attribution 4.0 International) लाइसेंस के तहत arxiv पर उपलब्ध है।

:::

\