उठाव मॉडल के लिए "सटीकता" क्यों विफल होती है (और इसके बजाय क्या उपयोग करें)

जब अपलिफ्ट मॉडलिंग की बात आती है, तो अन्य मशीन लर्निंग कार्यों के लिए आमतौर पर उपयोग किए जाने वाले पारंपरिक प्रदर्शन मेट्रिक्स कम पड़ सकते हैं।

मानक मशीन लर्निंग एल्गोरिदम / व्यावसायिक मामले प्रशिक्षण डेटा पर सीखते हैं, परीक्षण डेटा पर लक्ष्य की भविष्यवाणी करते हैं और इसकी तुलना ग्राउंड ट्रुथ से करते हैं।

हालांकि, अपलिफ्ट मॉडलिंग में, ग्राउंड ट्रुथ की अवधारणा मायावी हो जाती है क्योंकि हम किसी व्यक्ति पर एक साथ उपचारित और गैर-उपचारित होने के प्रभाव को नहीं देख सकते।

वेलिडेशन डेटासेट कैसे चुनें?

अपलिफ्ट मॉडल को प्रशिक्षित और परीक्षण करने के लिए डेटा की पसंद उपलब्ध जानकारी और विशिष्ट संदर्भ पर निर्भर करती है।

अपलिफ्ट मॉडल आमतौर पर मार्केटिंग अभियानों के लिए उपयोग किए जाते हैं। आइए इस दृष्टिकोण से वेलिडेशन डेटा कैसे चुना जाता है, यह समझाते हैं।

यदि हमारे पास एक अभियान है, तो हम उस अभियान के भीतर ग्राहकों को प्रशिक्षण और वेलिडेशन सेट में विभाजित कर सकते हैं।

हालांकि, यदि कई अभियान उपलब्ध हैं, तो हम कुछ अभियानों का उपयोग मॉडल को प्रशिक्षित करने के लिए कर सकते हैं और अन्य को वेलिडेशन के लिए आरक्षित रख सकते हैं। यह रणनीति मॉडल को परिदृश्यों की व्यापक श्रृंखला से सीखने की अनुमति देती है और संभावित रूप से इसकी सामान्यीकरण क्षमताओं में सुधार करती है।

इन आवश्यक घटकों के बिना, अपलिफ्ट को सटीक रूप से कैप्चर करना चुनौतीपूर्ण हो जाता है।

मुख्य दृष्टिकोण

अपलिफ्ट मॉडल के प्रदर्शन का आकलन करने के दो मुख्य तरीके हैं: क्यूमुलेटिव गेन और किनी। आइए उनका पता लगाएं:

क्यूमुलेटिव गेन :

क्यूमुलेटिव गेन जनसंख्या के एक विशिष्ट प्रतिशत को लक्षित करके प्राप्त वृद्धिशील प्रतिक्रिया दर या परिणाम को दर्शाता है।

क्यूमुलेटिव गेन की गणना करने के लिए, व्यक्तियों को उनके अपलिफ्ट स्कोर के आधार पर रैंक किया जाता है, और सॉर्ट की गई सूची को समान आकार के डेसाइल या पर्सेंटाइल समूहों की एक श्रृंखला में विभाजित किया जाता है। फिर प्रत्येक समूह के भीतर व्यक्तियों के परिणामों या प्रतिक्रियाओं को जोड़कर क्यूमुलेटिव गेन की गणना की जाती है।

N : पहले p% ग्राहकों के लिए कंट्रोल (C) और ट्रीटमेंट (T) समूहों के लिए क्लाइंट्स की संख्या

Y : पहले p% ग्राहकों के लिए कंट्रोल (C) और ट्रीटमेंट (T) समूहों के लिए हमारे द्वारा चुने गए मेट्रिक में हमारे अपलिफ्ट का योग

उदाहरण के लिए, लक्षित जनसंख्या के 20% पर CG कुल वृद्धिशील लाभ से मेल खाता है यदि हम केवल शीर्ष 20% उच्चतम स्कोर वाले उदाहरणों का उपचार करते हैं।

नीचे दिए गए उदाहरण में, हम देखते हैं कि उच्चतम स्कोर वाले शीर्ष 20% क्लाइंट्स को लक्षित करने पर 0.019 का क्यूमुलेटिव गेन मिलता है।

एक तीव्र वक्र एक बेहतर मॉडल को इंगित करता है, क्योंकि यह दिखाता है कि उच्चतम भविष्यवाणी वाले अपलिफ्ट के साथ व्यक्तियों का एक उच्च अनुपात लक्षित किया जा रहा है।

किनी गुणांक:

किनी गुणांक क्यूमुलेटिव गेन के समान विचार पर काम करता है, एक प्रमुख अंतर के साथ।

इसकी गणना करने का सूत्र:

यह बढ़िया है लेकिन हम विभिन्न मॉडलों के बीच कैसे चयन करेंगे? विभिन्न मॉडलों के बीच चयन करने के लिए केवल इन वक्रों पर निर्भर रहना सबसे डेटा-संचालित दृष्टिकोण नहीं हो सकता है।

गुणवत्ता मेट्रिक्स

तीन सबसे उपयोगी मेट्रिक्स हैं जो हमारी मदद कर सकते हैं और उन सभी का किनी और क्यूमुलेटिव गेन दोनों दृष्टिकोणों पर लागू होता है।

एरिया अंडर अपलिफ्ट (AUC-U):

पारंपरिक वर्गीकरण में ROC वक्र के तहत क्षेत्र (AUC-ROC) के समान, AUC-U एक अपलिफ्ट मॉडल के समग्र प्रदर्शन को मापता है। यह अपलिफ्ट / किनी वक्र के तहत क्षेत्र की गणना करता है, जो अपलिफ्ट मॉडल भविष्यवाणियों द्वारा सॉर्ट किए गए व्यक्तियों के साथ संचयी अपलिफ्ट का प्रतिनिधित्व करता है।

Uplift@K:

Uplift@K उच्चतम भविष्यवाणी वाले अपलिफ्ट के साथ जनसंख्या के शीर्ष K% की पहचान करने पर केंद्रित है। यह इस चयनित समूह के भीतर वास्तव में उत्तरदायी व्यक्तियों के अनुपात को मापता है। एक उच्च uplift@K मान सही व्यक्तियों को लक्षित करने में एक बेहतर मॉडल को इंगित करता है।

नीचे दिए गए उदाहरण में पहले मॉडल के लिए Uplift@0.2 लगभग 0.16 है और दूसरे मॉडल के लिए 0.19 है, और सर्वश्रेष्ठ मॉडल का चयन स्पष्ट है।

यह मेट्रिक कब मदद कर सकता है?

Uplift max:

Uplift max मॉडल द्वारा प्राप्त अधिकतम अपलिफ्ट को संदर्भित करता है। यह उच्चतम अपलिफ्ट स्कोर के साथ उपचारित और नियंत्रण समूहों के बीच अंतर का प्रतिनिधित्व करता है।

निष्कर्ष

हमने देखा है कि पारंपरिक वर्गीकरण और प्रतिगमन मेट्रिक्स अपलिफ्ट मॉडल की प्रभावशीलता को पर्याप्त रूप से नहीं माप सकते हैं।

इसे दूर करने के लिए, दो प्राथमिक दृष्टिकोण, CG और किनी, मूल्यांकन के लिए मूल्यवान मेट्रिक्स प्रदान करते हैं।

विभिन्न विविधताओं के साथ लगातार प्रयोग करना और उन मेट्रिक्स को खोजना महत्वपूर्ण है जो आपके उद्देश्यों के साथ सबसे अच्छी तरह से संरेखित हों। अपने दृष्टिकोण की खोज और परिष्करण करके, आप प्रभावी रूप से अपलिफ्ट मॉडल के प्रभाव को माप सकते हैं और उनके प्रदर्शन को अनुकूलित कर सकते हैं।

\n

\