لماذا تفشل "الدقة" في نماذج Uplift (وما يجب استخدامه بدلاً من ذلك)

عندما يتعلق الأمر بنمذجة الرفع، فإن مقاييس الأداء التقليدية المستخدمة عادة لمهام التعلم الآلي الأخرى قد تكون غير كافية.

تتعلم خوارزميات التعلم الآلي القياسية / حالات الأعمال من بيانات التدريب، وتتنبأ بالهدف على بيانات الاختبار وتقارنها بالحقيقة الأساسية.

ومع ذلك، في نمذجة الرفع، يصبح مفهوم الحقيقة الأساسية بعيد المنال حيث لا يمكننا ملاحظة تأثير المعالجة وعدم المعالجة على فرد واحد في وقت واحد.

كيفية اختيار مجموعة بيانات التحقق؟

يعتمد اختيار البيانات لتدريب واختبار نموذج الرفع على المعلومات المتاحة والسياق المحدد.

تُستخدم نماذج الرفع بشكل شائع في الحملات التسويقية. دعونا نوضح كيف يتم اختيار بيانات التحقق من هذا المنظور.

إذا كان لدينا حملة واحدة، يمكننا تقسيم العملاء ضمن تلك الحملة إلى مجموعات تدريب وتحقق.

ومع ذلك، إذا كانت هناك حملات متعددة متاحة، يمكننا استخدام بعض الحملات لتدريب النموذج وحجز حملات أخرى للتحقق. تسمح هذه الاستراتيجية للنموذج بالتعلم من مجموعة أوسع من السيناريوهات وتحسن قدراته على التعميم بشكل محتمل.

بدون هذه المكونات الأساسية، يصبح التقاط الرفع بدقة أمرًا صعبًا.

المناهج الرئيسية

هناك طريقتان رئيسيتان لتقييم أداء نموذج الرفع: المكاسب التراكمية وQini. دعونا نستكشفها:

المكاسب التراكمية:

توضح المكاسب التراكمية معدل الاستجابة التزايدي أو النتيجة المحققة من خلال استهداف نسبة معينة من السكان.

لحساب المكاسب التراكمية، يتم ترتيب الأفراد بناءً على درجات الرفع الخاصة بهم، وتُقسم القائمة المرتبة إلى سلسلة من المجموعات العشرية أو المئوية ذات الحجم المتساوي. ثم يتم حساب المكاسب التراكمية من خلال جمع نتائج أو استجابات الأفراد ضمن كل مجموعة.

N : عدد العملاء لمجموعات المراقبة (C) والعلاج (T) لأول p% من العملاء

Y : مجموع الرفع في المقياس الذي اخترناه لمجموعات المراقبة (C) والعلاج (T) لأول p% من العملاء

على سبيل المثال، تتوافق المكاسب التراكمية عند استهداف 20% من السكان مع إجمالي المكاسب التزايدية إذا عالجنا فقط الحالات التي لديها أعلى 20% من الدرجات الأعلى.

في المثال المقدم أدناه، نلاحظ أن استهداف أعلى 20% من العملاء الذين لديهم أعلى الدرجات يحقق مكاسب تراكمية قدرها 0.019.

يشير المنحنى الأكثر حدة إلى نموذج أفضل، حيث يُظهر أن نسبة أعلى من الأفراد الذين لديهم أعلى رفع متوقع يتم استهدافهم.

معامل Qini:

يعمل معامل Qini على نفس فكرة المكاسب التراكمية، مع فارق رئيسي واحد.

صيغة حسابه:

هذا رائع ولكن كيف سنختار بين النماذج المختلفة؟ قد لا يكون الاعتماد فقط على هذه المنحنيات للاختيار بين النماذج المختلفة هو النهج الأكثر استنادًا للبيانات.

مقاييس الجودة

هناك ثلاثة مقاييس هي الأكثر فائدة يمكن أن تساعدنا وجميعها قابلة للتطبيق على كل من نهج Qini والمكاسب التراكمية.

المساحة تحت منحنى الرفع (AUC-U):

على غرار المساحة تحت منحنى ROC (AUC-ROC) في التصنيف التقليدي، يقيس AUC-U الأداء الإجمالي لنموذج الرفع. يحسب المساحة تحت منحنى الرفع / Qini، والتي تمثل الرفع التراكمي على طول الأفراد المرتبين حسب تنبؤات نموذج الرفع.

Uplift@K:

يركز Uplift@K على تحديد أعلى K% من السكان مع أعلى رفع متوقع. يقيس نسبة الأفراد المستجيبين حقًا ضمن هذه المجموعة المختارة. تشير قيمة uplift@K الأعلى إلى نموذج أفضل في استهداف الأفراد المناسبين.

في المثال أدناه، تبلغ قيمة Uplift@0.2 للنموذج الأول حوالي 0.16 وللنموذج الثاني 0.19، واختيار النموذج الأفضل واضح.

متى يمكن أن يساعد هذا المقياس؟

الرفع الأقصى:

يشير الرفع الأقصى إلى أقصى رفع يحققه النموذج. يمثل الفرق بين مجموعات العلاج والمراقبة التي لديها أعلى درجات الرفع.

الخلاصة

لقد شهدنا أن مقاييس التصنيف والانحدار التقليدية قد لا تقيس بشكل كافٍ فعالية نماذج الرفع.

للتغلب على ذلك، يوفر نهجان رئيسيان، المكاسب التراكمية وQini، مقاييس قيمة للتقييم.

من الضروري التجربة المستمرة مع الاختلافات المختلفة وإيجاد المقاييس التي تتوافق بشكل أفضل مع أهدافك. من خلال الاستكشاف وتحسين نهجك، يمكنك قياس تأثير نماذج الرفع بشكل فعال وتحسين أدائها.

\n

\