पिछले सेक्शन में, मॉडल मेट्रिक का एक सेट दिखाया गया था. इन सभी का हिसाब, कैटगरी तय करने के लिए तय की गई एक ही थ्रेशोल्ड वैल्यू पर लगाया गया था. हालांकि, अगर आपको सभी संभावित थ्रेशोल्ड के लिए किसी मॉडल की क्वालिटी का आकलन करना है, तो आपको अलग-अलग टूल की ज़रूरत होगी.
रिसीवर-ऑपरेटिंग चैरेक्टरिस्टिक कर्व (आरओसी)
आरओसी कर्व, सभी थ्रेशोल्ड पर मॉडल की परफ़ॉर्मेंस को विज़ुअल तौर पर दिखाता है. नाम का लंबा वर्शन, रिसीवर ऑपरेटिंग चैरेक्टरिस्टिक, दूसरे विश्वयुद्ध के रडार डिटेक्शन से जुड़ा है.
आरओसी कर्व को हर संभव थ्रेशोल्ड (असल में, चुने गए इंटरवल पर) पर सच्चा पॉज़िटिव रेट (टीपीआर) और फ़ॉल्स पॉज़िटिव रेट (एफ़पीआर) का हिसाब लगाकर बनाया जाता है. इसके बाद, एफ़पीआर के ऊपर टीपीआर को ग्राफ़ किया जाता है. किसी थ्रेशोल्ड पर 1.0 का टीपीआर और 0.0 का एफ़पीआर वाला बेहतरीन मॉडल, (0, 1) पर मौजूद पॉइंट या नीचे दिए गए फ़ॉर्मूला से दिखाया जा सकता है:
कर्व के अंदर का हिस्सा (AUC)
आरओसी कर्व (AUC) के नीचे का क्षेत्र, इस बात की संभावना दिखाता है कि अगर मॉडल को यादृच्छिक रूप से चुना गया पॉज़िटिव और नेगेटिव उदाहरण दिया जाता है, तो वह पॉज़िटिव उदाहरण को नेगेटिव उदाहरण से ज़्यादा रैंक देगा.
ऊपर दिए गए सही मॉडल में, एक वर्ग है जिसकी भुजाओं की लंबाई 1 है. इसका क्षेत्रफल, कर्व के नीचे (AUC) 1.0 है. इसका मतलब है कि 100% संभावना है कि मॉडल, रैंडम तरीके से चुने गए पॉज़िटिव उदाहरण को, रैंडम तरीके से चुने गए नेगेटिव उदाहरण से ज़्यादा सही तरीके से रैंक करेगा. दूसरे शब्दों में, नीचे दिए गए डेटा पॉइंट के स्पैड को देखते हुए, AUC से यह संभावना मिलती है कि मॉडल, रैंडम तौर पर चुने गए सर्कल की दाईं ओर, रैंडम तौर पर चुना गया स्क्वेयर रखेगा. इस बात से कोई फ़र्क़ नहीं पड़ता कि थ्रेशोल्ड कहां सेट किया गया है.
आसान शब्दों में कहें, तो स्पैम की कैटगरी तय करने वाला ऐसा मॉडल जिसका AUC 1.0 है वह किसी भी स्पैम ईमेल को, किसी भी मान्य ईमेल की तुलना में स्पैम होने की ज़्यादा संभावना देता है. हर ईमेल का असल कैटगरी, आपके चुने गए थ्रेशोल्ड पर निर्भर करता है.
बाइनरी क्लासिफ़ायर के लिए, किसी मॉडल का आरओसी (रोल आउट कॉन्फ़िडेंस) (0,0) से (1,1) तक की डायगनल लाइन होता है. यह मॉडल, रैंडम अनुमान या सिक्के के उछाल की तरह ही अच्छा परफ़ॉर्म करता है. AUC का वैल्यू 0.5 है. इसका मतलब है कि किसी रैंडम पॉज़िटिव और नेगेटिव उदाहरण को सही रैंकिंग देने की संभावना 50% है.
स्पैम क्लासिफ़ायर के उदाहरण में, AUC 0.5 वाला स्पैम क्लासिफ़ायर, किसी रैंडम स्पैम ईमेल को रैंडम मान्य ईमेल के मुकाबले, स्पैम होने की ज़्यादा संभावना सिर्फ़ आधे समय के लिए असाइन करता है.
(ज़रूरी नहीं, बेहतर) सटीक-याद रखे जाने की दर का कर्व
जब डेटासेट, क्लास के बीच लगभग बराबर हो, तब मॉडल की तुलना करने के लिए AUC और आरओसी का इस्तेमाल किया जा सकता है. जब डेटासेट असंतुलित होता है, तो सटीक-याद रखे जाने वाले कर्व (पीआरसी) और उन कर्व के नीचे का क्षेत्र, मॉडल की परफ़ॉर्मेंस की तुलना में बेहतर विज़ुअलाइज़ेशन दिखा सकता है. प्रिसिज़न-रीकॉल कर्व बनाने के लिए, सभी थ्रेशोल्ड पर y-ऐक्सिस पर प्रिसिज़न और x-ऐक्सिस पर रीकॉल प्लॉट किया जाता है.
मॉडल और थ्रेशोल्ड चुनने के लिए AUC और आरओसी
दो अलग-अलग मॉडल की परफ़ॉर्मेंस की तुलना करने के लिए, AUC एक काम का मेज़र है. हालांकि, ऐसा तब ही किया जा सकता है, जब डेटासेट काफ़ी हद तक बैलेंस हो. आम तौर पर, कर्व के नीचे का बड़ा हिस्सा वाला मॉडल बेहतर होता है.
आरओसी कर्व पर (0,1) के सबसे नज़दीक मौजूद पॉइंट, दिए गए मॉडल के लिए सबसे अच्छी परफ़ॉर्मेंस वाले थ्रेशोल्ड की रेंज दिखाते हैं. थ्रेशोल्ड, कन्फ़्यूज़न मैट्रिक, और मेट्रिक और ट्रेडऑफ़ की पसंद सेक्शन में बताए गए तरीके के मुताबिक, आपका चुना गया थ्रेशोल्ड इस बात पर निर्भर करता है कि किसी खास इस्तेमाल के उदाहरण के लिए कौनसी मेट्रिक सबसे ज़्यादा अहम है. नीचे दिए गए डायग्राम में, A, B, और C पॉइंट पर ध्यान दें. हर पॉइंट एक थ्रेशोल्ड दिखाता है:
अगर फ़ॉल्स पॉज़िटिव (गलत चेतावनियां) की लागत बहुत ज़्यादा है, तो ऐसा थ्रेशोल्ड चुनना सही रहेगा जिससे एफ़पीआर कम हो. जैसे, पॉइंट A पर मौजूद थ्रेशोल्ड. भले ही, इससे टीपीआर कम हो जाए. इसके उलट, अगर गलत-पॉज़िटिव की लागत कम है और गलत-नेगेटिव (सही-पॉज़िटिव का पता न चलना) की लागत ज़्यादा है, तो पॉइंट C के लिए थ्रेशोल्ड, जो टीपीआर को बढ़ाता है, को प्राथमिकता दी जा सकती है. अगर लागत लगभग बराबर है, तो पॉइंट B, टीपीआर और एफ़पीआर के बीच सबसे अच्छा संतुलन दे सकता है.
पहले देखे गए डेटा के लिए आरओसी कर्व यहां दिया गया है:
एक्सरसाइज़: देखें कि आपको क्या समझ आया
(ज़रूरी नहीं, बेहतर) बोनस सवाल
मान लें कि किसी ऐसे मामले में, कारोबार के लिहाज़ से अहम ईमेल को स्पैम फ़ोल्डर में भेजने के बजाय, कुछ स्पैम ईमेल को इनबॉक्स में पहुंचने की अनुमति देना बेहतर है. आपने इस स्थिति के लिए, स्पैम की कैटगरी तय करने वाले मॉडल को ट्रेन किया है, जहां पोज़िटिव क्लास स्पैम है और नेगेटिव क्लास नॉन-स्पैम है. आपके क्लासिफ़ायर के लिए, आरओसी कर्व पर इनमें से कौनसा बिंदु बेहतर है?