الدقة والاستدعاء

من ويكيبيديا، الموسوعة الحرة
اذهب إلى الملاحة اذهب للبحث
الدقة والاستدعاء

في التعرف على الأنماط ، استرجاع المعلومات و التصنيف (تعلم الآلة) ، الدقة و استدعاء ومقاييس الأداء التي تنطبق على البيانات التي تم استردادها من جمع ، الإحضار أو فضاء العينة .

الدقة (وتسمى أيضًا القيمة التنبؤية الإيجابية ) هي جزء من الحالات ذات الصلة بين الحالات المستردة ، بينما الاسترجاع (المعروف أيضًا باسم الحساسية ) هو جزء من الحالات ذات الصلة التي تم استردادها. لذلك فإن كل من الدقة والاستدعاء يعتمدان على الصلة .

ضع في اعتبارك برنامج كمبيوتر للتعرف على الكلاب ( العنصر ذي الصلة ) في صورة فوتوغرافية رقمية. عند معالجة صورة تحتوي على عشر قطط واثني عشر كلبًا ، يتعرف البرنامج على ثمانية كلاب. من بين العناصر الثمانية التي تم تحديدها على أنها كلاب ، هناك خمسة فقط في الواقع كلاب (إيجابيات حقيقية) ، في حين أن الثلاثة الآخرين هم قطط (إيجابيات كاذبة). تم تفويت سبعة كلاب (سلبيات كاذبة) ، وتم استبعاد سبع قطط بشكل صحيح (سلبيات حقيقية). عندئذ تكون دقة البرنامج 5/8 (الإيجابيات الحقيقية / العناصر المختارة) بينما يكون التذكر 5/12 (الإيجابيات الحقيقية / العناصر ذات الصلة).

عندما يعرض محرك البحث 30 صفحة ، 20 منها فقط ذات صلة ، بينما يفشل في إرجاع 40 صفحة إضافية ذات صلة ، تكون دقته 20/30 = 2/3 ، مما يخبرنا بمدى صحة النتائج ، بينما يكون استرجاعها 20 / 60 = 1/3 ، مما يخبرنا بمدى اكتمال النتائج.

اعتماد نهج اختبار الفرضيات من الإحصائيات ، وفي هذه الحالة ، تكون الفرضية الصفرية هي أن عنصرًا معينًا غير ذي صلة ، أي ليس كلبًا ، وغياب أخطاء النوع الأول والنوع الثاني (أي خصوصية وحساسية مثالية بنسبة 100٪ يتوافق كل منهما) مع الدقة التامة (بدون إيجابية خاطئة) والتذكر التام (بدون نتيجة سلبية خاطئة).

بشكل عام ، الاسترجاع هو ببساطة تكملة لمعدل الخطأ من النوع الثاني ، أي واحد مطروحًا منه معدل الخطأ من النوع الثاني. ترتبط الدقة بمعدل الخطأ من النوع الأول ، ولكن بطريقة أكثر تعقيدًا بعض الشيء ، لأنها تعتمد أيضًا على التوزيع المسبق لرؤية عنصر ذي صلة مقابل عنصر غير ذي صلة.

احتوى المثال أعلاه على 8-5 = 3 أخطاء من النوع الأول ، لمعدل خطأ من النوع الأول يبلغ 3/10 ، و12-5 = 7 أخطاء من النوع الثاني ، لمعدل خطأ من النوع الثاني يبلغ 7/12. يمكن النظر إلى الدقة كمقياس للجودة ، والتذكر كمقياس للكمية. تعني الدقة العالية أن الخوارزمية تعرض نتائج أكثر صلة من النتائج غير ذات الصلة ، والاستدعاء العالي يعني أن الخوارزمية تعرض معظم النتائج ذات الصلة (سواء تم إرجاع نتائج غير ذات صلة أم لا).

مقدمة

في استرجاع المعلومات ، تكون المثيلات مستندات والمهمة هي إرجاع مجموعة من المستندات ذات الصلة بمصطلح بحث. التذكر هو عدد المستندات ذات الصلة التي تم استردادها عن طريق البحث مقسومًا على العدد الإجمالي للمستندات ذات الصلة الموجودة ، بينما الدقة هي عدد المستندات ذات الصلة التي تم استردادها بواسطة البحث مقسومًا على العدد الإجمالي للوثائق التي تم استردادها بواسطة هذا البحث.

في مهمة التصنيف ، تكون دقة الفئة هي عدد الإيجابيات الحقيقية (أي عدد العناصر التي تم تصنيفها بشكل صحيح على أنها تنتمي إلى الفئة الإيجابية) مقسومًا على العدد الإجمالي للعناصر المصنفة على أنها تنتمي إلى الفئة الإيجابية (أي مجموع الإيجابيات الحقيقية والإيجابيات الكاذبة ، وهي عناصر مصنفة بشكل غير صحيح على أنها تنتمي إلى الفصل). يتم تعريف الاسترجاع في هذا السياق على أنه عدد الإيجابيات الحقيقية مقسومًا على إجمالي عدد العناصر التي تنتمي بالفعل إلى الفئة الإيجابية (أي مجموع الإيجابيات الحقيقية والسلبيات الخاطئة ، وهي عناصر لم يتم تصنيفها على أنها تنتمي إلى الفئة الإيجابية ولكن كان يجب أن يكون).

في استرجاع المعلومات ، تعني درجة الدقة المثالية 1.0 أن كل نتيجة تم استردادها عن طريق البحث كانت ذات صلة (ولكنها لا تذكر شيئًا عن ما إذا كان قد تم استرداد جميع المستندات ذات الصلة) بينما تعني درجة الاسترجاع المثالية 1.0 أنه تم استرداد جميع المستندات ذات الصلة من خلال البحث ( لكنه لا يذكر شيئًا عن عدد المستندات غير ذات الصلة التي تم استردادها أيضًا).

لا تعد الدقة والاستدعاء مقاييس مفيدة بشكل خاص عند استخدامها بمعزل عن غيرها. على سبيل المثال ، من الممكن الحصول على استدعاء مثالي بمجرد استرداد كل عنصر. وبالمثل ، من الممكن أن يكون لديك دقة شبه مثالية من خلال اختيار عدد صغير جدًا من العناصر المحتملة للغاية.

في مهمة التصنيف ، تعني درجة الدقة 1.0 للفئة C أن كل عنصر مصنّف على أنه ينتمي إلى الفئة C ينتمي بالفعل إلى الفئة C (لكنه لا يذكر شيئًا عن عدد العناصر من الفئة C التي لم يتم تصنيفها بشكل صحيح) بينما يعني استدعاء 1.0 أن كل عنصر من الفئة C تم تصنيفه على أنه ينتمي إلى الفئة C (ولكن لا يذكر شيئًا عن عدد العناصر من الفئات الأخرى التي تم تصنيفها بشكل غير صحيح أيضًا على أنها تنتمي إلى الفئة C).

غالبًا ما توجد علاقة عكسية بين الدقة والاسترجاع ، حيث يمكن زيادة أحدهما على حساب تقليل الآخر. تقدم جراحة الدماغ مثالاً توضيحيًا للمفاضلة. فكر في أن يقوم جراح الدماغ بإزالة ورم سرطاني من دماغ المريض. يحتاج الجراح إلى إزالة جميع الخلايا السرطانية لأن أي خلايا سرطانية متبقية ستجدد الورم. على العكس من ذلك ، يجب على الجراح ألا يزيل خلايا المخ السليمة لأن ذلك من شأنه أن يترك المريض يعاني من خلل في وظائف المخ. قد يكون الجراح أكثر ليبرالية في منطقة الدماغ التي يزيلها للتأكد من أنه قد استخرج جميع الخلايا السرطانية. يؤدي هذا القرار إلى زيادة الاسترجاع ولكنه يقلل الدقة. من ناحية أخرى ، قد يكون الجراح أكثر تحفظًا في الدماغ الذي يزيله للتأكد من أنه يستخرج الخلايا السرطانية فقط.يزيد هذا القرار الدقة ولكنه يقلل من الاسترجاع. وهذا يعني أن الاسترجاع الأكبر يزيد من فرص إزالة الخلايا السليمة (نتيجة سلبية) ويزيد من فرص إزالة جميع الخلايا السرطانية (نتيجة إيجابية). تقلل الدقة الأكبر من فرص إزالة الخلايا السليمة (نتيجة إيجابية) ولكنها تقلل أيضًا من فرص إزالة جميع الخلايا السرطانية (نتيجة سلبية).

عادة ، لا تتم مناقشة درجات الدقة والاستدعاء بمعزل عن غيرها. بدلاً من ذلك ، تتم مقارنة قيم أحد المقاييس بمستوى ثابت في المقياس الآخر (على سبيل المثال الدقة عند مستوى استدعاء 0.75 ) أو يتم دمج كليهما في مقياس واحد. من الأمثلة على المقاييس التي هي مزيج من الدقة والاسترجاع مقياس F ( المتوسط ​​التوافقي الموزون للدقة والاسترجاع) ، أو معامل ارتباط ماثيوز ، وهو متوسط ​​هندسي للمتغيرات المصححة بالصدفة: معاملات الانحدار Informedness ( DeltaP ') و Markedness (DeltaP). [1] [2] الدقةهي وسيلة حسابية مرجحة للدقة والدقة المعكوسة (مرجحة بالانحياز) بالإضافة إلى متوسط ​​حسابي مرجح للتذكير والاستدعاء العكسي (مرجح بالانتشار). [1] الدقة المعكوسة والاستدعاء المعكوس هما ببساطة الدقة والاستدعاء للمشكلة العكسية حيث يتم تبادل التسميات الإيجابية والسلبية (لكل من الفئات الحقيقية وعلامات التنبؤ). الاستدعاء والاستدعاء العكسي ، أو المعدل الإيجابي الحقيقي المكافئ والمعدل الإيجابي الخاطئ ، يتم رسمهما بشكل متكرر ضد بعضهما البعض مثل ROCمنحنيات وتوفر آلية مبدئية لاستكشاف مقايضات نقطة التشغيل. خارج استرجاع المعلومات ، يُقال أن تطبيق الاستدعاء والدقة والقياس F معيب لأنها تتجاهل الخلية السلبية الحقيقية لجدول الطوارئ ، ويمكن التلاعب بها بسهولة عن طريق تحيز التنبؤات. [1] يتم "حل" المشكلة الأولى باستخدام الدقة ويتم "حل" المشكلة الثانية عن طريق خصم مكون الفرصة وإعادة التطبيع إلى كابا كوهين ، ولكن هذا لم يعد يتيح الفرصة لاستكشاف المفاضلات بيانياً. ومع ذلك، Informedness و Markedness هي كابا مثل renormalizations من استدعاء والدقة، [3] ويعني بهم الهندسيوبالتالي ، فإن معامل ارتباط ماثيوز يعمل كمقياس F غير متحيز.

التعريف (سياق استرجاع المعلومات)

في سياقات استرجاع المعلومات ، يتم تعريف الدقة والاسترجاع من حيث مجموعة من المستندات المسترجعة (على سبيل المثال قائمة المستندات التي تم إنتاجها بواسطة محرك بحث على الويب للاستعلام) ومجموعة من المستندات ذات الصلة (مثل قائمة جميع المستندات على الإنترنت ذات الصلة بموضوع معين) ، راجع. الصلة . [4]

الدقة

في مجال استرجاع المعلومات ، الدقة هي جزء المستندات المسترجعة ذات الصلة بالاستعلام:

على سبيل المثال ، بالنسبة للبحث عن نص في مجموعة من المستندات ، فإن الدقة هي عدد النتائج الصحيحة مقسومًا على عدد جميع النتائج التي تم إرجاعها.

تأخذ الدقة جميع المستندات المسترجعة في الاعتبار ، ولكن يمكن أيضًا تقييمها عند تصنيف محدد ، مع الأخذ في الاعتبار فقط أعلى النتائج التي تم إرجاعها بواسطة النظام. يسمى هذا المقياس الدقة عند n أو P @ n .

يتم استخدام الدقة مع الاستدعاء ، النسبة المئوية لجميع المستندات ذات الصلة التي يتم إرجاعها بواسطة البحث. وتستخدم التدابير اثنين معا في بعض الأحيان في F 1 مجموع النقاط (أو و تدبير) لتوفير مقياس واحد للنظام.

لاحظ أن معنى واستخدام "الدقة" في مجال استرجاع المعلومات يختلف عن تعريف الدقة والدقة في فروع العلم والتكنولوجيا الأخرى.

استدعاء

في استرجاع المعلومات ، الاسترجاع هو جزء من المستندات ذات الصلة التي تم استردادها بنجاح.

على سبيل المثال ، بالنسبة للبحث عن نص في مجموعة من المستندات ، فإن الاستدعاء هو عدد النتائج الصحيحة مقسومًا على عدد النتائج التي كان ينبغي إرجاعها.

في التصنيف الثنائي ، يسمى الاسترجاع بالحساسية . يمكن اعتباره احتمالية استرداد مستند ذي صلة بواسطة الاستعلام.

من السهل تحقيق استدعاء بنسبة 100٪ من خلال إعادة جميع المستندات ردًا على أي استفسار. لذلك ، فإن الاستدعاء وحده لا يكفي ولكن يحتاج المرء إلى قياس عدد المستندات غير ذات الصلة أيضًا ، على سبيل المثال عن طريق حساب الدقة أيضًا.

التعريف (سياق التصنيف)

بالنسبة لمهام التصنيف ، فإن المصطلحات الإيجابية الحقيقية ، والسلبيات الحقيقية ، والإيجابيات الخاطئة ، والسلبيات الكاذبة (انظر أخطاء النوع الأول والنوع الثاني للتعريفات) تقارن نتائج المصنف قيد الاختبار مع الأحكام الخارجية الموثوقة. شروط إيجابية و سلبية تشير إلى التنبؤ المصنف (يعرف أحيانا باسم التوقع )، وشروط حقيقية و كاذبة تشير إلى ما إذا كان ذلك يتوافق التنبؤ لحكم خارجي (التي تعرف أحيانا باسم الملاحظة ).

دعونا نحدد تجربة من حالات إيجابية P و N حالات سلبية لبعض الشروط. يمكن صياغة النتائج الأربع في جدول 2 × 2 للطوارئ أو مصفوفة الارتباك ، على النحو التالي:

حالة متوقعة المصادر: [5] [6] [7] [8] [9] [10] [11] [12]
مجموع السكان
= P + N
إيجابي (PP) سلبي (PN) المعلومات ، إحاطة المراهنات (BM)
= TPR + TNR - 1
عتبة الانتشار (PT)
=TPR × FPR - FPR/TPR - FPR
الحالة الفعلية
إيجابي (P) صحيح إيجابي (TP) ،
ضرب
سلبي كاذب (FN) ،
خطأ من النوع الثاني ، خطأ ، سوء
تقدير
المعدل الإيجابي الحقيقي (TPR) ، الاسترجاع ، الحساسية (SEN) ، احتمالية الكشف ، معدل الإصابة ، الطاقة
=TP/ص = 1 - FNR
معدل سلبي كاذب (FNR) ،
معدل الخطأ
=FN/ص = 1 - TPR
سلبي (ن) إيجابية كاذبة (FP) ،
خطأ من النوع الأول ، إنذار كاذب ،
مبالغة في التقدير
صحيح سلبي (TN) ،
تصحيح الرفض
المعدل الإيجابي الكاذب (FPR) ،
احتمال الإنذار الخاطئ ، السقوط
=FP/ن = 1 - TNR
المعدل السلبي الحقيقي (TNR) ،
الخصوصية (SPC) ، الانتقائية
=TN/ن = 1 - FPR
الانتشار
=ص/ف + ن
القيمة التنبؤية الإيجابية (PPV) ، الدقة
=TP/ص = 1 - FDR
معدل الإغفال الكاذب (FOR)
=FN/PN = 1 - صافي القيمة الحالية
نسبة الاحتمالية الإيجابية (LR +)
=TPR/FPR
نسبة الاحتمالية السلبية (LR−)
=FNR/TNR
الدقة (ACC) =TP + TN/ف + ن معدل الاكتشاف الخاطئ (FDR)
=FP/ص = 1 - PPV
القيمة التنبؤية السلبية (NPV) =TN/PN = 1 - FOR التأشير (MK) ، deltaP (p)
= PPV + NPV - 1
نسبة الأرجحية التشخيصية (DOR) =LR +/LR−
الدقة المتوازنة (BA) =TPR + TNR/2 درجة F 1
=2 PPV × TPR/PPV + TPR = 2 TP/2 TP + FP + FN
Fowlkes – Mallows index (FM) = PPV × TPR ماثيوز معامل ارتباط (MCC)
= TPR × × TNR PPV × NPV - FNR × × FPR FOR × روزفلت
درجة التهديد (TS) ، مؤشر النجاح الحرج (CSI) ، مؤشر Jaccard =TP/TP + FN + FP
المصطلحات والمشتقات
من مصفوفة الارتباك
حالة إيجابية (P)
عدد الحالات الإيجابية الحقيقية في البيانات
الشرط سلبي (N)
عدد الحالات السلبية الحقيقية في البيانات

موجب حقيقي (TP)
مكافئ. مع الضرب
صحيح سلبي (TN)
مكافئ. مع الرفض الصحيح
إيجابية كاذبة (FP)
مكافئ. مع إنذار كاذب ، اكتب الخطأ أو الاستهانة
سلبية كاذبة (FN)
مكافئ. مع الخطأ ، الخطأ من النوع الثاني أو المبالغة

حساسية ، استدعاء ، معدل إصابة ، أو معدل إيجابي حقيقي (TPR)
خصوصية ، الانتقائية أو معدل سلبي الحقيقي (TNR)
الدقة أو القيمة التنبؤية الإيجابية (PPV)
القيمة التنبؤية السلبية (NPV)
معدل مفقود أو معدل سلبي كاذب (FNR)
معدل السقوط أو الإيجابي الكاذب (FPR)
معدل الاكتشاف الخاطئ (FDR)
معدل الإغفال الكاذب (FOR)
عتبة الانتشار (PT)
درجة التهديد (TS) أو مؤشر النجاح الحرج (CSI)

الدقة (ACC)
دقة متوازنة (BA)
نتيجة F1
هو الوسط التوافقي من الدقة و الحساسية :
معامل فاي (φ أو ص φ ) أو معامل ارتباط ماثيوز (MCC)
Fowlkes – Mallows index (FM)
علم أو إطلاع المراهنات (BM)
العلامة (MK) أو deltaP (Δp)

المصادر: Fawcett (2006)، [13] Piryonesi and El-Diraby (2020)، [14] Powers (2011)، [15] Ting (2011)، [16] CAWCR، [17] D. Chicco & G.Jurman (2020 ، 2021) ، [18] [19] ثروت (2018). [20]


ثم يتم تعريف الدقة والاستدعاء على النحو التالي: [21]

يشار إلى الاستدعاء في هذا السياق أيضًا بالمعدل الإيجابي الحقيقي أو الحساسية ، ويشار أيضًا إلى الدقة بالقيمة التنبؤية الإيجابية (PPV) ؛ التدابير الأخرى ذات الصلة المستخدمة في التصنيف تشمل المعدل السلبي الحقيقي والدقة . [21] ويسمى معدل سلبي صحيح أيضا خصوصية .

بيانات غير متوازنة

يمكن أن تكون الدقة مقياسًا مضللًا لمجموعات البيانات غير المتوازنة. ضع في اعتبارك عينة تحتوي على 95 قيمة سالبة و 5 قيم موجبة. يعطي تصنيف جميع القيم على أنها سالبة في هذه الحالة 0.95 درجة دقة. هناك العديد من المقاييس التي لا تعاني من هذه المشكلة. على سبيل المثال ، الدقة المتوازنة [22] (bACC) تعمل على تطبيع التنبؤات السلبية الإيجابية والحقيقية بعدد العينات الإيجابية والسلبية ، على التوالي ، وتقسم مجموعها على اثنين:

بالنسبة للمثال السابق (95 عينة سلبية و 5 عينات إيجابية) ، فإن تصنيف الكل على أنه سلبي يعطي 0.5 درجة دقة متوازنة (الحد الأقصى لدرجة bACC هو واحد) ، وهو ما يعادل القيمة المتوقعة لتخمين عشوائي في مجموعة بيانات متوازنة. يمكن أن تكون الدقة المتوازنة بمثابة مقياس أداء إجمالي لنموذج ، سواء كانت التسميات الحقيقية غير متوازنة في البيانات أم لا ، بافتراض أن تكلفة FN هي نفسها FP.

المقياس الآخر هو معدل الحالة الإيجابية المتوقع (PPCR) ، والذي يحدد النسبة المئوية لإجمالي عدد السكان الذي تم وضع علامة عليه. على سبيل المثال ، بالنسبة لمحرك بحث يقوم بإرجاع 30 نتيجة (مستندات مستردة) من 1000000 مستند ، فإن PPCR هي 0.003٪.

وفقًا لـ Saito و Rehmsmeier ، تعد مخططات الاستدعاء الدقيق أكثر إفادة من مخططات ROC عند تقييم المصنفات الثنائية على البيانات غير المتوازنة. في مثل هذه السيناريوهات ، قد تكون مخططات ROC خادعة بصريًا فيما يتعلق بالاستنتاجات حول موثوقية أداء التصنيف. [23]

تختلف عن الأساليب المذكورة أعلاه ، إذا تم تطبيق مقياس عدم التوازن مباشرة عن طريق ترجيح عناصر مصفوفة الارتباك ، فإن تعريفات المقاييس القياسية لا تزال سارية حتى في حالة مجموعات البيانات غير المتوازنة. [24] إجراء الترجيح يربط عناصر مصفوفة الارتباك بمجموعة الدعم لكل فئة معتبرة.

تفسير احتمالي

يمكن للمرء أيضًا تفسير الدقة والتذكر ليس كنسب ولكن كتقديرات للاحتمالات: [25]

  • الدقة هي الاحتمال المقدر بأن الوثيقة المختارة عشوائيًا من مجموعة المستندات المسترجعة ذات صلة.
  • الاسترجاع هو الاحتمال المقدر لاسترداد مستند تم اختياره عشوائيًا من مجموعة المستندات ذات الصلة.

تفسير آخر هو أن الدقة هي متوسط ​​احتمال الاسترجاع والاسترجاع ذي الصلة هو متوسط ​​احتمال الاسترجاع الكامل المتوسط ​​عبر استعلامات استرجاع متعددة.

قياس F

المقياس الذي يجمع بين الدقة والاسترجاع هو المتوسط ​​التوافقي للدقة والاسترجاع ، مقياس F التقليدي أو درجة F المتوازنة:

هذا المقياس هو تقريبًا متوسط ​​الاثنين عندما يكونان متقاربين ، وهو بشكل عام المتوسط ​​التوافقي ، والذي ، في حالة وجود رقمين ، يتطابق مع مربع المتوسط ​​الهندسي مقسومًا على المتوسط ​​الحسابي . هناك العديد من الأسباب التي تجعل من الممكن انتقاد درجة F في ظروف معينة بسبب تحيزها كمقياس للتقييم. [1] يُعرف هذا أيضًا باسم القياس ، لأن الاسترجاع والدقة مرجحان بالتساوي.

إنها حالة خاصة للجنرال القياس (للقيم الحقيقية غير السلبية لـ ):

اثنان آخر شائع الاستخدام التدابير هي القياس ، الذي تتذكره الأوزان أعلى من الدقة ، و القياس ، والذي يركز على الدقة أكثر من الاسترجاع.

تم اشتقاق مقياس F بواسطة Van Rijsbergen (1979) لذلك "يقيس فعالية الاسترجاع فيما يتعلق بالمستخدم الذي يرفق أضعاف الأهمية التي يجب تذكرها مقارنة بالدقة ". ويستند إلى مقياس فعالية فان ريسبرغن ، المصطلح الثاني هو المتوسط ​​التوافقي الموزون للدقة والاستدعاء بالأوزان . علاقتهم أين .

القيود كأهداف

هناك معلمات واستراتيجيات أخرى لقياس أداء نظام استرجاع المعلومات ، مثل المنطقة الواقعة تحت منحنى ROC (AUC). [26]

انظر أيضا

المراجع

  1. ^ أ ب ج د باورز ، ديفيد ميغاواط (2011). "التقييم: من الدقة والاستدعاء والتدبير F إلى ROC والإعلام والعلامة والارتباط" (PDF) . مجلة تقنيات التعلم الآلي . 2 (1): 37-63. مؤرشف من الأصل (PDF) في 14-11-2019.
  2. ^ بيروشيت ، ب. بيرمان ، ر. (2004). "استغلال المعلومات التوزيعية في معالجة المقطع". J. Neurolinguistics . 17 (2-3): 97-119. دوى : 10.1016 / s0911-6044 (03) 00059-9 . S2CID 17104364 . 
  3. ^ باورز ، ديفيد ميغاواط (2012). "مشكلة كابا" . مؤتمر الفرع الأوروبي لجمعية اللغويات الحاسوبية (EACL2012) ورشة عمل مشتركة بين ROBUS و UNSUP .
  4. ^ * كينت ، ألين ؛ بيري ، مادلين م. Luehrs، Jr.، Fred U.؛ بيري ، جي دبليو (1955). "آلية البحث في المؤلفات الثامنة. المعايير التشغيلية لتصميم أنظمة استرجاع المعلومات". التوثيق الأمريكي . 6 (2): 93. دوى : 10.1002 / عاصي.5090060209 .
  5. ^ فوسيت ، توم (2006). "مقدمة لتحليل ROC" (PDF) . رسائل التعرف على الأنماط . 27 (8): 861-874. دوى : 10.1016 / j.patrec.2005.10.010 .
  6. ^ بيريونيسي س ماده ؛ الديرابي تامر إي. (2020-03-01). "تحليلات البيانات في إدارة الأصول: التنبؤ الفعال من حيث التكلفة لمؤشر حالة الرصيف". مجلة أنظمة البنية التحتية . 26 (1): 04019036. دوى : 10.1061 / (ASCE) IS.1943-555X.0000512 .
  7. ^ باورز ، ديفيد ميغاواط (2011). "التقييم: من الدقة والاستدعاء والتدبير F إلى ROC والإعلام والعلامة والارتباط" . مجلة تقنيات التعلم الآلي . 2 (1): 37-63.
  8. ^ تينج ، كاي مينغ (2011). ساموت ، كلود ؛ ويب ، جيفري آي ، محرران. موسوعة التعلم الآلي . سبرينغر. دوى : 10.1007 / 978-0-387-30164-8 . رقم ISBN  978-0-387-30164-8.
  9. ^ بروكس ، هارولد. براون ، بارب ؛ إيبرت ، بيث ؛ فيرو ، كريس ؛ جوليف ، إيان ؛ كوه ، تيه يونغ ؛ روبر ، بول ؛ ستيفنسون ، ديفيد (26 يناير 2015). "فريق العمل المشترك بين WWRP / WGNE المعني بأبحاث التحقق من التنبؤ" . التعاون لأبحاث الطقس والمناخ الأسترالية . المنظمة العالمية للأرصاد الجوية . تم الاسترجاع 2019/07/17 .
  10. ^ Chicco D ، Jurman G (يناير 2020). "مزايا معامل ارتباط ماثيوز (MCC) على درجة F1 والدقة في تقييم التصنيف الثنائي" . علم الجينوم BMC . 21 (1): 6-1-6-13. دوى : 10.1186 / s12864-019-6413-7 . PMC 6941312 . بميد 31898477 .   
  11. ^ Chicco D ، Toetsch N ، Jurman G (فبراير 2021). "معامل ارتباط ماثيوز (MCC) أكثر موثوقية من الدقة المتوازنة وإعلام صانع المراهنات والتمييز في تقييم مصفوفة الارتباك من فئتين" . تعدين البيانات الحيوية . 14 (13): 1-22. دوى : 10.1186 / s13040-021-00244-z . PMC 7863449 . بميد 33541410 .   
  12. ^ ثروت أ. (أغسطس 2018). "طرق تقييم التصنيف" . الحوسبة التطبيقية والمعلوماتية . دوى : 10.1016 / j.aci.2018.08.003 .
  13. ^ فوسيت ، توم (2006). "مقدمة لتحليل ROC" (PDF) . رسائل التعرف على الأنماط . 27 (8): 861-874. دوى : 10.1016 / j.patrec.2005.10.010 .
  14. ^ بيريونيسي س ماده ؛ الديرابي تامر إي. (2020-03-01). "تحليلات البيانات في إدارة الأصول: التنبؤ الفعال من حيث التكلفة لمؤشر حالة الرصيف". مجلة أنظمة البنية التحتية . 26 (1): 04019036. دوى : 10.1061 / (ASCE) IS.1943-555X.0000512 .
  15. ^ باورز ، ديفيد ميغاواط (2011). "التقييم: من الدقة والاستدعاء والتدبير F إلى ROC والإعلام والعلامة والارتباط" . مجلة تقنيات التعلم الآلي . 2 (1): 37-63.
  16. ^ تينج ، كاي مينغ (2011). ساموت ، كلود ؛ ويب ، جيفري آي ، محرران. موسوعة التعلم الآلي . سبرينغر. دوى : 10.1007 / 978-0-387-30164-8 . رقم ISBN 978-0-387-30164-8.
  17. ^ بروكس ، هارولد. براون ، بارب ؛ إيبرت ، بيث ؛ فيرو ، كريس ؛ جوليف ، إيان ؛ كوه ، تيه يونغ ؛ روبر ، بول ؛ ستيفنسون ، ديفيد (26 يناير 2015). "فريق العمل المشترك بين WWRP / WGNE المعني بأبحاث التحقق من التنبؤ" . التعاون لأبحاث الطقس والمناخ الأسترالية . المنظمة العالمية للأرصاد الجوية . تم الاسترجاع 2019/07/17 .
  18. ^ شيكو د. جورمان جي (يناير 2020). "مزايا معامل ارتباط ماثيوز (MCC) على درجة F1 والدقة في تقييم التصنيف الثنائي" . علم الجينوم BMC . 21 (1): 6-1-6-13. دوى : 10.1186 / s12864-019-6413-7 . PMC 6941312 . بميد 31898477 .  
  19. ^ شيكو د. Toetsch N .؛ جورمان ج. (فبراير 2021). "معامل ارتباط ماثيوز (MCC) أكثر موثوقية من الدقة المتوازنة وإعلام صانع المراهنات والتمييز في تقييم مصفوفة الارتباك من فئتين" . تعدين البيانات الحيوية . 14 (13): 1-22. دوى : 10.1186 / s13040-021-00244-z . PMC 7863449 . بميد 33541410 .  
  20. ^ ثروت أ. (أغسطس 2018). "طرق تقييم التصنيف" . الحوسبة التطبيقية والمعلوماتية . دوى : 10.1016 / j.aci.2018.08.003 .
  21. ^ أ ب أولسون ، ديفيد إل ؛ وديلن ، دورسون (2008) ؛ تقنيات تعدين البيانات المتقدمة ، Springer ، الطبعة الأولى (1 فبراير 2008) ، الصفحة 138 ، ISBN 3-540-76916-1 
  22. ^ جزازة ، جيفري ب. (12 أبريل 2005). "PREP-Mt: محرر RNA تنبؤي لجينات الميتوكوندريا النباتية" . المعلوماتية الحيوية BMC . 6 : 96. دوى : 10.1186 / 1471-2105-6-96 . ISSN 1471-2105 . PMC 1087475 . بميد 15826309 .   
  23. ^ سايتو ، تاكايا. مارك رامسمير (2015/03/04). بروك ، جاي ، أد. "مخطط الاستدعاء الدقيق أكثر إفادة من مخطط ROC عند تقييم المصنفات الثنائية على مجموعات البيانات غير المتوازنة" . بلوس وان . 10 (3): e0118432. بيب كود : 2015PLoSO..1018432S . دوى : 10.1371 / journal.pone.0118432 . ISSN 1932-6203 . PMC 4349800 . بميد 25738806 . وضع ملخص (مارس 2017).   
  24. ^ تريبشيو ، باولو ؛ كاماتشو غونزاليس ، جيراردو ؛ دافيلا ، سالفاتور (2020). "كشف عيوب اللحام: التعامل مع القطع الأثرية في خط الإنتاج" . المجلة الدولية لتكنولوجيا التصنيع المتقدمة . 111 (5): 1659-1669. دوى : 10.1007 / s00170-020-06146-4 . S2CID 225136860 . 
  25. ^ فاتح كاكير ، كون هي ، شيدي شيا ، بريان كوليس ، ستان سكلاروف ، التعلم العميق المتري للترتيب، في بروك. مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط (CVPR) ، 2019.
  26. ^ زيجمونت زاجيك. ما أردت أن تعرفه عن الجامعة الأمريكية بالقاهرة. http://fastml.com/what-you-wanted-to-know-about-auc/
  • بايزا ياتس ، ريكاردو ؛ ريبيرو نيتو ، بيرتييه (1999). استرجاع المعلومات الحديثة . نيويورك ، نيويورك: مطبعة إيه سي إم ، أديسون ويسلي ، سيتن 75 وما يليها. ردمك 0-201-39829-X 
  • هيورلاند ، بيرغر (2010) ؛ أساس مفهوم الصلة ، مجلة الجمعية الأمريكية لعلوم وتكنولوجيا المعلومات ، 61 (2) ، 217-237
  • مخول ، جون . كوبالا وفرانسيس ؛ شوارتز ، ريتشارد ؛ و Weischedel ، رالف (1999) ؛ مقاييس الأداء لاستخراج المعلومات ، في Proceedings of DARPA Broadcast News Workshop ، هيرندون ، فيرجينيا ، فبراير 1999
  • فان ريسبرجن ، كورنيليس جوست "كيث" (1979) ؛ استرجاع المعلومات ، لندن ، بريطانيا ؛ بوسطن ، ماساتشوستس: بتروورث ، الطبعة الثانية ، ISBN 0-408-70929-4 

روابط خارجية