الانحدار اللوجستي متعدد الحدود

في الإحصاء ، الانحدار اللوجستي متعدد الحدود هو أسلوب تصنيف يعمم الانحدار اللوجستي على المشاكل متعددة الفئات ، أي مع أكثر من نتيجتين منفصلتين محتملتين. [1] أي أنه نموذج يستخدم للتنبؤ باحتمالات النتائج المحتملة المختلفة لمتغير تابع موزع بشكل قاطع ، في ضوء مجموعة من المتغيرات المستقلة (والتي قد تكون ذات قيمة حقيقية، ذات قيمة ثنائية، ذات قيمة فئوية ، إلخ.).

يعرف الانحدار اللوجستي متعدد الحدود بمجموعة متنوعة من الأسماء الأخرى، بما في ذلك متعدد الحدود LR ، [2] [3] متعدد الطبقات LR ، انحدار softmax ، لوجيت متعدد الحدود ( mlogit )، المصنف الأقصى للإنتروبيا ( MaxEnt )، ونموذج الإنتروبيا الأقصى المشروط . [4]

خلفية

يتم استخدام الانحدار اللوجستي متعدد الحدود عندما يكون المتغير التابع المعني اسميًا ( مكافئًا فئويًا ، مما يعني أنه يقع ضمن أي مجموعة من الفئات التي لا يمكن ترتيبها بأي طريقة ذات معنى) والتي يوجد لها أكثر من فئتين. بعض الأمثلة ستكون:

  • ما هو التخصص الذي سيختاره الطالب الجامعي، مع الأخذ في الاعتبار درجاته وما يحبه ويكرهه، وما إلى ذلك؟
  • ما هي فصيلة الدم التي يملكها الشخص، في ضوء نتائج الاختبارات التشخيصية المختلفة؟
  • في تطبيق الاتصال الهاتفي المحمول بدون استخدام اليدين، ما هو اسم الشخص الذي تم نطقه، في ضوء الخصائص المختلفة لإشارة الكلام؟
  • ما هو المرشح الذي سيصوت له الشخص، في ضوء الخصائص الديموغرافية المحددة؟
  • في أي بلد ستتخذ الشركة مقرًا لها، في ضوء خصائص الشركة ومختلف البلدان المرشحة؟

هذه كلها مشاكل التصنيف الإحصائي . تشترك جميعها في متغير تابع يمكن التنبؤ به والذي يأتي من مجموعة محدودة من العناصر التي لا يمكن ترتيبها بشكل هادف، بالإضافة إلى مجموعة من المتغيرات المستقلة (المعروفة أيضًا بالميزات والمفسرين وما إلى ذلك)، والتي يتم استخدامها للتنبؤ بالمتغير التابع. يعد الانحدار اللوجستي متعدد الحدود حلاً خاصًا لمشاكل التصنيف التي تستخدم مزيجًا خطيًا من الميزات المرصودة وبعض المعلمات الخاصة بالمشكلة لتقدير احتمالية كل قيمة معينة للمتغير التابع. عادةً ما يتم تحديد أفضل قيم المعلمات الخاصة بمشكلة معينة من خلال بعض بيانات التدريب (على سبيل المثال، بعض الأشخاص الذين تكون نتائج الاختبارات التشخيصية وفصائل الدم معروفة لهم، أو بعض الأمثلة على الكلمات المعروفة المنطوقة).

الافتراضات

يفترض النموذج اللوجستي متعدد الحدود أن البيانات خاصة بحالة معينة؛ أي أن كل متغير مستقل له قيمة واحدة لكل حالة. كما هو الحال مع أنواع الانحدار الأخرى، ليست هناك حاجة لأن تكون المتغيرات المستقلة مستقلة إحصائيًا عن بعضها البعض (على عكس، على سبيل المثال، في مصنف بايز الساذج )؛ ومع ذلك، يفترض أن تكون العلاقة الخطية المتداخلة منخفضة نسبيًا، حيث يصبح من الصعب التمييز بين تأثير العديد من المتغيرات إذا لم يكن الأمر كذلك. [5]

إذا تم استخدام اللوغاريتم متعدد الحدود لنمذجة الاختيارات، فإنه يعتمد على افتراض استقلال البدائل غير ذات الصلة (IIA)، وهو أمر غير مرغوب فيه دائمًا. ينص هذا الافتراض على أن احتمالات تفضيل فئة على أخرى لا تعتمد على وجود أو عدم وجود بدائل أخرى "غير ذات صلة". على سبيل المثال، لا تتغير الاحتمالات النسبية لأخذ سيارة أو حافلة إلى العمل إذا تمت إضافة دراجة كاحتمال إضافي. يتيح ذلك إمكانية نمذجة اختيار بدائل K كمجموعة من الخيارات الثنائية المستقلة K -1، حيث يتم اختيار بديل واحد باعتباره "محورًا" ويتم مقارنة البديل K -1 الآخر به، واحدًا تلو الآخر. فرضية IIA هي فرضية أساسية في نظرية الاختيار العقلاني؛ لكن العديد من الدراسات في علم النفس تظهر أن الأفراد غالبًا ما ينتهكون هذا الافتراض عند اتخاذ الخيارات. ينشأ مثال لحالة المشكلة إذا كانت الاختيارات تتضمن سيارة وحافلة زرقاء. لنفترض أن نسبة الأرجحية بين الاثنين هي 1: 1. الآن إذا تم تقديم خيار الحافلة الحمراء، فقد يكون الشخص غير مبال بين الحافلة الحمراء والحافلة الزرقاء، وبالتالي قد يعرض سيارة: الحافلة الزرقاء: نسبة الأرجحية للحافلة الحمراء 1: 0.5: 0.5، وبالتالي الحفاظ على نسبة 1: 1 للسيارة: أي حافلة أثناء اعتماد سيارة متغيرة: نسبة الحافلة الزرقاء 1: 0.5. هنا لم يكن خيار الحافلة الحمراء في الواقع غير ذي صلة، لأن الحافلة الحمراء كانت بديلاً مثاليًا للحافلة الزرقاء.

إذا تم استخدام اللوغاريتم متعدد الحدود لنمذجة الاختيارات، فقد يفرض في بعض المواقف قيودًا كبيرة جدًا على التفضيلات النسبية بين البدائل المختلفة. من المهم بشكل خاص أن نأخذ في الاعتبار ما إذا كان التحليل يهدف إلى التنبؤ بكيفية تغير الخيارات إذا اختفى بديل واحد (على سبيل المثال، إذا انسحب مرشح سياسي واحد من سباق ثلاثة مرشحين). يمكن استخدام نماذج أخرى مثل اللوغاريتمي المتداخل أو الاحتمال متعدد الحدود في مثل هذه الحالات لأنها تسمح بانتهاك IIA. [6]

نموذج

مقدمة

هناك عدة طرق مكافئة لوصف النموذج الرياضي الكامن وراء الانحدار اللوجستي متعدد الحدود. وهذا يمكن أن يجعل من الصعب مقارنة المعالجات المختلفة للموضوع في نصوص مختلفة. تقدم المقالة الخاصة بالانحدار اللوجستي عددًا من الصيغ المكافئة للانحدار اللوجستي البسيط، والعديد منها لها نظائرها في النموذج اللوغاريتمي متعدد الحدود.

الفكرة وراء كل هذه الأساليب، كما هو الحال في العديد من تقنيات التصنيف الإحصائي الأخرى ، هي بناء دالة تنبؤية خطية تقوم ببناء درجة من مجموعة من الأوزان التي يتم دمجها خطيًا مع المتغيرات التوضيحية (الميزات) لملاحظة معينة باستخدام منتج نقطي :

حيث X i هو متجه المتغيرات التوضيحية التي تصف الملاحظة i ، وβ k هو متجه للأوزان (أو معاملات الانحدار ) المقابلة للنتيجة k ، والنتيجة ( X i ، k ) هي النتيجة المرتبطة بتعيين الملاحظة i للفئة k . في نظرية الاختيار المنفصلة ، ​​حيث تمثل الملاحظات الأشخاص وتمثل النتائج الاختيارات، تعتبر النتيجة المنفعة المرتبطة باختيار الشخص للنتيجة ك . النتيجة المتوقعة هي التي حصلت على أعلى الدرجات.

الفرق بين النموذج اللوغاريتمي متعدد الحدود والعديد من الطرق والنماذج والخوارزميات الأخرى، وما إلى ذلك مع نفس الإعداد الأساسي ( خوارزمية الإدراك الحسي ، وأجهزة المتجهات الداعمة ، والتحليل التمييزي الخطي ، وما إلى ذلك) هو الإجراء الخاص بتحديد (التدريب) الأوزان المثالية / المعاملات وطريقة تفسير النتيجة. على وجه الخصوص، في النموذج اللوغاريتمي متعدد الحدود، يمكن تحويل النتيجة مباشرة إلى قيمة احتمالية، مما يشير إلى احتمالية الملاحظة واختيار النتيجة k بالنظر إلى الخصائص المقاسة للملاحظة. يوفر هذا طريقة مبدئية لدمج التنبؤ بنموذج لوغاريتمي متعدد الحدود معين في إجراء أكبر قد يتضمن العديد من هذه التنبؤات، كل منها مع احتمال الخطأ. وبدون هذه الوسائل للجمع بين التوقعات، تميل الأخطاء إلى التكاثر. على سبيل المثال، تخيل نموذجًا تنبؤيًا كبيرًا مقسمًا إلى سلسلة من النماذج الفرعية حيث يتم استخدام التنبؤ بنموذج فرعي معين كمدخل لنموذج فرعي آخر، ويستخدم هذا التنبؤ بدوره كمدخل في نموذج فرعي ثالث، وما إلى ذلك. إذا كان كل نموذج فرعي يتمتع بدقة 90% في تنبؤاته، وكان هناك خمسة نماذج فرعية متسلسلة، فإن النموذج الإجمالي يتمتع بدقة 0.9 5 = 59% فقط. إذا كان كل نموذج فرعي يتمتع بدقة 80%، تنخفض الدقة الإجمالية إلى 0.8 5 = دقة 33%. تُعرف هذه المشكلة باسم انتشار الخطأ وهي مشكلة خطيرة في النماذج التنبؤية في العالم الحقيقي، والتي تتكون عادةً من أجزاء عديدة. إن التنبؤ باحتمالات كل نتيجة محتملة، بدلاً من مجرد التنبؤ الأمثل، هو إحدى وسائل التخفيف من هذه المشكلة. [ بحاجة لمصدر ]

يثبت

الإعداد الأساسي هو نفسه كما في الانحدار اللوجستي ، والفرق الوحيد هو أن المتغيرات التابعة هي فئوية وليست ثنائية ، أي أن هناك نتائج محتملة K بدلاً من اثنتين فقط. تم اختصار الوصف التالي إلى حد ما؛ لمزيد من التفاصيل، راجع مقالة الانحدار اللوجستي .

نقاط البيانات

على وجه التحديد، من المفترض أن لدينا سلسلة من نقاط البيانات المرصودة N. تتكون كل نقطة بيانات i (تتراوح من 1 إلى N ) من مجموعة من المتغيرات التوضيحية M x 1,i ... x M,i (المعروفة أيضًا باسم المتغيرات المستقلة ، والمتغيرات المتوقعة، والميزات، وما إلى ذلك)، وما يرتبط بها من تصنيفات النتيجة Y i (المعروفة أيضًا باسم المتغير التابع ، متغير الاستجابة)، والتي يمكن أن تأخذ إحدى قيم K المحتملة. تمثل هذه القيم المحتملة فئات منفصلة منطقيًا (على سبيل المثال ، أحزاب سياسية مختلفة، فصائل الدم، وما إلى ذلك)، وغالبًا ما يتم وصفها رياضيًا عن طريق تخصيص رقم عشوائي لكل منها من 1 إلى K. تمثل المتغيرات التفسيرية والنتائج الخصائص المرصودة لنقاط البيانات، وغالبًا ما يُعتقد أنها نشأت في ملاحظات "التجارب" N - على الرغم من أن "التجربة" قد لا تتكون من أكثر من جمع البيانات. الهدف من الانحدار اللوجستي متعدد الحدود هو بناء نموذج يشرح العلاقة بين المتغيرات التوضيحية والنتيجة، بحيث يمكن التنبؤ بنتيجة "التجربة" الجديدة بشكل صحيح لنقطة بيانات جديدة تكون لها المتغيرات التوضيحية، ولكن ليس النتيجة متاحة. وفي هذه العملية، يحاول النموذج شرح التأثير النسبي للمتغيرات التوضيحية المختلفة على النتيجة.

بعض الأمثلة:

  • النتائج المرصودة هي متغيرات مختلفة لمرض مثل التهاب الكبد (ربما تتضمن "لا يوجد مرض" و/أو أمراض أخرى ذات صلة) في مجموعة من المرضى، وقد تكون المتغيرات التفسيرية هي خصائص المرضى الذين يُعتقد أنهم ذوو صلة بالموضوع (الجنس، العرق والعمر وضغط الدم ونتائج اختبارات وظائف الكبد المختلفة وما إلى ذلك). الهدف بعد ذلك هو التنبؤ بالمرض الذي يسبب الأعراض المرتبطة بالكبد الملحوظة لدى مريض جديد.
  • النتائج المرصودة هي الحزب الذي اختارته مجموعة من الأشخاص في الانتخابات، والمتغيرات التوضيحية هي الخصائص الديموغرافية لكل شخص (مثل الجنس، والعرق، والعمر، والدخل، وما إلى ذلك). والهدف بعد ذلك هو التنبؤ بالتصويت المحتمل للناخب الجديد الذي يتمتع بخصائص معينة.

المتنبئ الخطي

كما هو الحال في الأشكال الأخرى من الانحدار الخطي، يستخدم الانحدار اللوجستي متعدد الحدود دالة تنبؤ خطية للتنبؤ باحتمال أن تكون الملاحظة i لها نتيجة k ، بالشكل التالي:

حيث يكون معامل الانحدار مرتبطًا بالمتغير التوضيحي m والنتيجة k . كما هو موضح في مقالة الانحدار اللوجستي ، يتم عادةً تجميع معاملات الانحدار والمتغيرات التوضيحية في متجهات بالحجم M+1 ، بحيث يمكن كتابة دالة التوقع بشكل أكثر إحكاما:

حيث هي مجموعة معاملات الانحدار المرتبطة بالنتيجة k و (متجه الصف) هي مجموعة المتغيرات التوضيحية المرتبطة بالملاحظة i .

كمجموعة من الانحدارات الثنائية المستقلة

للوصول إلى نموذج لوغاريتمي متعدد الحدود، يمكن للمرء أن يتخيل، بالنسبة للنتائج المحتملة لـ K ، تشغيل نماذج الانحدار اللوجستي الثنائي المستقلة K -1، حيث يتم اختيار نتيجة واحدة كـ "محور" ثم يتم تراجع نتائج K -1 الأخرى بشكل منفصل مقابل النتيجة المحورية. إذا تم اختيار النتيجة K (النتيجة الأخيرة) لتكون المحور، فإن معادلات الانحدار K -1 هي:

.

تُعرف هذه الصيغة أيضًا باسم تحويل نسبة السجل الإضافي المستخدم بشكل شائع في تحليل البيانات التركيبية. وفي تطبيقات أخرى يشار إليها باسم "الخطر النسبي". [7]

إذا قمنا بأسس كلا الطرفين وحللنا الاحتمالات، نحصل على:

وباستخدام حقيقة أن جميع احتمالات K يجب أن يكون مجموعها واحدًا، نجد:

.

يمكننا استخدام هذا للعثور على الاحتمالات الأخرى:

.

إن حقيقة قيامنا بتشغيل العديد من الانحدارات تكشف سبب اعتماد النموذج على افتراض استقلال البدائل غير ذات الصلة الموصوفة أعلاه.

تقدير المعاملات

عادةً ما يتم تقدير المعلمات غير المعروفة في كل متجه β k بشكل مشترك من خلال تقدير الحد الأقصى البعدي (MAP)، وهو امتداد لأقصى احتمال باستخدام تنظيم الأوزان لمنع الحلول المرضية (عادةً ما تكون وظيفة التنظيم المربعة، والتي تعادل وضع توزيع غاوسي صفري متوسط ​​على الأوزان، لكن التوزيعات الأخرى ممكنة أيضًا). يتم العثور على الحل عادةً باستخدام إجراء تكراري مثل القياس التكراري المعمم ، [8] المربعات الصغرى المعاد وزنها بشكل متكرر (IRLS)، [9] عن طريق خوارزميات التحسين القائمة على التدرج مثل L-BFGS ، [4] أو عن طريق الإحداثيات المتخصصة خوارزميات النسب . [10]

كنموذج لوغاريتمي خطي

يمكن توسيع صياغة الانحدار اللوجستي الثنائي كنموذج لوغاريتمي خطي مباشرة إلى الانحدار متعدد الاتجاهات. أي أننا نصمم لوغاريتم احتمالية رؤية مخرجات معينة باستخدام المتنبئ الخطي بالإضافة إلى عامل تسوية إضافي ، وهو لوغاريتم دالة القسم :

.

كما في الحالة الثنائية، نحتاج إلى حد إضافي للتأكد من أن مجموعة الاحتمالات بأكملها تشكل توزيعًا احتماليًا ، أي أن مجموعها جميعًا يساوي واحدًا:

السبب وراء حاجتنا إلى إضافة حد لضمان التطبيع، بدلاً من الضرب كما هو معتاد، هو أننا أخذنا لوغاريتم الاحتمالات. يؤدي أس كلا الطرفين إلى تحويل الحد الجمعي إلى عامل ضرب، بحيث يكون الاحتمال مجرد مقياس جيبس :

.

تسمى الكمية Z دالة التقسيم للتوزيع. يمكننا حساب قيمة دالة القسم من خلال تطبيق القيد أعلاه الذي يتطلب جمع جميع الاحتمالات إلى 1:

لذلك:

لاحظ أن هذا العامل "ثابت" بمعنى أنه ليس دالة لـ Y i ، وهو المتغير الذي يتم تعريف التوزيع الاحتمالي عليه. ومع ذلك، فهو بالتأكيد ليس ثابتًا فيما يتعلق بالمتغيرات التوضيحية، أو بشكل حاسم، فيما يتعلق بمعاملات الانحدار غير المعروفة β k ، والتي سنحتاج إلى تحديدها من خلال نوع من إجراءات التحسين .

المعادلات الناتجة للاحتمالات هي

.

أو بشكل عام:

الوظيفة التالية:

يشار إليها باسم وظيفة softmax . والسبب هو أن تأثير تضخيم القيم هو تضخيم الاختلافات بينها. ونتيجة لذلك، سيتم إرجاع قيمة قريبة من 0 عندما تكون أقل بكثير من الحد الأقصى لجميع القيم، وسيتم إرجاع قيمة قريبة من 1 عند تطبيقها على القيمة القصوى، ما لم تكن قريبة للغاية من القيمة الأكبر التالية. وبالتالي، يمكن استخدام وظيفة softmax لإنشاء متوسط ​​مرجح يعمل كدالة سلسة (والتي يمكن تمييزها بسهولة ، وما إلى ذلك) والتي تقارب وظيفة المؤشر

وبالتالي، يمكننا كتابة المعادلات الاحتمالية على النحو التالي

وبالتالي فإن وظيفة softmax بمثابة المعادل للوظيفة اللوجستية في الانحدار اللوجستي الثنائي.

لاحظ أنه ليست كل ناقلات المعاملات يمكن تحديدها بشكل فريد . ويرجع ذلك إلى حقيقة أن جميع الاحتمالات يجب أن يكون مجموعها 1، مما يجعل أحدها محددًا تمامًا بمجرد معرفة الباقي. ونتيجة لذلك، لا يوجد سوى احتمالات محددة بشكل منفصل، وبالتالي يمكن تحديد ناقلات المعاملات بشكل منفصل. إحدى الطرق لرؤية ذلك هي ملاحظة أنه إذا أضفنا متجهًا ثابتًا إلى جميع متجهات المعاملات، فستكون المعادلات متطابقة:

ونتيجة لذلك، فمن التقليدي تعيين (أو بدلاً من ذلك، أحد ناقلات المعاملات الأخرى). في الأساس، قمنا بتعيين الثابت بحيث يصبح أحد المتجهات 0، وتتحول جميع المتجهات الأخرى إلى الفرق بين تلك المتجهات والمتجه الذي اخترناه. وهذا يعادل "التمحور" حول أحد اختيارات K ، وفحص مدى أفضل أو أسوأ خيارات K -1 الأخرى ، مقارنة بالاختيار الذي نمحور حوله. رياضياً، نقوم بتحويل المعاملات على النحو التالي:

وهذا يؤدي إلى المعادلات التالية:

وبخلاف الرموز الأولية على معاملات الانحدار، فإن هذا هو بالضبط نفس شكل النموذج الموصوف أعلاه، من حيث الانحدارات المستقلة ذات الاتجاهين K -1.

كنموذج متغير كامن

من الممكن أيضًا صياغة الانحدار اللوجستي متعدد الحدود كنموذج متغير كامن، باتباع نموذج المتغير الكامن ثنائي الاتجاه الموصوف للانحدار اللوجستي الثنائي. هذه الصيغة شائعة في نظرية نماذج الاختيار المنفصلة ، ​​وتسهل مقارنة الانحدار اللوجستي متعدد الحدود بنموذج الاحتمال متعدد الحدود ذي الصلة ، وكذلك توسيعه ليشمل نماذج أكثر تعقيدًا.

تخيل أنه لكل نقطة بيانات i والنتيجة المحتملة k=1,2,...,K ، هناك متغير كامن مستمر Y i,k * (أي متغير عشوائي غير ملحوظ ) يتم توزيعه على النحو التالي:

حيث أي توزيع القيمة القصوى من النوع 1 القياسي .

يمكن اعتبار هذا المتغير الكامن بمثابة المنفعة المرتبطة بنقطة البيانات i التي تختار النتيجة k ، حيث يوجد بعض العشوائية في المقدار الفعلي للمنفعة التي تم الحصول عليها، والتي تمثل العوامل الأخرى غير النموذجية التي تدخل في الاختيار. يتم بعد ذلك تحديد قيمة المتغير الفعلي بطريقة غير عشوائية من هذه المتغيرات الكامنة (أي تم نقل العشوائية من النتائج المرصودة إلى المتغيرات الكامنة)، حيث يتم اختيار النتيجة k إذا وفقط إذا كانت المنفعة المرتبطة (ال قيمة ) أكبر من الأدوات المساعدة لجميع الاختيارات الأخرى، أي إذا كانت الأداة المساعدة المرتبطة بالنتيجة k هي الحد الأقصى لجميع الأدوات المساعدة. نظرًا لأن المتغيرات الكامنة مستمرة ، فإن احتمال وجود متغيرين لهما نفس القيمة تمامًا هو 0، لذلك نتجاهل السيناريو. إنه:

أو مكافئ:

دعونا ننظر عن كثب إلى المعادلة الأولى، والتي يمكننا كتابتها على النحو التالي:

هناك بعض الأشياء التي يجب إدراكها هنا:

  1. بشكل عام، إذا وبعد ذلك ، فإن الفرق بين متغيرين مستقلين موزعين بشكل متطابق ذي قيمة متطرفة يتبع التوزيع اللوجستي ، حيث تكون المعلمة الأولى غير مهمة. وهذا أمر مفهوم لأن المعلمة الأولى هي معلمة موقع ، أي أنها تزيح المتوسط ​​بمقدار ثابت، وإذا تم إزاحة قيمتين بنفس المقدار، فإن الفرق بينهما يظل كما هو. وهذا يعني أن جميع العبارات العلائقية الكامنة وراء احتمالية اختيار معين تتضمن التوزيع اللوجستي، مما يجعل الاختيار الأولي لتوزيع القيمة القصوى، والذي بدا اعتباطيًا إلى حد ما، أكثر قابلية للفهم إلى حد ما.
  2. المعلمة الثانية في القيمة المتطرفة أو التوزيع اللوجستي هي معلمة مقياس ، بحيث إذا كان هذا يعني أن تأثير استخدام متغير خطأ مع معلمة مقياس عشوائي بدلاً من المقياس 1 يمكن تعويضه ببساطة عن طريق ضرب جميع متجهات الانحدار في نفس المقياس. جنبا إلى جنب مع النقطة السابقة، يوضح هذا أن استخدام توزيع القيمة القصوى القياسية (الموقع 0، المقياس 1) لمتغيرات الخطأ لا ينطوي على فقدان العمومية على استخدام توزيع القيمة القصوى التعسفي. في الواقع، النموذج غير قابل للتحديد (لا توجد مجموعة واحدة من المعاملات المثلى) إذا تم استخدام التوزيع الأكثر عمومية.
  3. نظرًا لأنه يتم استخدام اختلافات متجهات معاملات الانحدار فقط، فإن إضافة ثابت اختياري لجميع متجهات المعاملات ليس له أي تأثير على النموذج. وهذا يعني أنه، كما هو الحال في النموذج اللوغاريتمي الخطي، يمكن تحديد K -1 فقط من متجهات المعامل، ويمكن تعيين الأخير إلى قيمة عشوائية (على سبيل المثال 0).

في الواقع، يعد العثور على قيم الاحتمالات المذكورة أعلاه أمرًا صعبًا إلى حد ما، ويمثل مشكلة في حساب إحصائية معينة (الأولى، أي الحد الأقصى) لمجموعة من القيم. ومع ذلك، يمكن إثبات أن التعبيرات الناتجة هي نفسها كما في الصيغ المذكورة أعلاه، أي أن الاثنين متساويان.

تقدير الاعتراض

عند استخدام الانحدار اللوجستي متعدد الحدود، يتم اختيار فئة واحدة من المتغير التابع كفئة مرجعية. يتم تحديد نسب الأرجحية المنفصلة لجميع المتغيرات المستقلة لكل فئة من فئات المتغير التابع باستثناء الفئة المرجعية التي تم حذفها من التحليل. يمثل معامل بيتا الأسي التغير في احتمالات وجود المتغير التابع في فئة معينة مقابل الفئة المرجعية، المرتبطة بتغير وحدة واحدة للمتغير المستقل المقابل.


وظيفة الاحتمال

تعتبر القيم المرصودة للمتغيرات الموضحة بمثابة تحقيقات لمتغيرات عشوائية مستقلة عشوائيا وموزعة بشكل قاطع .

يتم تعريف دالة الاحتمالية لهذا النموذج من خلال:

حيث يشير الفهرس إلى الملاحظات من 1 إلى n ويشير الفهرس إلى الفئات من 1 إلى K. وهي دلتا كرونيكر.

وبالتالي فإن دالة احتمالية السجل السلبية هي الإنتروبيا المتقاطعة المعروفة: :

التطبيق في معالجة اللغة الطبيعية

في معالجة اللغة الطبيعية ، يتم استخدام مصنفات LR متعددة الحدود بشكل شائع كبديل لمصنفات بايز الساذجة لأنها لا تفترض الاستقلال الإحصائي للمتغيرات العشوائية (المعروفة باسم الميزات ) التي تعمل كمتنبئات. ومع ذلك، فإن التعلم في مثل هذا النموذج يكون أبطأ من التعلم في مصنف بايز الساذج، وبالتالي قد لا يكون مناسبًا نظرًا لوجود عدد كبير جدًا من الفصول الدراسية للتعلم. على وجه الخصوص، يعد التعلم في مصنف Naive Bayes مسألة بسيطة تتمثل في حساب عدد التواجدات المشتركة للميزات والفئات، بينما في مصنف الإنتروبيا القصوى، يجب أن تكون الأوزان، والتي يتم تعظيمها عادةً باستخدام الحد الأقصى لتقدير البعدي (MAP)، أن يتم تعلمها باستخدام إجراء تكراري؛ راجع # تقدير المعاملات.

أنظر أيضا

مراجع

  1. ^ جرين ، ويليام هـ. (2012). التحليل الاقتصادي القياسي (الطبعة السابعة). بوسطن: تعليم بيرسون. ص 803-806. رقم ISBN 978-0-273-75356-8.
  2. ^ إنجل ، ج. (1988). “الانحدار اللوجستي متعدد التوائم”. إحصائيات نيرلانديكا . 42 (4): 233-252. دوى :10.1111/j.1467-9574.1988.tb01238.x.
  3. ^ مينارد ، سكوت (2002). تحليل الانحدار اللوجستي التطبيقي . حكيم. ص. 91. ردمك 9780761922087.
  4. ^ أب معلوف ، روبرت (2002). مقارنة الخوارزميات لتقدير معلمة الإنتروبيا القصوى (PDF) . المؤتمر السادس على تعلم اللغة الطبيعية (CoNLL). ص 49-55.
  5. ^ بيلسلي ، ديفيد (1991). تشخيص التكييف: العلاقة الخطية المتداخلة والبيانات الضعيفة في الانحدار . نيويورك: وايلي. رقم ISBN 9780471528890.
  6. ^ بالتاس ، ج. دويل، ب. (2001). “نماذج المنفعة العشوائية في أبحاث التسويق: دراسة استقصائية”. مجلة أبحاث الأعمال . 51 (2): 115-125. دوى :10.1016/S0148-2963(99)00058-2.
  7. ^ دليل ستاتا “mlogit – الانحدار اللوجستي متعدد الحدود (متعدد الحدود)”
  8. ^ داروتش، جيه إن وراتكليف، د. (1972). “القياس التكراري المعمم للنماذج الخطية اللوغاريتمية”. حوليات الإحصاء الرياضي . 43 (5): 1470-1480. دوى : 10.1214/اومز/1177692379 .
  9. ^ الأسقف كريستوفر م. (2006). التعرف على الأنماط وتعلم الآلة . سبرينغر. ص 206-209.
  10. ^ يو ، هسيانج فو ؛ هوانغ، فانغ لان؛ لين، تشيه جين (2011). “طرق النسب الإحداثية المزدوجة للانحدار اللوجستي ونماذج الإنتروبيا القصوى” (PDF) . التعلم الالي . 85 (1-2): 41-75. دوى : 10.1007/s10994-010-5221-8 .
Retrieved from "https://en.wikipedia.org/w/index.php?title=Multinomial_logistic_regression&oldid=1213929849"