جائزة نتفليكس

أنظمة التوصية
المفاهيم
الأساليب والتحديات
التنفيذ
بحث

كانت جائزة Netflix عبارة عن مسابقة مفتوحة لأفضل خوارزمية تصفية تعاونية للتنبؤ بتقييمات المستخدمين للأفلام ، بناءً على التقييمات السابقة دون أي معلومات أخرى عن المستخدمين أو الأفلام، أي دون تحديد هوية المستخدمين إلا من خلال الأرقام المخصصة للمسابقة.

أقيمت المسابقة بواسطة Netflix ، وهي خدمة بث فيديو، وكانت مفتوحة لأي شخص ليس على اتصال بـ Netflix (الموظفون الحاليون والسابقون، والوكلاء، والأقارب المقربون لموظفي Netflix، وما إلى ذلك) ولا المقيمين في بعض البلدان المحظورة (مثل كوبا أو كوريا الشمالية). [1] في 21 سبتمبر 2009، مُنحت الجائزة الكبرى البالغة مليون دولار أمريكي لفريق BellKor's Pragmatic Chaos الذي تفوق على خوارزمية Netflix الخاصة للتنبؤ بالتقييمات بنسبة 10.06%. [2]

المشكلة ومجموعات البيانات

قدمت Netflix مجموعة بيانات تدريبية مكونة من 100,480,507 تقييمًا قدمها 480,189 مستخدمًا لـ 17,770 فيلمًا. كل تصنيف التدريب هو رباعي من النموذج <user, movie, date of grade, grade>. حقلا المستخدم والفيلم عبارة عن معرفات عددية ، بينما تكون التقديرات من 1 إلى 5 ( عدد صحيح ) نجوم. [3]

تحتوي مجموعة البيانات المؤهلة على أكثر من 2,817,131 ثلاثية من النموذج <user, movie, date of grade>، مع درجات معروفة فقط للجنة التحكيم. يجب أن تتنبأ خوارزمية الفريق المشارك بالدرجات في المجموعة المؤهلة بأكملها، ولكن يتم إبلاغهم بالنتيجة لنصف البيانات فقط: مجموعة اختبار مكونة من 1,408,342 تقييمًا. النصف الآخر عبارة عن مجموعة اختبار مكونة من 1,408,789، ويتم استخدام الأداء على هذا من قبل لجنة التحكيم لتحديد الفائزين المحتملين بالجوائز. وحدهم الحكام يعرفون التقييمات الموجودة في مجموعة الاختبار، وتلك الموجودة في مجموعة الاختبار - يهدف هذا الترتيب إلى جعل من الصعب تسلق التل في مجموعة الاختبار. يتم تسجيل التوقعات المقدمة مقابل الدرجات الحقيقية في شكل جذر متوسط ​​تربيع الخطأ(RMSE)، والهدف هو تقليل هذا الخطأ قدر الإمكان. لاحظ أنه على الرغم من أن الدرجات الفعلية عبارة عن أعداد صحيحة في النطاق من 1 إلى 5، إلا أنه ليس من الضروري أن تكون التوقعات المقدمة كذلك. حددت Netflix أيضًا مجموعة فرعية من الاستقصاءات تضم 1,408,395 تقييمًا ضمن مجموعة بيانات التدريب . تم اختيار مجموعات بيانات المسبار والاختبار والاختبار لتكون لها خصائص إحصائية مماثلة .

باختصار، تبدو البيانات المستخدمة في جائزة Netflix كما يلي:

  • مجموعة التدريب (99,072,112 تقييمًا لا تشمل مجموعة المسبار؛ 100,480,507 بما في ذلك مجموعة المسبار)
    • مجموعة المسبار (1,408,395 تقييمًا)
  • المجموعة المؤهلة (2,817,131 تقييمًا) تتكون من:
    • مجموعة الاختبار (1,408,789 تقييمًا)، تُستخدم لتحديد الفائزين
    • مجموعة الاختبارات (1,408,342 تقييمًا)، تُستخدم لحساب درجات لوحة الصدارة

لكل فيلم، يتم توفير العنوان وسنة الإصدار في مجموعة بيانات منفصلة. لا يتم توفير أي معلومات على الإطلاق عن المستخدمين. من أجل حماية خصوصية العملاء، "تم التشويش عمدًا على بعض بيانات التصنيف الخاصة ببعض العملاء في مجموعات التدريب والتأهيل بواحدة أو أكثر من الطرق التالية: حذف التقييمات، وإدراج تقييمات وتواريخ بديلة، وتعديل التقييم بلح." [2]

تم إنشاء مجموعة التدريب بحيث يقوم المستخدم العادي بتقييم أكثر من 200 فيلم، ويتم تقييم الفيلم المتوسط ​​من قبل أكثر من 5000 مستخدم. ولكن هناك تباين كبير في البيانات - بعض الأفلام في مجموعة التدريب لديها ما لا يقل عن 3 تقييمات، [4] بينما قام مستخدم واحد بتقييم أكثر من 17000 فيلم. [5]

كان هناك بعض الجدل حول اختيار RMSE كمقياس محدد. هل سيفيد تخفيض RMSE بنسبة 10% المستخدمين حقًا؟ يُزعم أنه حتى التحسن البسيط بنسبة 1٪ في RMSE يؤدي إلى اختلاف كبير في تصنيف "أفضل 10" أفلام موصى بها للمستخدم. [6]

الجوائز

استندت الجوائز إلى التحسين الذي تم إجراؤه على خوارزمية Netflix الخاصة، والتي تسمى Cinematch ، أو نتيجة العام السابق إذا حقق الفريق تحسنًا يتجاوز حدًا معينًا. تقوم خوارزمية تافهة تتنبأ بكل فيلم في الاختبار بتعيين متوسط ​​درجاته من بيانات التدريب وتنتج قيمة RMSE تبلغ 1.0540. يستخدم Cinematch " نماذج خطية إحصائية واضحة مع الكثير من تكييف البيانات." [7]

باستخدام بيانات التدريب فقط، سجلت Cinematch درجة RMSE قدرها 0.9514 في بيانات الاختبار، وهو تحسن بنسبة 10% تقريبًا مقارنة بالخوارزمية التافهة. لدى Cinematch أداء مماثل في مجموعة الاختبار، 0.9525. من أجل الفوز بالجائزة الكبرى البالغة مليون دولار، كان على الفريق المشارك تحسين ذلك بنسبة 10% أخرى، للوصول إلى 0.8572 في مجموعة الاختبار. [2] يتوافق هذا التحسن في مجموعة الاختبار مع RMSE بقيمة 0.8563.

طالما لم يفز أي فريق بالجائزة الكبرى، يتم منح جائزة تقدم قدرها 50000 دولار كل عام لأفضل نتيجة حتى الآن. ومع ذلك، من أجل الفوز بهذه الجائزة، كان على إحدى الخوارزميات تحسين RMSE في الاختبار المحدد بنسبة 1% على الأقل مقارنة بالفائز السابق بجائزة التقدم (أو على Cinematch، في السنة الأولى). إذا لم ينجح أي إرسال، فلن يتم منح جائزة التقدم لذلك العام.

للفوز بالتقدم أو الجائزة الكبرى، كان على المشارك تقديم كود المصدر ووصف الخوارزمية إلى لجنة التحكيم في غضون أسبوع واحد بعد الاتصال بهم. بعد التحقق، كان على الفائز أيضًا تقديم ترخيص غير حصري لـ Netflix. ستنشر Netflix فقط الوصف، وليس الكود المصدري للنظام. (للحفاظ على سرية الخوارزمية وشفرة المصدر الخاصة بهم، يمكن للفريق اختيار عدم المطالبة بالجائزة). كما أبقت لجنة التحكيم سرية توقعاتها عن المشاركين الآخرين. يمكن للفريق إرسال العديد من المحاولات للتنبؤ بالدرجات كما يحلو لهم. في الأصل كانت عمليات الإرسال مقتصرة على مرة واحدة في الأسبوع، ولكن تم تعديل الفاصل الزمني بسرعة إلى مرة واحدة في اليوم. أفضل إرسال للفريق حتى الآن يعتبر بمثابة إرساله الحالي.

بمجرد نجاح أحد الفرق في تحسين RMSE بنسبة 10% أو أكثر، ستصدر لجنة التحكيم مكالمة أخيرة ، مما يمنح جميع الفرق 30 يومًا لإرسال طلباتهم. عندها فقط، طُلب من الفريق صاحب أفضل إرسال وصف الخوارزمية، وكود المصدر، والترخيص غير الحصري، وبعد التحقق الناجح؛ أعلن الفائز بالجائزة الكبرى.

وستستمر المسابقة حتى إعلان الفائز بالجائزة الكبرى. ولو لم يحصل أحد على الجائزة الكبرى، لكانت قد استمرت لمدة خمس سنوات على الأقل (حتى 2 أكتوبر 2011). وبعد ذلك التاريخ، كان من الممكن إنهاء المسابقة في أي وقت وفقًا لتقدير Netflix وحدها.

التقدم على مر السنين

بدأت المنافسة في 2 أكتوبر 2006. وبحلول 8 أكتوبر، كان فريق يُدعى WXYZConsulting قد تغلب بالفعل على نتائج Cinematch. [8]

بحلول 15 أكتوبر، كانت هناك ثلاثة فرق قد تغلبت على Cinematch، أحدهم بنسبة 1.06%، وهو ما يكفي للتأهل لجائزة التقدم السنوية. [9] بحلول يونيو 2007، كان أكثر من 20.000 فريق قد سجلوا للمشاركة في المسابقة من أكثر من 150 دولة. قدم 2000 فريق ما يزيد عن 13000 مجموعة تنبؤات. [3]

خلال السنة الأولى من المسابقة، حصل عدد قليل من المتسابقين الأوائل على المركز الأول. ومن أبرزها: [10]

  • WXYZConsulting، فريق من Wei Xu وYi Zhang. (المرشح الأول خلال الفترة من نوفمبر إلى ديسمبر 2006.)
  • ML@UToronto A، فريق من جامعة تورنتو بقيادة البروفيسور جيفري هينتون . (المرشح الأول خلال أجزاء من أكتوبر إلى ديسمبر 2006.)
  • الجاذبية، فريق من أربعة علماء من جامعة بودابست للتكنولوجيا (المرشح الأول خلال الفترة من يناير إلى مايو 2007).
  • BellKor، مجموعة من العلماء من مختبرات AT&T . (العداء الأول منذ مايو 2007.)
  • كوكب الديناصورات، فريق من ثلاثة طلاب جامعيين من جامعة برينستون . (العداء الأول في 3 سبتمبر 2007 لمدة ساعة واحدة قبل أن يستعيد بيلكور الصدارة.)

في 12 أغسطس 2007، اجتمع العديد من المتسابقين في كأس وورشة عمل KDD 2007، الذي أقيم في سان خوسيه، كاليفورنيا . [11] خلال ورشة العمل، عرضت الفرق الأربعة الأولى على لوحة المتصدرين في ذلك الوقت تقنياتها. فاز فريق IBM Research — Yan Liu، وSaharon Rosset، وClaudia Perlich، وZhenzhen Kou — بالمركز الثالث في المهمة 1 والمركز الأول في المهمة 2.

خلال السنة الثانية من المسابقة، وصلت ثلاثة فرق فقط إلى المركز الأول:

  • BellKor، مجموعة من العلماء من مختبرات AT&T . (المتصدر خلال الفترة من مايو 2007 إلى سبتمبر 2008.)
  • BigChaos، فريق من العلماء النمساويين من شركة أبحاث واستشارات الثناء (الفريق الأول منذ أكتوبر 2008)
  • BellKor في BigChaos، فريق مشترك من فريقين فرديين رائدين (العداء الأول منذ سبتمبر 2008)

جائزة التقدم 2007

في 2 سبتمبر 2007، دخلت المسابقة فترة "الاستدعاء الأخير" لجائزة التقدم لعام 2007. وقد شارك في المسابقة أكثر من 40 ألف فريق من 186 دولة. كان لديهم ثلاثين يومًا لتقديم العروض للنظر فيها. في بداية هذه الفترة كان الفريق الرائد هو BellKor، بمتوسط ​​RMSE قدره 0.8728 (تحسن بنسبة 8.26%)، يليه Dinosaur Planet (RMSE = 0.8769؛ تحسن بنسبة 7.83%)، [12] وGravity (RMSE = 0.8785؛ تحسن بنسبة 7.66% ) . ). في الساعة الأخيرة من فترة المكالمة الأخيرة، احتل إدخال "KorBell" المركز الأول. تبين أن هذا هو الاسم البديل لفريق BellKor. [13]

في 13 نوفمبر 2007، تم إعلان فوز فريق KorBell (المعروف سابقًا باسم BellKor) بجائزة التقدم البالغة 50000 دولار أمريكي مع RMSE قدره 0.8712 (تحسن بنسبة 8.43%). [14] يتكون الفريق من ثلاثة باحثين من مختبرات AT&T ، وهم يهودا كورين، وروبرت بيل، وكريس فولينسكي. [15] كما هو مطلوب، قاموا بنشر وصف للخوارزمية الخاصة بهم. [16]

جائزة التقدم 2008

مُنحت جائزة التقدم لعام 2008 إلى فريق BellKor. تم دمج تقديمهم مع فريق مختلف، وحققت BigChaos قيمة RMSE تبلغ 0.8616 مع 207 مجموعة تنبؤية. [17] يتكون الفريق المشترك من باحثين من شركة كومندو للأبحاث والاستشارات GmbH، أندرياس توشر ومايكل ياهرر (فريق BigChaos في الأصل) وثلاثة باحثين من AT&T Labs ، يهودا كورين، روبرت بيل، وكريس فولينسكي (فريق BellKor في الأصل). [18] كما هو مطلوب، قاموا بنشر وصف للخوارزمية الخاصة بهم. [19] [20]

كانت هذه هي جائزة التقدم النهائية لأن الحصول على التحسين المطلوب بنسبة 1% مقارنة بجائزة التقدم لعام 2008 سيكون كافيًا للتأهل للحصول على الجائزة الكبرى. تم التبرع بأموال الجائزة للجمعيات الخيرية التي اختارها الفائزون.

2009

في 26 يونيو 2009، حقق فريق "BellKor's Pragmatic Chaos"، وهو عبارة عن اندماج فريقي "Bellkor in BigChaos" و"Pragmatic Theory"، تحسنًا بنسبة 10.05% على Cinematch (اختبار RMSE قدره 0.8558). ثم دخلت مسابقة جائزة Netflix في فترة "المكالمة الأخيرة" للجائزة الكبرى. وفقًا للقواعد، كان لدى الفرق ثلاثون يومًا، حتى 26 يوليو 2009، الساعة 18:42:37 بالتوقيت العالمي المنسق، لتقديم الطلبات التي سيتم أخذها في الاعتبار للحصول على هذه الجائزة. [21]

في 25 يوليو 2009، حقق فريق "The Ensemble"، وهو عبارة عن اندماج بين فريقي "Grand Award Team" و"Opera Solutions وVandelay United"، تحسنًا بنسبة 10.09% على Cinematch (اختبار RMSE قدره 0.8554). [22] [23]

في 26 يوليو 2009، توقفت Netflix عن جمع الطلبات لمسابقة جائزة Netflix. [24]

أظهر الوضع النهائي للوحة المتصدرين في ذلك الوقت أن فريقين قد استوفيا الحد الأدنى من متطلبات الجائزة الكبرى. "The Ensemble" مع تحسن بنسبة 10.10% على Cinematch في المجموعة المؤهلة (اختبار RMSE قدره 0.8553)، و"BellKor's Pragmatic Chaos" مع تحسن بنسبة 10.09% على Cinematch في المجموعة المؤهلة (اختبار RMSE قدره 0.8554). [25] [26] كان الفائز بالجائزة الكبرى هو صاحب الأداء الأفضل في مجموعة الاختبار.

في 18 سبتمبر 2009، أعلنت Netflix عن فوز فريق "BellKor's Pragmatic Chaos" بالجائزة (اختبار RMSE قدره 0.8567)، وتم منح الجائزة للفريق في حفل أقيم يوم 21 سبتمبر 2009 . قام الفريق بمطابقة نتيجة BellKor، ولكن بما أن BellKor قدم نتائجه قبل 20 دقيقة، فإن القواعد تمنح الجائزة لـ BellKor. [23] [28]

يتكون الفريق المشترك "BellKor's Pragmatic Chaos" من باحثين نمساويين من شركة Commendo Research & Consulting GmbH، أندرياس توشر ومايكل ياهرر (فريق BigChaos في الأصل)، وباحثين من AT&T Labs ، روبرت بيل، وكريس فولينسكي، ويهودا كورين من Yahoo! (في الأصل فريق BellKor) واثنين من الباحثين من النظرية البراغماتية، مارتن بيوت ومارتن شابيرت. [29] كما هو مطلوب، قاموا بنشر وصف للخوارزمية الخاصة بهم. [30]

أفاد الفريق بأنه حقق "جوائز الشرف المشكوك فيها" ( هكذا Netflix) لأسوأ RMSE في مجموعات بيانات الاختبار والاختبار من بين 44.014 طلبًا مقدمًا من 5.169 فريقًا، كان "Lanterne Rouge" بقيادة JM Linacre، والذي كان أيضًا عضو في فريق "الفرقة".

تتمة ملغاة

في 12 مارس 2010، أعلنت نتفليكس أنها لن تتابع مسابقة الجائزة الثانية التي أعلنت عنها في أغسطس الماضي. وجاء القرار ردًا على دعوى قضائية ومخاوف تتعلق بالخصوصية لدى لجنة التجارة الفيدرالية. [31]

مخاوف الخصوصية

على الرغم من أن مجموعات البيانات تم إنشاؤها للحفاظ على خصوصية العملاء، إلا أن الجائزة تعرضت لانتقادات من قبل المدافعين عن الخصوصية. في عام 2007، تمكن باحثان من جامعة تكساس في أوستن من تحديد المستخدمين الفرديين من خلال مطابقة مجموعات البيانات مع تصنيفات الأفلام على قاعدة بيانات الأفلام على الإنترنت . [32] [33]

في 17 ديسمبر 2009، رفع أربعة من مستخدمي Netflix دعوى قضائية جماعية ضد Netflix، زاعمين أن Netflix قد انتهكت قوانين التجارة العادلة الأمريكية وقانون حماية خصوصية الفيديو من خلال نشر مجموعات البيانات. [34] كان هناك نقاش عام حول الخصوصية للمشاركين في البحث . في 19 مارس 2010، توصلت Netflix إلى تسوية مع المدعين، وبعد ذلك رفضوا الدعوى طوعًا.

أنظر أيضا

مراجع

  1. ^ “قواعد جائزة Netflix” (PDF) . مؤرشفة من الأصلي (PDF) بتاريخ 2020-05-10 . تم الاسترجاع 2019-11-06 .
  2. ^ اي بي سي “جائزة نيتفليكس”. مؤرشفة من الأصلي بتاريخ 24-09-2009 . تم الاسترجاع 2012/07/09 .
  3. ^ أب جيمس بينيت. ستان لانينج (12 أغسطس 2007). “جائزة نيتفليكس” (PDF) . وقائع كأس وورشة عمل KDD 2007 . مؤرشفة من الأصلي (PDF) في 27 سبتمبر 2007 . تم الاسترجاع 2007-08-25 .
  4. ^ المنحنى السيني (2006-10-08). "كملكة جمال". منتدى جائزة نيتفليكس . مؤرشفة من الأصلي بتاريخ 2012-02-06 . تم الاسترجاع 2007-08-25 .
  5. ^ معجزة (2006-10-06). “عميل واحد قام بتقييم 17000 فيلم”. منتدى جائزة نيتفليكس . مؤرشفة من الأصلي بتاريخ 2012-02-06 . تم الاسترجاع 2007-08-25 .
  6. ^ يهودا كورين (2007-12-18). “ما مدى فائدة انخفاض RMSE؟”. منتدى جائزة نيتفليكس . مؤرشفة من الأصلي بتاريخ 2012-02-06.
  7. ^ “الأسئلة المتداولة حول جائزة Netflix”. مؤرشفة من الأصلي بتاريخ 21-08-2007 . تم الاسترجاع 2007-08-21 .
  8. ^ “تصنيفات جوائز Netflix”. اختراق نتفلكس . 9 أكتوبر 2006. مؤرشفة من الأصلي بتاريخ 30-10-2006 . تم الاسترجاع 2007-08-21 .
  9. ^ “جائزة Netflix (حاولت المقاومة ولكن …)”. مدونة جوهو سنيلمان . 15 أكتوبر 2006 . تم الاسترجاع 2007-08-21 .
  10. ^ “أهم المتنافسين على جائزة التقدم لعام 2007”.
  11. ^ “كأس وورشة عمل KDD 2007”.
  12. ^ “كوكب الديناصورات”. 2022-12-08.
  13. ^ المشرف (2022-08-28). “الفوضى البراغماتية لـ BellKor تفوز بجائزة Netflix بقيمة مليون دولار في مجرد دقائق”. كثافة السكان . تم الاسترجاع بتاريخ 28-08-2022 .
  14. ^ برايزماستر (2007-11-13). “جائزة التقدم من Netflix لعام 2007 تُمنح لفريق KorBell”. منتدى جائزة نيتفليكس . مؤرشفة من الأصلي بتاريخ 2012-02-06.
  15. ^ “تم منح جائزة التقدم بقيمة 50000 دولار في الذكرى السنوية الأولى لجائزة Netflix بقيمة مليون دولار”. نيتفليكس .
  16. ^ ر. بيل. واي كورين؛ جيم فولينسكي (2007). “حل BellKor لجائزة Netflix”. سيتيسيركس 10.1.1.142.9009 . 
  17. ^ روبرت بيل. يهودا كورين؛ كريس فولينسكي (2008-12-10). "حل BellKor 2008 لجائزة Netflix" (PDF) . منتدى جائزة نيتفليكس .
  18. ^ “جائزة Netflix للتقدم بقيمة 50000 دولار أمريكي في السنة الثانية من مسابقة جائزة Netflix متعددة الجنسيات والمتعددة السنوات”. مؤرشفة من الأصلي بتاريخ 30-06-2009 . تم الاسترجاع 2009-06-22 .
  19. ^ أ. توشر؛ م. جهرر (2008). "حل BigChaos لجائزة Netflix لعام 2008" (PDF) . مؤرشفة من الأصلي (PDF) بتاريخ 2012-02-16 . تم الاسترجاع 2009-06-24 .
  20. ^ ر. بيل. واي كورين؛ جيم فولينسكي (2008). "حل BellKor لجائزة Netflix لعام 2008" (PDF) . مؤرشفة من الأصلي (PDF) بتاريخ 2012-02-16 . تم الاسترجاع 2009-06-24 .
  21. ^ “الفوضى البراغماتية لـ BellKor”. 2009-06-26.
  22. ^ “الفرقة”. 2022-12-08. مؤرشفة من الأصلي بتاريخ 27-12-2014.
  23. ^ أ ب “لوحة المتصدرين لجائزة Netflix”. 2009-07-26. مؤرشف من الأصل بتاريخ 13-12-2013 . تم الاسترجاع 2013/12/09 .
  24. ^ “المسابقة مغلقة”. 2009-07-26. مؤرشفة من الأصلي بتاريخ 28-07-2009 . تم الاسترجاع 2009-07-27 .
  25. ^ ليستر ماكي (2022-12-08). “العد التنازلي النهائي للتقديم”. مؤرشفة من الأصلي بتاريخ 27-12-2014.
  26. ^ “جائزة Netflix تأتي إلى لعبة Buzzer-Beater و Nailbiting Finish”. 2009-07-26.
  27. ^ “الجائزة الكبرى تُمنح لفريق BellKor’s Pragmatic Chaos”. منتدى جائزة نيتفليكس. 2009-09-21. مؤرشفة من الأصلي بتاريخ 2012-05-07.
  28. ^ ستيف لوهر (2009-09-21). “صفقة بحثية بقيمة مليون دولار لـ Netflix وربما نموذجًا للآخرين”. نيويورك تايمز .
  29. ^ “Netflix تمنح جائزة Netflix بقيمة مليون دولار وتعلن عن التحدي الثاني بقيمة مليون دولار”. مؤرشفة من الأصلي بتاريخ 25-09-2009 . تم الاسترجاع 2009-09-24 .
  30. ^ أندرياس توشر ومايكل ياهرر (2009-09-05). "حل BigChaos لجائزة Netflix الكبرى" (PDF) . الأبحاث والاستشارات الثناء . تم الاسترجاع بتاريخ 2022-11-02 .
  31. ^ “تحديث جائزة Netflix”. منتدى جائزة نيتفليكس. 2010-03-12.
  32. ^ نارايانان ، أرفيند. شماتيكوف، فيتالي (2006). “كيفية كسر عدم الكشف عن هويته لمجموعة بيانات جائزة Netflix”. أرخايف : CS/0610105 .
  33. ^ ديميرجيان ، ديف (15 مارس 2007). “صعود قراصنة Netflix”. Wired.com . سلكي . تم الاسترجاع 13 ديسمبر 2014 .
  34. ^ سينجل ، ريان. “Netflix Spilled سر جبل بروكباك الخاص بك ، مطالبات الدعوى القضائية”. سلكي . تم الاسترجاع في 11 أغسطس 2017 .

روابط خارجية

  • الموقع الرسمي
  • جائزة Netflix على RecSysWiki
  • كيت جرين (2006/10/06). “تحدي Netflix بقيمة مليون دولار”. مراجعة التكنولوجيا .
  • روبرت م. بيل؛ جيم بينيت؛ يهودا كورين وكريس فولينسكي (مايو 2009). “جائزة البرمجة المليون دولار”. IEEE الطيف . مؤرشف من الأصل في 11-05-2009 . تم الاسترجاع 2009-05-08 .
  • إخفاء الهوية بشكل قوي لمجموعات البيانات المتفرقة الكبيرة بواسطة أرفيند نارايانان وفيتالي شماتيكوف
  • روبرت إم بيل ويهودا كورين وكريس فولينسكي (2010)، "الجميع معًا الآن: منظور حول جائزة NETFLIX"، فرصة ، 23 (1): 24، دوى : 10.1007/s00144-010-0005-2
  • أندريه فيورفيرجر؛ يو هي وشاشي خاتري (2012)، “الأهمية الإحصائية لتحدي Netflix”، العلوم الإحصائية ، 27 (2): 202–231، أرخايف : 1207.5649 ، دوى :10.1214/11-STS368، S2CID  43556443
  • جائزة Netflix بقيمة مليون دولار - لم تستخدم Netflix أبدًا خوارزمية المليون دولار بسبب التكاليف الهندسية (2009) - Saint
0.092917919158936