تعليم غير مشرف عليه

From Wikipedia, the free encyclopedia

التعلم غير الخاضع للإشراف هو نوع من الخوارزمية التي تتعلم الأنماط من البيانات غير المميزة. الهدف هو أنه من خلال المحاكاة ، وهي طريقة مهمة للتعلم لدى الناس ، تضطر الآلة إلى بناء تمثيل موجز لعالمها ومن ثم إنشاء محتوى تخيلي منه.

على النقيض من التعلم الخاضع للإشراف حيث يتم وضع علامة على البيانات من قبل خبير ، على سبيل المثال يتم تمييزها على أنها "كرة" أو "سمكة" ، تُظهر الطرق غير الخاضعة للإشراف التنظيم الذاتي الذي يلتقط أنماطًا كثافات احتمالية [1] أو مجموعة من تفضيلات السمات العصبية المشفرة في أوزان الماكينة والتنشيطات. المستويات الأخرى في طيف الإشراف هي التعلم المعزز حيث يتم إعطاء الآلة درجة أداء رقمية فقط كدليل ، وتعلم شبه خاضع للإشراف حيث يتم تمييز جزء صغير من البيانات.

الشبكات العصبية

المهام مقابل الطرق

الميل لمهمة ما لاستخدام الأساليب الخاضعة للإشراف مقابل الأساليب غير الخاضعة للإشراف. أسماء المهام المتداخلة حدود الدوائر متعمدة. إنه يوضح أن التقسيم الكلاسيكي للمهام التخيلية (على اليسار) باستخدام أساليب غير خاضعة للإشراف غير واضح في مخططات التعلم اليوم.

غالبًا ما يتم تصنيف مهام الشبكة العصبية على أنها تمييزية (التعرف) أو توليدية (خيال). في كثير من الأحيان ولكن ليس دائمًا ، تستخدم المهام التمييزية طرقًا خاضعة للإشراف وتستخدم المهام التوليدية بدون إشراف (انظر مخطط فين ) ؛ ومع ذلك ، فإن الفصل ضبابي للغاية. على سبيل المثال ، يفضل التعرف على الكائنات التعلم الخاضع للإشراف ولكن التعلم غير الخاضع للإشراف يمكنه أيضًا تجميع الكائنات في مجموعات. علاوة على ذلك ، مع تقدم التقدم ، تستخدم بعض المهام كلا الطريقتين ، وتتأرجح بعض المهام من واحدة إلى أخرى. على سبيل المثال ، بدأ التعرف على الصور باعتباره خاضعًا للإشراف الشديد ، ولكنه أصبح هجينًا من خلال استخدام تدريب مسبق غير خاضع للإشراف ، ثم انتقل إلى الإشراف مرة أخرى مع ظهور معدلات التسرب والتعلم والتكيف .

تدريب

أثناء مرحلة التعلم ، تحاول الشبكة غير الخاضعة للإشراف تقليد البيانات التي تقدمها وتستخدم الخطأ في مخرجاتها المحاكية لتصحيح نفسها (أي تصحيح أوزانها وتحيزاتها). في بعض الأحيان يتم التعبير عن الخطأ على أنه احتمال منخفض لحدوث ناتج خاطئ ، أو يمكن التعبير عنه كحالة طاقة عالية غير مستقرة في الشبكة.

على النقيض من الاستخدام السائد للطرق الخاضعة للإشراف للانتشار العكسي ، فإن التعلم غير الخاضع للإشراف يستخدم أيضًا طرقًا أخرى بما في ذلك: قاعدة هوبفيلد التعليمية ، وقاعدة التعلم بولتزمان ، والتباعد التباين ، والاستيقاظ في النوم ، والاستدلال المتغير ، والاحتمالية القصوى ، والحد الأقصى للرجوع الخلفي ، وأخذ عينات جيبس ​​، وأخطاء إعادة البناء العكسية. أو إصلاحات الحالة الخفية. انظر الجدول أدناه لمزيد من التفاصيل.

الطاقة

وظيفة الطاقة هي مقياس مجهري لحالة تنشيط الشبكة. في آلات Boltzmann ، تلعب دور وظيفة التكلفة. هذا التشابه مع الفيزياء مستوحى من تحليل لودفيج بولتزمان للطاقة العيانية للغاز من الاحتمالات المجهرية لحركة الجسيمات، حيث k هي ثابت بولتزمان و T هي درجة الحرارة. في شبكة RBM ، تكون العلاقة، [2] أينوتختلف باختلاف كل نمط تنشيط ممكن و. كي تكون اكثر دقة،، أينهو نمط تنشيط لجميع الخلايا العصبية (المرئية والمخفية). ومن ثم ، فإن الشبكات العصبية المبكرة تحمل اسم Boltzmann Machine. مكالمات بول سمولينسكيالانسجام . _ تسعى الشبكة إلى طاقة منخفضة وهو تناغم عالٍ.

الشبكات

يوضح هذا الجدول مخططات الاتصال لشبكات مختلفة غير خاضعة للإشراف ، وسيتم تقديم تفاصيلها في قسم مقارنة الشبكات. الدوائر عبارة عن خلايا عصبية والحواف بينها أوزان اتصال. مع تغير تصميم الشبكة ، تتم إضافة الميزات لتمكين الإمكانات الجديدة أو إزالتها لجعل التعلم أسرع. على سبيل المثال ، تتغير الخلايا العصبية بين القطعية (Hopfield) و Stochastic (Boltzmann) للسماح بإخراج قوي ، تتم إزالة الأوزان داخل طبقة (RBM) لتسريع التعلم ، أو يُسمح للوصلات بأن تصبح غير متماثلة (Helmholtz).

هوبفيلد بولتزمان RBM مكدسة بولتزمان
شبكة تعتمد على المجالات المغناطيسية في الحديد بطبقة واحدة متصلة ذاتيا. يمكن استخدامه كذاكرة محتوى قابلة للتوجيه.
يتم فصل الشبكة إلى طبقتين (مخفية مقابل مرئية) ، ولكن لا تزال تستخدم أوزانًا متماثلة ثنائية الاتجاه. بعد الديناميكا الحرارية لبولتزمان ، تؤدي الاحتمالات الفردية إلى نشوء طاقات عيانية.
آلة بولتزمان المقيدة. هذه آلة Boltzmann حيث يُحظر التوصيلات الجانبية داخل طبقة لجعل التحليل قابلاً للتتبع.
تحتوي هذه الشبكة على العديد من RBM لتشفير تسلسل هرمي من الميزات المخفية. بعد تدريب RBM واحد ، تتم إضافة طبقة مخفية زرقاء أخرى (انظر RBM الأيسر) ، ويتم تدريب الطبقتين العلويتين على أنهما RBM باللونين الأحمر والأزرق. وبالتالي ، فإن الطبقات الوسطى من RBM تعمل كطبقة مخفية أو مرئية ، اعتمادًا على مرحلة التدريب التي تمر بها.
هيلمهولتز المشفر التلقائي قدم
بدلاً من الاتصال المتماثل ثنائي الاتجاه لآلات Boltzmann المكدسة ، لدينا اتصالات منفصلة أحادية الاتجاه لتشكيل حلقة. يفعل كل من الجيل والتمييز.
شبكة تغذية متقدمة تهدف إلى إيجاد تمثيل جيد للطبقة الوسطى لعالم المدخلات الخاص بها. هذه الشبكة حتمية ، لذا فهي ليست قوية مثل خليفتها VAE.
يطبق الاستدلال المتغير على المشفر التلقائي. الطبقة الوسطى عبارة عن مجموعة من المتوسطات والمتغيرات لتوزيعات جاوس. تسمح الطبيعة العشوائية بخيال أكثر قوة من المشفر التلقائي الحتمي.

من بين الشبكات التي تحمل أسماء الأشخاص ، عمل هوبفيلد فقط بشكل مباشر مع الشبكات العصبية. جاء بولتزمان وهيلمهولتز قبل الشبكات العصبية الاصطناعية ، لكن عملهما في الفيزياء وعلم وظائف الأعضاء ألهم الأساليب التحليلية المستخدمة.

التاريخ

1969 يُظهر Perceptrons بواسطة Minsky & Papert مستشعرًا بدون طبقات مخفية يفشل على XOR
السبعينيات (تواريخ تقريبية) أول شتاء للذكاء الاصطناعي
1974 نموذج مغناطيسي اقترحه WA Little للإدراك
1980 أدخلت فوكوشيما النيوكونيترون ، والذي سمي لاحقًا بالشبكة العصبية الالتفافية. يتم استخدامه في الغالب في لغة SL ، ولكنه يستحق الذكر هنا.
1982 يتم وصف شبكة Hopfield المتغيرة بأنها CAMs والمصنفات بواسطة John Hopfield.
1983 تصنيع آلة Boltzmann المتغيرة مع الخلايا العصبية الاحتمالية التي وصفها Hinton & Sejnowski بعد عمل Sherington & Kirkpatrick لعام 1975.
1986 ينشر بول سمولينسكي نظرية الانسجام ، وهي عبارة عن RBM مع نفس وظيفة طاقة بولتزمان تقريبًا. لم يقدم سمولينسكي مخطط تدريب عملي. فعل هينتون في منتصف العقد الأول من القرن الحادي والعشرين
1995 يقدم Schmidthuber الخلايا العصبية LSTM للغات.
1995 يقدم Dayan & Hinton آلة Helmholtz
1995-2005 (تواريخ تقريبية) شتاء الذكاء الاصطناعي الثاني
2013 Kingma و Rezende وشركاه. قدم المشفرات التلقائية المتغيرة كشبكة احتمالية رسومية بايزية ، مع الشبكات العصبية كمكونات.

شبكات محددة

هنا ، نسلط الضوء على بعض خصائص الشبكات المختارة. وترد تفاصيل كل منها في جدول المقارنة أدناه.

شبكة هوبفيلد
ألهمت المغناطيسية الحديدية شبكات هوبفيلد. تتوافق الخلية العصبية مع مجال حديدي مع لحظات مغناطيسية ثنائية لأعلى ولأسفل ، وتتوافق الاتصالات العصبية مع تأثير المجال على بعضها البعض. تتيح الوصلات المتماثلة صياغة طاقة عالمية. أثناء الاستدلال ، تقوم الشبكة بتحديث كل حالة باستخدام وظيفة خطوة التنشيط القياسية. تضمن الأوزان المتماثلة ووظائف الطاقة المناسبة التقارب مع نمط تنشيط مستقر. يصعب تحليل الأوزان غير المتماثلة. تُستخدم شبكات Hopfield كذكريات عنونة المحتوى (CAM).
آلة بولتزمان
هذه هي شبكات هوبفيلد العشوائية. يتم أخذ عينات من قيمة الحالة الخاصة بهم من ملف pdf هذا على النحو التالي: افترض أن الخلايا العصبية الثنائية حرائق مع احتمال برنولي p (1) = 1/3 وتستقر مع p (0) = 2/3. عينة واحدة منه عن طريق أخذ رقم عشوائي موزع UNIFORMLY y ، وتوصيله بوظيفة التوزيع التراكمي المقلوب ، والتي في هذه الحالة هي عتبة دالة الخطوة عند 2/3. الدالة العكسية = {0 if x <= 2/3، 1 if x> 2/3}
شبكة الاعتقاد السيني
قدمها Radford Neal في عام 1992 ، هذه الشبكة تطبق أفكارًا من النماذج الرسومية الاحتمالية إلى الشبكات العصبية. يتمثل الاختلاف الرئيسي في أن العقد في النماذج الرسومية لها معاني محددة مسبقًا ، في حين يتم تحديد ميزات Belief Net neurons بعد التدريب. الشبكة عبارة عن رسم بياني لا دوري موجه بشكل ضئيل يتكون من الخلايا العصبية العشوائية الثنائية. تأتي قاعدة التعلم من أقصى احتمال في p (X): Δw ij s j * (s i - p i ) ، حيث p i = 1 / (1 + e مدخلات مرجحة في الخلايا العصبية أنا ). s j هي عمليات تنشيط من عينة غير متحيزة للتوزيع اللاحق وهذا يمثل مشكلة بسبب مشكلة التفسير بالخارج التي أثارتها Judea Perl. تستخدم طرق بايز المتغيرة خلفية بديلة وتتجاهل بشكل صارخ هذا التعقيد.
شبكة المعتقدات العميقة
تم تقديم هذه الشبكة بواسطة Hinton ، وهي عبارة عن مزيج من شبكة RBM و Sigmoid Belief Network. الطبقتان العلويتان عبارة عن RBM والطبقة الثانية للأسفل تشكل شبكة اعتقاد سيني. يقوم أحدهم بتدريبه بواسطة طريقة RBM المكدسة ثم التخلص من أوزان التعرف الموجودة أسفل أعلى RBM. اعتبارًا من عام 2009 ، يبدو أن 3-4 طبقات هي العمق الأمثل. [3]
آلة هيلمهولتز
هذه هي الإلهام المبكر لأجهزة التشفير التلقائي المتغيرة. إنها شبكتان مدمجتان في شبكة واحدة - تعمل الأوزان الأمامية على التعرف والأوزان الخلفية تنفذ التخيل. ربما تكون أول شبكة تقوم بالأمرين معًا. لم يعمل هيلمهولتز في التعلم الآلي لكنه ألهم وجهة نظر "محرك الاستدلال الإحصائي الذي تتمثل وظيفته في استنتاج الأسباب المحتملة للمدخلات الحسية" (3). تُخرج الخلايا العصبية الثنائية العشوائية احتمالية أن تكون حالتها 0 أو 1. لا يُعتبر إدخال البيانات عادةً طبقة ، ولكن في وضع إنشاء آلة Helmholtz ، تتلقى طبقة البيانات مدخلات من الطبقة الوسطى لها أوزان منفصلة لهذا الغرض ، لذلك تعتبر طبقة. ومن هنا تتكون هذه الشبكة من 3 طبقات.
المشفر التلقائي المتغير
هذه مستوحاة من آلات Helmholtz وتجمع بين شبكة الاحتمالات والشبكات العصبية. إن Autoencoder عبارة عن شبكة CAM من 3 طبقات ، حيث من المفترض أن تكون الطبقة الوسطى عبارة عن تمثيل داخلي لأنماط الإدخال. الشبكة العصبية للتشفير هي توزيع احتمالي q φ (z معطى x) وشبكة مفكك التشفير هي p θ (x معطى z). تسمى الأوزان phi & theta بدلاً من W و V كما هو الحال في Helmholtz - وهو اختلاف تجميلي. يمكن توصيل هاتين الشبكتين هنا بشكل كامل ، أو استخدام مخطط NN آخر.

مقارنة الشبكات

هوبفيلد بولتزمان RBM مكدسة RBM هيلمهولتز المشفر التلقائي قدم
الاستخدام والأعيان CAM ، مشكلة بائع متجول كام. تجعل حرية الاتصالات من الصعب تحليل هذه الشبكة. التعرف على الأنماط. المستخدمة في أرقام MNIST والكلام. الاعتراف والخيال. تم تدريبه مع التدريب المسبق غير الخاضع للإشراف و / أو الضبط الدقيق الخاضع للإشراف. الخيال والتقليد اللغة: كتابة إبداعية ، ترجمة. الرؤية: تحسين الصور الباهتة توليد بيانات واقعية
عصبون حالة ثنائية حتمية. التنشيط = {0 (أو -1) إذا كانت x سلبية ، و 1 بخلاف ذلك} العشوائية الثنائية هوبفيلد الخلايا العصبية ← نفسه. (امتدت إلى القيمة الحقيقية في منتصف العقد الأول من القرن الحادي والعشرين) ← نفسه ← نفسه اللغة: LSTM. الرؤية: المجالات المحلية المتقبلة. عادة تنشيط relu القيمة الحقيقية. الخلايا العصبية للطبقة الوسطى ترميز الوسائل والتباينات لغاوسيين. في وضع التشغيل (الاستدلال) ، يكون ناتج الطبقة الوسطى عبارة عن قيم مأخوذة من Gaussians.
روابط طبقة واحدة ذات أوزان متماثلة. لا اتصالات ذاتية. 2-طبقات. 1-مخفي & 1-مرئي. أوزان متماثلة. ← نفسه.
لا توجد اتصالات جانبية داخل طبقة.
الطبقة العليا غير موجهة ، متناظرة. الطبقات الأخرى ثنائية الاتجاه ، غير متماثلة. 3 طبقات: أوزان غير متماثلة. 2 شبكات مدمجة في 1. 3 طبقات. يعتبر الإدخال طبقة على الرغم من عدم احتوائه على أوزان واردة. الطبقات المتكررة للغة البرمجة اللغوية العصبية. تلافيف feedforward للرؤية. المدخلات والمخرجات لها نفس عدد الخلايا العصبية. 3 طبقات: مدخلات ، مشفر ، مفكك تشفير عينات التوزيع. لا يعتبر جهاز أخذ العينات طبقة (هـ)
الاستدلال والطاقة تعطى الطاقة من خلال مقياس احتمالية جيبس: ← نفسه ← نفسه تقليل الاختلاف KL الاستدلال هو فقط تغذية للأمام. ركضت شبكات UL السابقة للأمام والخلف تقليل الخطأ = خطأ إعادة البناء - KLD
تمرين Δw ij = s i * s j ، للخلايا العصبية + 1 / -1 Δw ij = e * (p ij - p ' ij ). هذا مشتق من تصغير KLD. e = معدل التعلم ، p '= المتوقع و p = التوزيع الفعلي. Δw ij = e * (<v i h j > البيانات - <v i h j > التوازن ). هذا شكل من أشكال الاختلاف التباين مع أخذ عينات جيبس. "<>" هي التوقعات. ← مماثل. تدريب طبقة واحدة في كل مرة. حالة توازن تقريبية بتمرير ثلاثي الأجزاء. لا التكاثر الخلفي. تدريب مرحلتين للاستيقاظ والنوم عودة نشر خطأ إعادة الإعمار إعادة معاملات الحالة المخفية لـ backprop
قوة يشبه الأنظمة الفيزيائية لذلك يرث معادلاتهم ← نفسه. تعمل الخلايا العصبية المخفية كتمثيل داخلي للعالم الخارجي برنامج تدريب عملي أسرع من آلات Boltzmann يتدرب بسرعة. يعطي طبقة هرمية من الميزات أقل ما يقال التشريحية. قابلة للتحليل مع نظرية المعلومات والميكانيكا الإحصائية
ضعف صعب التدريب بسبب الروابط الجانبية يتطلب التوازن الكثير من التكرارات تعد الخلايا العصبية ذات القيمة الصحيحة والصحيحة أكثر تعقيدًا.

Hebbian Learning، ART، SOM
المثال الكلاسيكي للتعلم غير الخاضع للإشراف في دراسة الشبكات العصبية هو مبدأ دونالد هب ، أي أن الخلايا العصبية التي تطلق معًا تتصل ببعضها البعض. [4] في التعلم Hebbian ، يتم تعزيز الاتصال بغض النظر عن الخطأ ، ولكنه حصريًا وظيفة للتزامن بين إمكانات الفعل بين العصبونين. [5] نسخة مماثلة تعدل الأوزان المشبكية تأخذ في الحسبان الوقت بين جهود الفعل ( اللدونة المعتمدة على توقيت الارتفاع أو STDP). تم الافتراض أن موقع Hebbian Learning هو الأساس لمجموعة من الوظائف المعرفية ، مثل التعرف على الأنماط والتعلم التجريبي.

من بين نماذج الشبكة العصبية ، تُستخدم خريطة التنظيم الذاتي (SOM) ونظرية الرنين التكيفي (ART) بشكل شائع في خوارزميات التعلم غير الخاضعة للإشراف. SOM هي منظمة طبوغرافية تمثل فيها المواقع القريبة في الخريطة مدخلات بخصائص مماثلة. يسمح نموذج ART بتغير عدد المجموعات حسب حجم المشكلة ويسمح للمستخدم بالتحكم في درجة التشابه بين أعضاء نفس المجموعات عن طريق ثابت يحدده المستخدم يسمى معلمة اليقظة. تُستخدم شبكات ART في العديد من مهام التعرف على الأنماط ، مثل التعرف التلقائي على الهدف ومعالجة الإشارات الزلزالية. [6]

الطرق الاحتمالية

اثنتان من الطرق الرئيسية المستخدمة في التعلم غير الخاضع للرقابة هما المكون الرئيسي وتحليل الكتلة . يستخدم تحليل الكتلة في التعلم غير الخاضع للإشراف لتجميع أو تقسيم مجموعات البيانات ذات السمات المشتركة من أجل استقراء العلاقات الحسابية. [7] التحليل العنقودي هو فرع من فروع التعلم الآلي الذي يجمع البيانات التي لم يتم تصنيفها أو تصنيفها أو تصنيفها. بدلاً من الاستجابة للتعليقات ، يحدد تحليل الكتلة القواسم المشتركة في البيانات ويتفاعل بناءً على وجود أو عدم وجود مثل هذه القواسم المشتركة في كل جزء جديد من البيانات. يساعد هذا الأسلوب في اكتشاف نقاط البيانات الشاذة التي لا تتناسب مع أي من المجموعتين.

التطبيق المركزي للتعلم غير الخاضع للإشراف هو في مجال تقدير الكثافة في الإحصاء ، [8] على الرغم من أن التعلم غير الخاضع للإشراف يشمل العديد من المجالات الأخرى التي تتضمن تلخيص وشرح ميزات البيانات. يمكن أن يتناقض مع التعلم الخاضع للإشراف بالقول أنه في حين أن التعلم الخاضع للإشراف يعتزم استنتاج توزيع احتمالي مشروط بشرط تسمية بيانات الإدخال ؛ يهدف التعلم غير الخاضع للإشراف إلى استنتاج توزيع احتمالي مسبق .

المناهج

تتضمن بعض الخوارزميات الأكثر شيوعًا المستخدمة في التعلم غير الخاضع للإشراف ما يلي: (1) التجميع ، (2) اكتشاف العيوب ، (3) مناهج تعلم النماذج المتغيرة الكامنة. يستخدم كل نهج عدة طرق على النحو التالي:

طريقة اللحظات

أحد الأساليب الإحصائية للتعلم غير الخاضع للإشراف هو طريقة اللحظات . في طريقة اللحظات ، ترتبط المعلمات غير المعروفة (ذات الأهمية) في النموذج بلحظات متغير عشوائي واحد أو أكثر ، وبالتالي ، يمكن تقدير هذه المعلمات غير المعروفة في ضوء اللحظات. عادة ما يتم تقدير اللحظات من العينات التجريبية. اللحظات الأساسية هي لحظات الترتيب الأول والثاني. بالنسبة للمتجه العشوائي ، تكون لحظة الترتيب الأول هي المتجه المتوسط ​​، ولحظة الرتبة الثانية هي مصفوفة التغاير (عندما يكون المتوسط ​​صفرًا). عادةً ما يتم تمثيل لحظات الترتيب الأعلى باستخدام الموترات التي هي تعميم المصفوفات على الرتب الأعلى كمصفوفات متعددة الأبعاد.

على وجه الخصوص ، تبين أن طريقة اللحظات فعالة في تعلم معلمات النماذج المتغيرة الكامنة . النماذج المتغيرة الكامنة هي نماذج إحصائية حيث بالإضافة إلى المتغيرات الملاحظة ، توجد أيضًا مجموعة من المتغيرات الكامنة التي لم يتم ملاحظتها. من الأمثلة العملية للغاية على النماذج المتغيرة الكامنة في التعلم الآلي هي نمذجة الموضوعوهو نموذج إحصائي لتوليد الكلمات (المتغيرات الملحوظة) في المستند بناءً على الموضوع (المتغير الكامن) في المستند. في نمذجة الموضوع ، يتم إنشاء الكلمات الموجودة في المستند وفقًا لمعايير إحصائية مختلفة عند تغيير موضوع المستند. يتضح أن طريقة اللحظات (تقنيات تحلل الموتر) تستعيد باستمرار معلمات فئة كبيرة من النماذج المتغيرة الكامنة في ظل بعض الافتراضات. [11]

تعد خوارزمية التوقع - التعظيم (EM) أيضًا واحدة من أكثر الطرق العملية لتعلم النماذج المتغيرة الكامنة. ومع ذلك ، يمكن أن تتعثر في أوبتيما المحلية ، وليس مضمونًا أن الخوارزمية ستتقارب مع المعلمات الحقيقية غير المعروفة للنموذج. في المقابل ، بالنسبة لطريقة اللحظات ، فإن التقارب العالمي مضمون في ظل بعض الظروف.

انظر أيضا

المراجع

  1. ^ هينتون وسيجنوفسكي 1999
  2. ^ هينتون ، ج. (2012). "دليل عملي لتدريب آلات Boltzmann المقيدة" (PDF) . الشبكات العصبية: حيل التجارة . مذكرات محاضرة في علوم الكمبيوتر. المجلد. 7700. سبرينغر. ص 599 - 619. دوى : 10.1007 / 978-3-642-35289-8_32 . رقم ISBN 978-3-642-35289-8.
  3. ^ هينتون ، جيفري (سبتمبر 2009). "شبكات الاعتقاد العميقة" (فيديو).
  4. ^ بوهمان ، ياء ؛ كونيل ، هـ. (1992). "تجميع البيانات غير الخاضعة للرقابة والإشراف مع الشبكات العصبية التنافسية". [إجراءات 1992] المؤتمر الدولي المشترك IJCNN حول الشبكات العصبية . المجلد. 4. IEEE. ص 796-801. دوى : 10.1109 / ijcnn.1992.227220 . رقم ISBN 0780305590. S2CID  62651220 .
  5. ^ كوميزانا كامبوس ، ألبرتو ؛ بوزا رودريغيز ، خوسيه بينيتو (يونيو 2016). "تطبيق تعلم Hebbian في عملية صنع القرار في عملية التصميم" . مجلة التصنيع الذكي . 27 (3): 487-506. دوى : 10.1007 / s10845-014-0881-z . ISSN 0956-5515 . S2CID 207171436 .  
  6. ^ كاربنتر ، GA & Grossberg ، S. (1988). "تقنية التعرف على الأنماط التكيفية بواسطة شبكة عصبية ذاتية التنظيم" (PDF) . كمبيوتر . 21 (3): 77-88. دوى : 10.1109 / 2.33.0000 . S2CID 14625094 .  
  7. ^ رومان ، فيكتور (2019-04-21). "التعلم الآلي غير الخاضع للإشراف: التحليل العنقودي" . متوسطة . تم الاسترجاع 2019/10/01 .
  8. ^ جوردان ، مايكل الأول ؛ الأسقف ، كريستوفر م. (2004). 7. الأنظمة الذكية - الشبكات العصبية. في تاكر ، ألين ب. (محرر). كتيب علوم الكمبيوتر (الطبعة الثانية). تشابمان وهال / مطبعة CRC. دوى : 10.1201 / 9780203494455 . رقم ISBN 1-58488-360-X.
  9. ^ هاستي ، تيبشيراني وفريدمان 485-586
  10. ^ غاربيد ، دكتور مايكل ج. (12 سبتمبر 2018). "فهم K- يعني المجموعات في التعلم الآلي" . متوسطة . تم الاسترجاع 2019-10-31 .
  11. ^ أناندكومار ، أنيماشري ؛ قه ، رونغ ؛ هسو ، دانيال. كاكادي الشام Telgarsky ، ماتوس (2014). "تحليلات الموتر لتعلم نماذج المتغيرات الكامنة" (PDF) . مجلة أبحاث التعلم الآلي . 15 : 2773 - 2832. arXiv : 1210.7559 . بيب كود : 2012arXiv1210.7559A .

قراءات إضافية