ذكاء اصطناعي ودود
جزء من سلسلة على |
الذكاء الاصطناعي |
---|
يشير الذكاء الاصطناعي الودي (أيضًا AI أو FAI ) إلى الذكاء الاصطناعي العام الافتراضي (AGI) الذي سيكون له تأثير إيجابي (حميد) على البشرية أو على الأقل يتماشى مع المصالح البشرية أو يساهم في تعزيز تحسين الجنس البشري. إنه جزء من أخلاقيات الذكاء الاصطناعي ويرتبط ارتباطًا وثيقًا بأخلاقيات الآلة . بينما تهتم أخلاقيات الآلة بالكيفية التي يجب أن يتصرف بها عامل الذكاء الاصطناعي ، تركز أبحاث الذكاء الاصطناعي الودية على كيفية إحداث هذا السلوك عمليًا والتأكد من تقييده بشكل مناسب.
علم أصل الكلمة والاستخدام
صاغ هذا المصطلح إليعازر يودكوفسكي ، [1] الذي اشتهر بترويج الفكرة ، [2] [3] لمناقشة العوامل الاصطناعية فائقة الذكاء التي تنفذ القيم الإنسانية بشكل موثوق. يصف كتاب الذكاء الاصطناعي الرائد لستيوارت ج. راسل وبيتر نورفيج ، الذكاء الاصطناعي: نهج حديث ، الفكرة: [2]
يقدم Yudkowsky (2008) مزيدًا من التفاصيل حول كيفية تصميم ذكاء اصطناعي صديق . ويؤكد أن الود (الرغبة في عدم إلحاق الأذى بالبشر) يجب أن يتم تصميمه منذ البداية ، ولكن يجب على المصممين أن يدركوا أن تصميماتهم قد تكون معيبة ، وأن الروبوت سوف يتعلم ويتطور بمرور الوقت. وبالتالي فإن التحدي يتمثل في تصميم الآلية - لتحديد آلية لتطوير أنظمة الذكاء الاصطناعي في ظل نظام من الضوابط والتوازنات ، وإعطاء وظائف الأداة المساعدة للأنظمة التي ستظل ودية في مواجهة مثل هذه التغييرات.
يتم استخدام كلمة "ودية" في هذا السياق كمصطلحات تقنية ، وتنتقي العوامل الآمنة والمفيدة ، وليس بالضرورة العوامل "الودودة" بالمعنى العامي. يتم استدعاء هذا المفهوم في المقام الأول في سياق المناقشات حول العوامل الاصطناعية التي تتحسن ذاتيًا بشكل متكرر والتي تنفجر بسرعة في الذكاء ، على أساس أن هذه التكنولوجيا الافتراضية سيكون لها تأثير كبير وسريع ويصعب السيطرة عليه على المجتمع البشري. [4]
مخاطر الذكاء الاصطناعي غير الودي
جذور القلق بشأن الذكاء الاصطناعي قديمة جدًا. أظهر Kevin LaGrandeur أن المخاطر الخاصة بالذكاء الاصطناعي يمكن رؤيتها في الأدبيات القديمة المتعلقة بالخدم الاصطناعي البشري مثل golem ، أو الروبوتات الأولية لـ Gerbert of Aurillac و Roger Bacon . في تلك القصص ، يتعارض الذكاء الشديد والقوة لهذه المخلوقات البشرية مع وضعهم كعبيد (والتي يُنظر إليها بطبيعتها على أنها دون البشر) ، وتسبب صراعًا كارثيًا. [5] بحلول عام 1942 ، دفعت هذه الموضوعات إسحاق أسيموف إلى إنشاء " القوانين الثلاثة للروبوتات"- مبادئ راسخة في جميع الروبوتات في خياله ، تهدف إلى منعهم من الانقلاب على صانعيهم ، أو السماح لهم بالتسبب في الأذى. [6]
في الأزمنة الحديثة مع اقتراب احتمال وجود ذكاء اصطناعي فائق الذكاء ، قال الفيلسوف نيك بوستروم إن أنظمة الذكاء الاصطناعي فائقة الذكاء ذات الأهداف التي لا تتماشى مع الأخلاق البشرية تعتبر خطيرة في جوهرها ما لم يتم اتخاذ تدابير صارمة لضمان سلامة البشرية. قالها على هذا النحو:
يجب أن نفترض أساسًا أن "الذكاء الخارق" سيكون قادرًا على تحقيق أي أهداف لديه. لذلك ، من المهم للغاية أن تكون الأهداف التي نمنحها لها ونظام التحفيز بأكمله "صديقة للإنسان".
في عام 2008 دعا Eliezer Yudkowsky إلى إنشاء "ذكاء اصطناعي صديق" للتخفيف من المخاطر الوجودية من الذكاء الاصطناعي المتقدم . يوضح: "إن الذكاء الاصطناعي لا يكرهك ولا يحبك ، لكنك مصنوع من ذرات يمكن أن يستخدمها لشيء آخر". [7]
يقول ستيف أوموهوندرو إن نظام الذكاء الاصطناعي المتقدم بدرجة كافية سيُظهر ، ما لم يتم التصدي له بشكل صريح ، عددًا من "المحركات" الأساسية ، مثل اكتساب الموارد ، والحفاظ على الذات ، والتحسين الذاتي المستمر ، بسبب الطبيعة الجوهرية لأي أنظمة مدفوعة بالهدف وأن محركات الأقراص هذه ، "بدون احتياطات خاصة" ، ستجعل الذكاء الاصطناعي يُظهر سلوكًا غير مرغوب فيه. [8] [9]
يقول ألكساندر ويسنر جروس إن أنظمة الذكاء الاصطناعي التي تدفعها إلى تعظيم حريتها المستقبلية في العمل (أو إنتروبيا المسار السببي) يمكن اعتبارها صديقة إذا كان أفق تخطيطها أطول من عتبة معينة ، وغير ودي إذا كان أفق التخطيط لديها أقصر من تلك العتبة. [10] [11]
يوصي Luke Muehlhauser ، الذي يكتب لمعهد أبحاث ذكاء الآلة ، بأن يتبنى باحثو أخلاقيات الآلة ما أطلق عليه Bruce Schneier "عقلية الأمان": بدلاً من التفكير في كيفية عمل النظام ، تخيل كيف يمكن أن يفشل. على سبيل المثال ، يقترح حتى أن الذكاء الاصطناعي الذي يقوم فقط بالتنبؤات الدقيقة ويتواصل عبر واجهة نصية قد يتسبب في ضرر غير مقصود. [12]
في عام 2014 ، شدد لوك مولهاوزر ونيك بوستروم على الحاجة إلى "ذكاء اصطناعي ودود". [13] ومع ذلك ، فإن الصعوبات في تصميم ذكاء خارق "ودود" ، على سبيل المثال من خلال برمجة التفكير الأخلاقي المضاد للواقع ، كبيرة. [14] [15]
إرادة متماسكة مستقراء
يودكوفسكي يطور نموذج الإرادة المتماسكة المستقراء (CEV). ووفقًا له ، فإن الإرادة المتماسكة المستقراء هي اختيارات الناس والإجراءات التي يمكن أن يتخذها الناس بشكل جماعي إذا "عرفنا أكثر وفكرنا بشكل أسرع ، كنا أكثر من كنا نتمنى أن نكون ، وكبرنا أكثر قربًا." [16]
بدلاً من تصميم ذكاء اصطناعي صديق بشكل مباشر من قبل المبرمجين البشريين ، يجب تصميمه بواسطة "ذكاء اصطناعي بذرة" مبرمج لدراسة الطبيعة البشرية أولاً ثم إنتاج الذكاء الاصطناعي الذي تريده البشرية ، مع إعطاء الوقت والبصيرة الكافيين ، للوصول إلى نتيجة مرضية إجابه. [16] مناشدة هدف من خلال الطبيعة البشرية الطارئة (ربما يتم التعبير عنها ، للأغراض الرياضية ، في شكل وظيفة منفعة أو شكلية نظرية القرار الأخرى ) ، باعتبارها توفر المعيار النهائي لـ "الود" ، هو إجابة على مشكلة ما وراء الأخلاق لتحديد الأخلاق الموضوعية؛ يُقصد بالإرادة المستقراء أن تكون ما تريده الإنسانية بموضوعية ، مع مراعاة جميع الأشياء ، ولكن لا يمكن تعريفها إلا بالنسبة للصفات النفسية والمعرفية للإنسانية الحالية غير المستنيرة.
مناهج أخرى
اقترح ستيف أوموهوندرو نهجًا "سقالات" لسلامة الذكاء الاصطناعي ، حيث يساعد جيل ذكاء اصطناعي آمن يمكن إثباته على بناء الجيل التالي الآمن الذي يمكن إثباته. [17]
يجادل سيث باوم بأن تطوير ذكاء اصطناعي آمن ومفيد اجتماعيًا أو ذكاءً عامًا اصطناعيًا هو وظيفة من وظائف علم النفس الاجتماعي لمجتمعات أبحاث الذكاء الاصطناعي ، وبالتالي يمكن تقييده من خلال تدابير خارجية ودوافعه من خلال التدابير الجوهرية. يمكن تقوية الدوافع الجوهرية عندما تلقى الرسائل صدى لدى مطوري الذكاء الاصطناعي ؛ يجادل باوم بأنه ، على النقيض من ذلك ، "لا يتم دائمًا صياغة الرسائل الحالية حول الذكاء الاصطناعي المفيد بشكل جيد". يدعو باوم إلى "العلاقات التعاونية والتأطير الإيجابي لباحثي الذكاء الاصطناعي" ويحذر من وصف الباحثين في مجال الذكاء الاصطناعي بأنهم "لا يريدون السعي وراء تصميمات مفيدة". [18]
في كتابه متوافق مع الإنسان ، يسرد باحث الذكاء الاصطناعي ستيوارت ج. راسل ثلاثة مبادئ لتوجيه تطوير الآلات المفيدة. ويؤكد أن هذه المبادئ لا يُقصد بها أن يتم ترميزها صراحةً في الآلات ؛ بدلاً من ذلك ، فهي مخصصة للمطورين البشريين. المبادئ هي كما يلي: [19] : 173
1. الهدف الوحيد للآلة هو تحقيق أقصى قدر من التفضيلات البشرية.
2. الجهاز في البداية غير متأكد من ماهية تلك التفضيلات.
3. المصدر النهائي للمعلومات حول التفضيلات البشرية هو السلوك البشري.
تشير "التفضيلات" إلى "التفضيلات" التي يشير إليها راسل "شاملة ؛ فهي تغطي كل شيء قد تهتم به ، بشكل عشوائي في المستقبل البعيد". [19] : 173 وبالمثل ، يتضمن "السلوك" أي اختيار بين الخيارات ، [19] : 177 وعدم اليقين هو أن بعض الاحتمالات ، التي قد تكون صغيرة جدًا ، يجب أن تُخصص لكل تفضيل بشري محتمل منطقيًا. [19] : 201
السياسة العامة
اقترح جيمس بارات ، مؤلف كتاب اختراعنا النهائي ، أنه "يجب إنشاء شراكة بين القطاعين العام والخاص لجمع صناع الذكاء الاصطناعي معًا لتبادل الأفكار حول الأمن - شيء مثل الوكالة الدولية للطاقة الذرية ، ولكن بالشراكة مع الشركات." ويحث باحثي الذكاء الاصطناعي على عقد اجتماع مماثل لمؤتمر أسيلومار حول الحمض النووي المؤتلف ، والذي ناقش مخاطر التكنولوجيا الحيوية. [17]
يشجع John McGinnis الحكومات على تسريع البحث الودي في مجال الذكاء الاصطناعي. نظرًا لأن أهداف الذكاء الاصطناعي الودي ليست بارزة بالضرورة ، فإنه يقترح نموذجًا مشابهًا للمعاهد الوطنية للصحة ، حيث "تقوم لجان مراجعة الأقران لعلماء الكمبيوتر والإدراك بفحص المشروعات واختيار المشروعات المصممة لتعزيز الذكاء الاصطناعي وضمان ذلك. وستكون هذه التطورات مصحوبة بضمانات مناسبة ". يشعر ماكجينيس أن مراجعة الأقران أفضل "من التنظيم لمعالجة القضايا الفنية التي لا يمكن السيطرة عليها من خلال التفويضات البيروقراطية". يلاحظ ماكجينيس أن اقتراحه يتناقض مع اقتراح معهد أبحاث الذكاء الآلي ، والذي يهدف عمومًا إلى تجنب مشاركة الحكومة في الذكاء الاصطناعي الودي. [20]
وفقًا لغاري ماركوس ، فإن المبلغ السنوي الذي يتم إنفاقه على تطوير أخلاق الآلة ضئيل. [21]
نقد
يعتقد بعض النقاد أن كلا من الذكاء الاصطناعي على المستوى البشري والذكاء الخارق غير محتمل ، وبالتالي فإن الذكاء الاصطناعي الودي غير محتمل. في كتابه The Guardian ، يقارن Alan Winfield الذكاء الاصطناعي على مستوى الإنسان مع السفر بسرعة تفوق سرعة الضوء من حيث الصعوبة ، ويذكر أنه بينما نحتاج إلى "توخي الحذر والاستعداد" نظرًا للمخاطر التي ينطوي عليها الأمر ، "لسنا بحاجة إلى كن مهووسًا "بمخاطر الذكاء الخارق. [22] من ناحية أخرى ، يجادل بويلز وجواكين بأن اقتراح لوك مولهاوزر ونيك بوستروم لإنشاء أنظمة ذكاء اصطناعي ودية يبدو قاتمًا. هذا لأن مولهاوزر وبوستروم يبدو أنهما يحملان فكرة أنه يمكن برمجة الآلات الذكية للتفكير بشكل معاكس في القيم الأخلاقية التي كان يمكن أن يمتلكها البشر.[13] في مقال في منظمة العفو الدولية والمجتمع ، أكد بويلز وجواكين أن مثل هذه الذكاء الاصطناعي لن تكون ودية مع الأخذ في الاعتبار ما يلي: المقدار اللامتناهي من الظروف السابقة للواقع المضاد التي يجب برمجتها في آلة ، وصعوبة صرف مجموعة من القيم الأخلاقية - أي تلك التي تمتلكها أكثر من تلك التي يمتلكها البشر في الوقت الحاضر ، وما يترتب على ذلك من انفصال واضح بين السوابق المضادة للواقع والقيمة المثالية. [14]
يدعي بعض الفلاسفة أن أي فاعل "عقلاني" حقيقي ، سواء أكان مصطنعًا أم بشريًا ، سيكون بطبيعة الحال خيرًا. من وجهة النظر هذه ، قد تكون الضمانات المتعمدة المصممة لإنتاج ذكاء اصطناعي ودود غير ضرورية أو حتى ضارة. [23] يتساءل نقاد آخرون عما إذا كان من الممكن أن يكون الذكاء الاصطناعي ودودًا. آدم كيبر وآري إن شولمان ، محررا المجلة التكنولوجية The New Atlantis، لنفترض أنه سيكون من المستحيل ضمان سلوك "ودود" في أنظمة الذكاء الاصطناعي لأن مشاكل التعقيد الأخلاقي لن تخضع لتقدم البرامج أو زيادة قوة الحوسبة. وكتبوا أن المعايير التي تستند إليها نظريات الذكاء الاصطناعي الودية تعمل "فقط عندما لا يكون لدى المرء قوى عظيمة للتنبؤ باحتمالية حدوث عدد لا يحصى من النتائج المحتملة ، ولكن اليقين والإجماع حول كيفية تقدير المرء للنتائج المختلفة. [24]
انظر أيضا
- مشكلة التحكم في الذكاء الاصطناعي
- الاستحواذ على الذكاء الاصطناعي
- سباق التسلح بالذكاء الاصطناعي
- أخلاقيات الذكاء الاصطناعي
- الخطر الوجودي من الذكاء العام الاصطناعي
- انفجار استخباراتي
- أخلاقيات الآلة
- معهد أبحاث ذكاء الآلة
- أوبن إيه آي
- تنظيم الخوارزميات
- التفرد - فلسفة أخلاقية دعا إليها أنصار الذكاء الاصطناعي الصديق
- التفرد التكنولوجي
- ثلاثة قوانين للروبوتات
المراجع
- ^ تيجمارك ، ماكس (2014). "الحياة ، كوننا وكل شيء". عالمنا الرياضي: بحثي عن الطبيعة المطلقة للواقع (الطبعة الأولى). رقم ISBN 9780307744258.
قد يتنازل مالكها عن السيطرة لما يسميه Eliezer Yudkowsky "ذكاء اصطناعي صديق" ...
- ^ أ ب راسل ، ستيوارت ؛ نورفيج ، بيتر (2009). الذكاء الاصطناعي: نهج حديث . برنتيس هول. رقم ISBN 978-0-13-604259-4.
- ^ لايتون ، جوناثان (2011). المعركة من أجل الرحمة: الأخلاق في عالم لا مبالي . ألجورا. رقم ISBN 978-0-87586-870-7.
- ^ والاش ، ويندل. ألين ، كولين (2009). الآلات الأخلاقية: تعليم الروبوتات من الصواب من الخطأ . مطبعة جامعة أكسفورد ، إنك. ISBN 978-0-19-537404-9.
- ^ كيفن لاغرانديور (2011). "الخطر المستمر للعبد الاصطناعي" . دراسات الخيال العلمي . 38 (2): 232. دوى : 10.5621 / sciefictstud.38.2.0232 . تم الاسترجاع 2013/05/06 .
- ^ إسحاق أسيموف (1964). "مقدمة" . بقية الروبوتات . يوم مزدوج. رقم ISBN 0-385-09041-2.
- ^ إليعازر يودكوفسكي (2008). "الذكاء الاصطناعي كعامل إيجابي وسلبي في المخاطر العالمية" (PDF) . في نيك بوستروم. ميلان م. سيركوفيتش ، محرران. مخاطر كارثية عالمية . ص 308 - 345.
- ^ Omohundro ، SM (فبراير 2008). "محركات AI الأساسية" . الذكاء العام الاصطناعي . 171 : 483 - 492. سيتسيركس 10.1.1.393.8356 .
- ^ بوستروم ، نيك (2014). "الفصل السابع: الإرادة الفائقة الذكاء". الذكاء الخارق: المسارات والمخاطر والاستراتيجيات . أكسفورد: مطبعة جامعة أكسفورد. رقم ISBN 9780199678112.
- ^ دفورسكي ، جورج (26 أبريل 2013). "كيف قد ينبثق Skynet من الفيزياء البسيطة" . جزمودو .
- ^ ويسنر جروس ، م ؛ فرير ، سي (2013). "القوى السببية الحتمية" (PDF) . خطابات المراجعة المادية . 110 (16): 168702. بيب كود : 2013 PhRvL.110p8702W . دوى : 10.1103 / PhysRevLett.110.168702 . بميد 23679649 . مؤرشف من الأصل (PDF) في 11 يناير 2020 . تم الاسترجاع 2013/06/22 .
- ^ مولهاوزر ، لوك (31 يوليو 2013). "مخاطر الذكاء الاصطناعي والعقلية الأمنية" . معهد أبحاث ذكاء الآلة . تم الاسترجاع 15 يوليو 2014 .
- ^ أ ب مولهاوزر ، لوك ؛ بوستروم ، نيك (2013/12/17). "لماذا نحتاج إلى ذكاء اصطناعي صديق". فكر . 13 (36): 41-47. دوى : 10.1017 / s1477175613000316 . ISSN 1477-1756 . S2CID 143657841 .
- ^ أ ب بويلز ، روبرت جيمس م. جواكين ، إرميا جوفن (23 يوليو 2019). "لماذا لن تكون أنظمة الذكاء الاصطناعي الودودة بهذه الدرجة من الود: رد ودي على مولهاوزر وبوستروم". منظمة العفو الدولية والمجتمع . 35 (2): 505-507. دوى : 10.1007 / s00146-019-00903-0 . ISSN 0951-5666 . S2CID 198190745 .
- ^ تشان ، بيرمان (2020-03-04). "صعود الذكاء الاصطناعي وأزمة السلبية الأخلاقية". منظمة العفو الدولية والمجتمع . 35 (4): 991-993. دوى : 10.1007 / s00146-020-00953-9 . ISSN 1435-5655 . S2CID 212407078 .
- ^ أ ب Eliezer Yudkowsky (2004). "إرادة متماسكة مستقراء" (PDF) . معهد التفرد للذكاء الاصطناعي . تم الاسترجاع 2015/09/12 .
- ^ أ ب هندري ، إيريكا ر. (21 يناير 2014). "ماذا يحدث عندما ينقلب علينا الذكاء الاصطناعي؟" . Smithsonian.com . تم الاسترجاع 15 يوليو 2014 .
- ^ بوم ، سيث د. (2016/09/28). "حول تعزيز الذكاء الاصطناعي الآمن والمفيد اجتماعيا". منظمة العفو الدولية والمجتمع . 32 (4): 543-551. دوى : 10.1007 / s00146-016-0677-0 . ISSN 0951-5666 . S2CID 29012168 .
- ^ أ ب ج د راسل ، ستيوارت (8 أكتوبر 2019). التوافق البشري: الذكاء الاصطناعي ومشكلة التحكم . الولايات المتحدة: فايكنغ. رقم ISBN 978-0-525-55861-3. OCLC 1083694322 .
- ^ ماكجينيس ، جون أو. (صيف 2010). "تسريع الذكاء الاصطناعي" . مراجعة قانون جامعة نورث وسترن . 104 (3): 1253-1270 . تم الاسترجاع 16 يوليو 2014 .
- ^ ماركوس ، غاري (24 نوفمبر 2012). "الآلات الأخلاقية" . نيويوركر . تم الاسترجاع 30 يوليو 2014 .
- ^ وينفيلد ، آلان. "الذكاء الاصطناعي لن يتحول إلى وحش فرانكشتاين" . الجارديان . تم الاسترجاع 17 سبتمبر 2014 .
- ^ كورناي ، أندراس (15 مايو 2014). "ملزمة تأثير الذكاء الاصطناعي العام". مجلة الذكاء الاصطناعي التجريبي والنظري . إنفورما المملكة المتحدة المحدودة. 26 (3): 417-438. دوى : 10.1080 / 0952813x.2014.895109 . ISSN 0952-813X . S2CID 7067517 .
... جوهر الذكاء الاصطناعي العام هو تسهيلاتهم المنطقية ، ومنطق وجودهم ذاته هو الذي سيجبرهم على التصرف بطريقة أخلاقية ... سيناريو الكابوس الحقيقي (هو السيناريو الذي) يجد فيه البشر أنه من المفيد أن يتزاوجوا بقوة أنفسهم إلى AGIs ، مع عدم وجود ضمانات ضد خداع الذات.
- ^ آدم كيبر وآري إن شولمان. "مشكلة الذكاء الاصطناعي" الودي " . اتلانتس الجديد . تم الاسترجاع 2012-01-16 .
قراءات إضافية
- Yudkowsky، E. الذكاء الاصطناعي كعامل إيجابي وسلبي في المخاطر العالمية . في المخاطر الكارثية العالمية ، مطبعة جامعة أكسفورد ، 2008.
يناقش الذكاء الاصطناعي من منظور المخاطر الوجودية . على وجه الخصوص ، تقدم الأقسام 1-4 خلفية لتعريف الذكاء الاصطناعي الصديق في القسم 5. يقدم القسم 6 فئتين من الأخطاء (التقنية والفلسفية) والتي من شأنها أن تؤدي إلى الإنشاء العرضي لأنظمة الذكاء الاصطناعي غير الصديقة. الأقسام 7-13 تناقش المزيد من القضايا ذات الصلة. - Omohundro، S. 2008 ظهرت محركات الذكاء الاصطناعي الأساسية في AGI-08 - وقائع المؤتمر الأول للذكاء الاصطناعي العام
- Mason، C. 2008 يتطلب الذكاء الاصطناعي على المستوى البشري ذكاءً رحيمًا يظهر في ورشة عمل AAAI 2008 حول التفكير التلوي: التفكير في التفكير
- Froding، B. and Peterson، M 2021 Friendly AI Ethics and Information Technology Volume 23، pp 207–214.
روابط خارجية
- القضايا الأخلاقية في الذكاء الاصطناعي المتقدم بواسطة نيك بوستروم
- ما هو الذكاء الاصطناعي الصديق؟ - وصف موجز للذكاء الاصطناعي الصديق من قبل معهد أبحاث ذكاء الآلة.
- إنشاء AI 1.0: تحليل وتصميم بنيات الهدف الخيرية - وصف قريب من طول الكتاب من MIRI
- نقد إرشادات MIRI بشأن الذكاء الاصطناعي الصديق - بقلم بيل هيبارد
- تعليق على إرشادات MIRI حول الذكاء الاصطناعي الصديق - بقلم بيتر فوس.
- مشكلة الذكاء الاصطناعي "الودي" - حول دوافع واستحالة FAI ؛ بواسطة آدم كيبر وآري إن شولمان.