أهلا ومرحبا بكم مرة أخرى في دورة الذكاء الاصطناعي.
نواصل اليوم رحلتنا إلى عالم 83 درجة مئوية ، ونتحدث عن الجانب غير المتزامن
لـ C بحيث يكون لدينا اختصار ، ميزة متزامنة ، ناقد نشط.
واليوم سنكتشف ما يمثله التزامن هنا ، وما يعنيه.
ودعنا نعود خطوة للوراء.
دعونا نلقي نظرة على ما بدأنا به هذه الدورة التدريبية بأكملها.
بدأنا بالتعلم المعزز وما يدور حول أن الفاعل في حالة معينة.
إنهم يراقبون الدولة ، ويتخذون قرارات معينة ، ويتخذون إجراءات في تلك الحالة.
ثم تتغير الدولة.
لذلك يدخلون إلى حالة جديدة ، بالإضافة إلى أنهم يحصلون على مكافأة.
لذلك يحصلون على مكافأة مقابل اتخاذ هذا الإجراء أو نوع من المكافأة التي يمكن أن تكون بمثابة عقوبة أيضًا.
وينتهي بهم الأمر في حالة جديدة.
وبناءً على ذلك ، يتخذون الآن إجراءً آخر مرة أخرى ، ويحصلون على مكافأة وينتهي بهم الأمر في حالة جديدة
ويتخذون إجراءً آخر وما إلى ذلك.
وهذا هو الأساس وراء كل التعلم المعزز.
وهذا ما كنا نستخدمه في التعلم والتعلم العميق والتعلم التلافيفي العميق.
وقد سمح ذلك لعملائنا بالتغلب تدريجيًا على البيئات الأكثر تعقيدًا والأكثر تعقيدًا.
لكننا الآن بصدد تقديم مفهوم أفضل إلى أبعد من ذلك.
خذ هذا إلى مستوى أعلى لما تقدمه a3c من خلال هذا العنصر المتزامن ، فبدلاً
من قيام وكيل واحد بمهاجمة البيئة ، يكون لديهم ثلاثة وكلاء أو أي عدد من الوكلاء.
لذلك العديد من العملاء يهاجمون نفس البيئة.
والمفتاح هنا هو أن ما يسمى بالمتزامنة هو لأنها تمت تهيئتها بشكل مختلف.
لذا فإن نقاط انطلاقهم مختلفة.
على سبيل المثال ، كما سترى من المصطلحات العملية ، تقوم بتعيين بذرة عشوائية وتعيينها بشكل مختلف
لكل من الوكلاء.
وبهذه الطريقة ، نظرًا لاختلاف نقاط البداية لديهم ، فسوف يمرون أولاً بالبيئات
بطرق مختلفة ثم يستكشفون بطرق مختلفة.
وبعد ذلك في التكرار التالي ، سيستكشف أيضًا بطرق مختلفة.
وهكذا ، على سبيل المثال ، إذا كان لديك ثلاثة وكلاء ، فإنك فجأة تحصل
على ثلاثة أضعاف مقدار الخبرة بدلاً من مجرد وكيل واحد يمر ويستكشف البيئة ويحاول
فهم كيفية العمل في تلك البيئة.
لديك الآن ثلاثة أو العديد منهم يمرون بذلك ويحصلون على هذه التجربة.
وهكذا يتعلم كل واحد منهم من خلال هذه التجربة الأكبر.
وبصرف النظر عن كونه مجرد تقديم نطاق أوسع من الخبرة ، فإنه يقلل أيضًا من فرص تعثر وكيل واحد في
الحد الأقصى المحلي.
لذلك ، على سبيل المثال ، إذا وجد أحد الوكلاء طريقة للتغلب على البيئة ، وهذا ليس هو الأفضل ، لأنه
إذا انحرف إلى اليسار أو إلى اليمين عن هذا الحل الذي وجده ، فسيتم معاقبتهم
دائمًا.
قد تتعثر في هذا الحد الأقصى المحلي.
قد يستمر في فعل ذلك ، معتقدًا أن هذا هو الحل الأمثل حيث لا يوجد في الواقع.
حسنًا ، احتمال تعلق عدة عوامل في نفس الحد الأقصى المحلي يتناقص أو يتناقص مع عدد العوامل.
لذا فإن احتمال تعثر عامل واحد في حد أقصى محلي معين قد يكون مرتفعًا ، ولكن قد يكون
له قيمة معينة.
لكن الاحتمال عندما يكون لديك ثلاثة منهم ، من بينهم جميعًا يعلقون في هذا الحد الأقصى المحلي
يكون أقل بكثير.
وطالما أنهم يتشاركون الخبرة بين بعضهم البعض ، فيمكنهم مساعدة بعضهم البعض.
لذلك إذا تعثر أحدهم ، على سبيل المثال ، فإنه عالق في الحد الأقصى المحلي.
ما عليك سوى التفكير في أن هذا هو الأفضل ، وهذا أفضل حل هو الحل الأفضل طوال الوقت ويستمر
في فعل ذلك جيدًا طالما أنه يتفاعل مع الوكلاء الآخرين.
لنفترض أن هذا الرجل عالق في الحد الأقصى المحلي وطالما أنه يتفاعل مع الوكلاء الآخرين من
خلال الطريقة التي نبني بها الخوارزمية بالكامل ، من خلال الخوارزمية ، فإنهم سيساعدونه.
سيعطونه المعرفة التي تعرف حقًا ، مرحبًا ، يجب عليك استكشاف هذا أو من المرجح
أن يخرج من ذلك.
وأيضًا بشكل عام ، ستعرف البيئة أنه ، على الرغم من أن هذا الحد الأقصى رائعًا ، فإن هؤلاء الوكلاء
الآخرين قد رأوا خيارات أفضل ويجب أن نستمر في الاستكشاف لأنهم يبدون وكأنهم خيارات أفضل.
لذلك في نوع قصير جدًا من الفهم التقريبي والحدسي أن تلك هي بعض مزايا وجود هذه العوامل
غير المتزامنة.
بادئ ذي بدء ، لديك المزيد من الخبرة للاختيار من بينها والتعلم منها.
يمكنك الوصول إلى الحل بشكل أسرع.
وبصفة عامة ، هناك فرصة أقل للوقوع في حد أقصى محلي معين.
لذلك دعونا نرى كيف يتم كل هذا في هذا النموذج الذي بنيناه حتى الآن.
كما تتذكر ، هذا ما حصلنا عليه حتى الآن من خلال الناقد الإضافي.
وهذا هو المكان الذي يرتبط فيه كل شيء.
هذا أبعد ما تتذكره من البرنامج التعليمي السابق الذي قدمناه ، كما تعلم ، لقد حصلنا على هذا بالفعل
حتى في التعلم التلافيفي العميق لـ Q ، لذلك نحن فقط نسميه إضافيًا الآن.
لكن الآن قدمنا النقد ، لكن حتى الآن لم يكن له معنى حقًا.
ما الهدف من وجود هذا النقد وقياس قيمة الدولة أو التنبؤ بقيمة
الحالة باستخدام نفس الشبكات العصبية ، نفس النهج؟
ولكن الآن هذا هو الجزء الذي سيبدأ في جعله أكثر منطقية.
ما سنفعله هو أننا سنكرر هذا لأن لدينا الآن وكلاء متعددين.
هذا هو الحال مع وكلاء متعددين.
هذا ما سيبدو عليه الأمر.
لذا.
الطريقة الأولى لتخيلها الآن هي أن لدينا هذه الأشياء الثلاثة.
حسنًا ، تذكر ما قلناه عن مشاركة التجربة بين بعضهم البعض.
لذلك هذا صحيح بالفعل.
الآن كلهم مستقلون.
لديك شخص يلعب اللعبة ، وآخر يلعب اللعبة ، وآخر يلعب في اللعبة.
يشبه الأمر إطلاق وكيلك على ثلاثة أجهزة كمبيوتر مختلفة.
تضع ثلاثة أجهزة كمبيوتر مختلفة بجانب بعضها البعض وتقوم بتشغيلها.
وهذا شيء عظيم ، كما تعلم.
مثل ، في الواقع ، ستحصل على المزيد من الخبرة.
ستحصل على المزيد من التنوع ، خاصةً إذا كانت مهيأة مختلفة.
لذلك سنفترض من هنا أنها كلها أولية ، ومبدئية دائمًا مختلفة.
على الرغم من أن لدينا نفس الصورة هنا ، سنعرف أنهما تمت تهيئتهما بشكل مختلف.
لذلك لن يكون مثل التدريب المتطابق ، التعلم المتطابق من هذه اللعبة.
وهكذا ، حتى لو كنت تضع ثلاثة أجهزة كمبيوتر جنبًا إلى جنب
وقمت بتشغيلها ، نعم ، سيكون لديك المزيد من الخبرة لأنه سيكون لديك ثلاثة وكلاء يلعبون وأيضًا سيكون لديك أكبر
مجموعة متنوعة من الحلول الممكنة.
هذا صحيح.
لكن المشكلة هي أنهم لا يشاركوننا تلك التجربة.
إنهم لا يتعلمون من بعضهم البعض.
لذلك ليس لديهم هذا التآزر.
ليس لديهم الميزة أو القوة الإضافية التي سيحصلون عليها إذا كانوا يتعاونون.
كما تعلم ، إذا كان لديك فريق من الأشخاص ، فإنهم يعملون بشكل أفضل معًا ، ثم كل واحد
منهم على حدة.
لذا كما هو الحال في فريق هنا ، لديك واحد زائد واحد زائد واحد ، إنها ثلاثة.
لكن في الفريق ، واحد زائد واحد زائد واحد ليس ثلاثة.
إنه مثل 33 لأنهم يستفيدون من نقاط القوة لدى بعضهم البعض ويخففون من نقاط ضعف بعضهم البعض.
ونفس الشيء هنا.
لذا إذا وضعت أجهزة الكمبيوتر الثلاثة هذه جنبًا إلى جنب ، نعم ، ستتمتع بخبرة أكبر
وتنوع أكبر ، وربما سيصل شخص ما إلى حل أفضل من الآخر.
هذا رائع ، لكنه سيكون أفضل إذا بدأوا في مشاركة هذه التجربة.
وكيف يفعلون ذلك؟
حسنًا ، من خلال هذا V نحسبه.
إذن قيمة V هذه هي ناتج شبكتنا هي في الواقع هكذا.
إذاً لديهم نفس الـ V لذا في كل مرة كل هؤلاء العملاء ، يساهمون في نفس الناقد.
ليس لديهم نقاد منفصلون.
لديهم ناقد مشترك.
وهذا هو مفتاح كيفية ارتباط الناقد الفاعل بالمتزامن.
لذلك هناك ناقد واحد يشاهده كلما اكتسب الخبرة.
إذن كيف نحسب V ونحسب V كما تتذكر ، نحسب V من خلال القيم التي نحصل
عليها.
إذن المكافآت التي نحصل عليها من خلال البيئة.
وحيث أن الوكلاء يستكشفون بيئتهم ، فإنهم يحسبون ، ويتوقعون V بالإضافة إلى أن لديهم
V الذي يمكنهم حسابه.
هذه كلها روابط تعود إلى ما ناقشناه بالفعل في الأقسام السابقة من هذه الدورة.
لذلك لديهم بالفعل حرف V يمكنهم التنبؤ به مثل توقع من خلال المكافآت التي يعرفون أنها موجودة
في هذه المتاهة والتي اكتشفوها بالفعل.
وأثناء استكشافهم وبالطبع ، يمكن أن تتغير هذه القيمة ، لكن لديهم أيضًا الرقم V الذي يمثل
ناتج الشبكة العصبية.
لذا أثناء مرورهم بهذا ، سيقومون بتعديل شبكاتهم العصبية من أجل مطابقة أفضل لما
هو متوقع.
يتم مشاركة هذا بشكل أساسي ، ويتم مشاركة الجزء الحرج بين الوكلاء وهذه هي الطريقة التي يشاركون بها المعلومات
بين بعضهم البعض.
هذه هي الطريقة التي يمكنهم بها رؤية ما يحدث في البيئة المشتركة مع بعضهم
البعض ثم استخدام ذلك كما سنرى أكثر في الجزء التالي في الميزة.
استخدم ذلك لتحسين سلوكهم في تلك البيئة.
والشيء الآخر الذي يجب ملاحظته هنا هو أنه كان a3c ، هذا مثل جوهر a3c حتى هنا.
هذا نوع من إصدارات a3c ، ولكن هناك بالفعل تطبيق أفضل لهذا ، a3c ، والذي ستسمع عنه في
الواقع Adland يتحدث عنه في أحد الدروس الأولى في الجانب العملي للأشياء.
وما سيتحدث عنه هو كيف قام منشئ PyTorch بالفعل بإجراء تعديل على أحد الرموز التي تمت
مشاركتها على GitHub حيث أخذ كل هذه الرموز.
كما ترون الآن ، لديهم شبكات عصبية منفصلة وهم فقط يشاركون V.
كان هذا التعديل الذي تم إجراؤه في الواقع هو أخذ كل هذه الشبكات العصبية ووضعها في واحدة ، وأخذها
ووضعها معًا.
في النهاية ، هناك شبكة عصبية واحدة فقط مشتركة بين الوكلاء.
لذلك قبل أن يكون لديهم ، كل واحد منهم لديه شبكة عصبية واحدة والتي تمت مشاركتها للممثل والناقد.
تمت مشاركة شبكة عصبية واحدة للممثل لمشاركة الشبكة العصبية الحرجة لشخصية الفاعل.
الآن لديهم جميعًا شبكة عصبية واحدة مشتركة للممثل والناقد والممثل والناقد والممثل والناقد.
ومن ثم فإن الناقد هنا مشترك.
لذلك دعونا نرى دعنا ننتقل هذه الصور إلى اليسار هنا.
لذا خصص بعض المساحة.
وهذا في الأساس هو الهيكل أو الهيكل الذي سنستخدمه في الدروس العملية.
أعلم أنه مثل هذا ، قد يبدو هذا مربكًا بعض الشيء في هذه المرحلة ، لكن لدينا واحدة أخرى
لنتحدث عنها ، وهي تلك الميزة.
وهناك سنرى كيف تسير الأمور بشكل أفضل قليلاً.
لذا.
سنتحدث عن الحدس في العمل هناك.
لكن بشكل عام ، هذا هو ما هو عليه.
هذه شبكة واحدة يستخدمها كل من الوكلاء بحيث يتشاركون.
ما يعنيه ذلك أساسًا هو أنهم يتشاركون في الأوزان.
يتم تقاسم أوزان الشبكة بين الوكلاء.
وعندما يتم تحديثهم ، يقومون بتحديث الشبكة بالكامل ، وليس فقط الشبكة الخاصة بهم.
وبعد ذلك لديهم نواتج.
لديهم مثل هذه الإجراءات لكل وكيل ، ومن ثم لديهم الناقد الذي يتم مشاركته ، والذي سيتم مراقبته.
لذا أعلم أن كل هذا يشبه إلى حد ما أن هناك الكثير من الأشياء في الوقت الحالي ، ولكن آمل أن تتضافر
ببطء.
على الأقل ، الخلاصة الرئيسية من هنا هي أن الناقد ، لأنه يتم مشاركته ، هكذا يستطيع
الوكلاء التأكد من أنهم يتعاونون معًا للوصول إلى النتيجة بشكل أسرع.
وبعد ذلك في الدرس التالي ، سنرى بشكل أكبر كيف يتم تجميع كل هذا ، وكيف يتجمع كل هذا
معًا.
والآن ، هناك ما أود أن أوصي به أو نوصي بقراءة إضافية.
إذن هذه مدونة بقلم يارومير يانيش.
يطلق عليه Let's Make a three key application.
هناك في الواقع جزءان من التنفيذ والنظرية.
هناك الارتباط.
وهو مشابه جدًا لما سينفذه آلان في الجانب العملي من البرنامج التعليمي.
لذلك فهو ليس مخصصًا لهذا البرنامج التعليمي ، وليس فقط للدرس التعليمي على وجه التحديد ، ولكنه
مخصص لهذا القسم بأكمله في التشجيع هناك ، وبعض المعلومات الإضافية ، وبعض الأفكار الإضافية هناك.
ولهذا السبب نطرحها هنا.
لكن مع ذلك ، في البرنامج التعليمي التالي ، سنبدأ في تجميع كل هذا معًا ، كل ما ناقشناه
من قبل.
وأنا أتطلع إلى رؤيتك في المرة القادمة.
وحتى ذلك الحين ، استمتع.
أنا.