إصلاح أخطاء إعادة التشكيل للتعلم المعزز متعدد العوامل في شبكات السياسة المخصصة

فهم إعادة تشكيل الأخطاء في الشبكات المخصصة

عند تنفيذ شبكة سياسة مخصصة لتعزيز التعلم، تعد إعادة تشكيل الأخطاء عقبة شائعة، خاصة في البيئات متعددة الوكلاء. غالبًا ما تنشأ هذه الأخطاء عند تحديد مساحات المراقبة والعمل التي تفشل في التوافق بشكل صحيح أثناء التدريب على النموذج.

في هذا السيناريو، سوف نستكشف مشكلة إعادة التشكيل التي تمت مواجهتها في بيئة التدفق المخصصة، حيث يجب معالجة مساحات المراقبة والعمل الخاصة بالوكيل بعناية لتجنب عدم تطابق الأبعاد. يمكن أن تؤدي هذه المشكلة إلى إيقاف التدريب ومنع النماذج من التقدم.

تظهر المشكلة عادة عندما يتم تمرير البيانات عبر طبقات الشبكة العصبية، خاصة عندما يتم إعادة تشكيل أبعاد مساحة العمل بشكل غير صحيح. ويمكن إرجاع ذلك إلى التفاعل بين أبعاد مساحة المراقبة وطبقات شبكة السياسة المخصصة.

ومن خلال التحليل الدقيق لرسائل الخطأ ومراجعة بنية الشبكة، سيساعدك هذا الدليل على فهم السبب الجذري لمثل هذه الأخطاء وتقديم حلول لضبط تصميم شبكة السياسة. تضمن إعادة التشكيل الصحيحة للمصفوفات تدريبًا سلسًا وتمنع حدوث حالات فشل خطيرة أثناء مهام التعلم المعزز.

استكشاف شبكات السياسات المخصصة للبيئات متعددة الوكلاء

تم تصميم نصوص Python المتوفرة لمعالجة أخطاء إعادة التشكيل داخل شبكات السياسات المخصصة، لا سيما في البيئات متعددة الوكلاء التي تستخدم التعلم المعزز. يحدد النص الأول بنية أ سياسة مخصصة متعددة الوكلاء، والذي يستخدم أساليب الممثل الناقد. فالفاعل مسؤول عن تقرير فعل الفاعل بناءً على ملاحظته، بينما يقوم الناقد بتقييم قيمة الفعل. الجانب المهم لهذه الشبكة هو كيفية تعاملها مع مساحات المراقبة والعمل، والتأكد من توافقها مع طبقات الشبكة. استخدام باي تورش تعمل الطبقات المتسلسلة على تبسيط بنية النموذج وتساعد على تمرير البيانات بكفاءة عبر طبقات مخفية متعددة.

يركز الجزء الثاني من النص على تعريفات مساحة الحركة والمراقبة باستخدام Gym’s مسافات.صندوق (). وهذا أمر بالغ الأهمية في بيئات التعلم المعزز، حيث يحتاج الوكلاء إلى التفاعل ضمن حدود محددة مسبقًا. مساحة العمل هنا مستمرة، حيث يتلقى كل وكيل قيمتين، مثل الحركة في المحورين x وy. يتم تعريف مساحة المراقبة بالمثل ولكنها تتضمن معلمات إضافية مثل السرعة. يعد التأكد من أن هذه المساحات تتوافق مع احتياجات الوكيل أمرًا بالغ الأهمية لتجنب أخطاء إعادة التشكيل، خاصة عند التعامل مع المصفوفات متعددة الأبعاد وفرق الوكلاء الكبيرة.

يدمج البرنامج النصي أيضًا معالجة الأخطاء لمعالجة مشكلات إعادة التشكيل، والتي تعتبر شائعة في إعدادات التعلم المعزز. الخط باستخدام الإجراء. إعادة الشكل () يضمن أن صفائف الإجراء تتوافق مع الأبعاد المتوقعة من قبل الشبكة. هذه وظيفة أساسية لتجنب أخطاء عدم تطابق الأبعاد أثناء وقت التشغيل. إذا كانت البيانات لا تتوافق مع الشكل المتوقع، فسيكتشف البرنامج النصي الخطأ ويسجله لتصحيح الأخطاء. تعد آلية معالجة الأخطاء هذه مهمة لعمليات التدريب المستمرة، حيث قد تؤدي الأخطاء غير المعالجة إلى إيقاف تدريب الشبكة بأكملها.

يقدم الجزء الثالث من الحل استخدام الموترات باي تورش وأخذ عينات التوزيع لاختيار العمل. من خلال تحويل الملاحظات إلى موترات، يتم تحسين النموذج للتنفيذ على كل من وحدة المعالجة المركزية ووحدة معالجة الرسومات. يتيح استخدام التوزيع الفئوي للشبكة أخذ عينات من الإجراءات بناءً على السجلات التي تنتجها الشبكة الفاعلة. وهذا يضمن أن يتم اختيار إجراءات الوكيل بشكل احتمالي، وهو أمر بالغ الأهمية في خوارزميات التعلم المعزز مثل تحسين السياسة القريبة (PPO). يتيح هذا المزيج من الطبقات والمساحات ومعالجة الموتر التعلم الفعال في بيئة ديناميكية متعددة الوكلاء.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

تحسين التعلم المعزز باستخدام شبكات السياسات المخصصة

أحد الجوانب الرئيسية للتعلم المعزز في البيئات المخصصة هو التصميم الصحيح لمساحات المراقبة والعمل. تملي هذه المساحات كيفية تفاعل الوكلاء مع بيئتهم. تنشأ مشكلة نموذجية عندما يتطلب الوكلاء الذين لديهم مساحات عمل مستمرة مثل وكلاء التدفق محاذاة دقيقة بين مساحة المراقبة وطبقات الشبكة. هنا، مساحة العمل يجب أن يتم تعريفها بشكل صحيح باستخدام الصالة الرياضية مسافات.صندوق ()، مما يضمن أن إجراءات الوكلاء تقع ضمن النطاق المحدد، مما يؤثر بشكل مباشر على أداء التعلم لشبكة السياسة.

عند توسيع نطاق هذه الشبكات إلى بيئة متعددة الوكلاء، يصبح التعامل مع البيانات متعددة الأبعاد تحديًا كبيرًا. في مثل هذه الحالات، يجب أن تكون طبقات الشبكة قادرة على معالجة المدخلات متعددة الأبعاد بكفاءة. أدوات مثل PyTorch قائمة الوحدات () تسمح لك بتكديس طبقات متعددة بطريقة معيارية، مما يسهل توسيع نطاق بنية الشبكة مع زيادة تعقيد البيئة. تعمل البنى المعيارية على تحسين إمكانية إعادة استخدام التعليمات البرمجية وتبسيط تصحيح الأخطاء أيضًا عند ظهور أخطاء مثل مشكلات إعادة التشكيل أثناء التدريب.

علاوة على ذلك، لا يمكن المبالغة في أهمية معالجة الأخطاء. استخدام أساليب منظمة مثل محاولة باستثناء تضمن الكتل لاكتشاف أخطاء التغييرات إمكانية استمرار التدريب دون حدوث أعطال مفاجئة. يعد هذا مفيدًا بشكل خاص عند الاختبار في البيئات الديناميكية حيث يتفاعل الوكلاء بشكل متكرر مع بعضهم البعض. من خلال اكتشاف هذه الأخطاء مبكرًا، يمكنك تحديد مصدر المشكلة وتنفيذ الإصلاحات لتحسين الأداء العام للنموذج. يعد تسجيل حالة الجهاز ومخرجات الطبقة بانتظام طريقة أخرى لضمان التنفيذ السلس والخالي من الأخطاء لشبكة السياسة المخصصة.