Remedierea erorilor de remodelare pentru învățarea de consolidare cu mai mulți agenți în rețelele de politici personalizate

Înțelegerea erorilor de remodelare în rețele personalizate

Atunci când implementați o rețea de politici personalizată pentru învățare prin consolidare, erorile de remodelare sunt un obstacol comun, în special în mediile cu mai mulți agenți. Aceste erori apar adesea la definirea spațiilor de observare și acțiune care nu se aliniază corect în timpul antrenamentului de model.

În acest scenariu, vom explora o problemă de remodelare întâlnită într-un mediu personalizat de flocare, în care spațiile de observare și acțiune ale agentului trebuie gestionate cu atenție pentru a evita nepotrivirile de dimensiune. Această problemă poate opri antrenamentul și poate împiedica progresul modelelor.

Problema apare de obicei atunci când datele sunt transmise prin straturi de rețea neuronală, în special atunci când dimensiunile spațiului de acțiune sunt remodelate incorect. Acest lucru poate fi urmărit până la interacțiunea dintre dimensiunile spațiului de observare și straturile rețelei de politici personalizate.

Analizând cu atenție mesajele de eroare și revizuind structura rețelei, acest ghid vă va ajuta să înțelegeți cauza principală a unor astfel de erori și vă va oferi soluții pentru a ajusta designul rețelei de politici. Remodelarea corectă a matricelor asigură o pregătire fără probleme și previne eșecurile critice în timpul sarcinilor de învățare de întărire.

Explorarea rețelelor de politici personalizate pentru medii cu mai mulți agenți

Scripturile Python furnizate sunt concepute pentru a aborda erorile de remodelare din cadrul rețelelor de politici personalizate, în special în mediile cu mai mulți agenți, folosind învățarea prin consolidare. Primul script definește structura unui politică personalizată multi-agent, care folosește metode actor-critice. Actorul este responsabil pentru a decide acțiunea agentului pe baza observației sale, în timp ce criticul evaluează valoarea acțiunii. Aspectul important al acestei rețele este modul în care gestionează spațiile de observare și acțiune, asigurându-se că acestea se aliniază cu straturile rețelei. Utilizarea PyTorch's straturile secvențiale eficientizează arhitectura modelului și ajută la trecerea eficientă a datelor prin mai multe straturi ascunse.

A doua parte a scenariului se concentrează pe definițiile spațiului de acțiune și observație folosind Gym’s spaces.Box(). Acest lucru este crucial în mediile de învățare prin consolidare, în care agenții trebuie să interacționeze în limitele predefinite. Spațiul de acțiune aici este continuu, fiecare agent primind două valori, cum ar fi mișcarea în axele x și y. Spațiul de observare este definit în mod similar, dar include parametri suplimentari, cum ar fi viteza. Asigurarea faptului că aceste spații se potrivesc nevoilor agentului este esențială pentru a evita erorile de remodelare, în special atunci când aveți de-a face cu matrice multidimensionale și echipe mari de agenți.

Scriptul integrează, de asemenea, gestionarea erorilor pentru a aborda problemele de remodelare, care sunt frecvente în setările de învățare prin consolidare. Linia folosind action.reshape() se asigură că matricele de acțiuni se potrivesc cu dimensiunile așteptate de rețea. Aceasta este o funcție cheie pentru a evita erorile de nepotrivire a dimensiunilor în timpul rulării. Dacă datele nu sunt conforme cu forma așteptată, scriptul prinde eroarea și o înregistrează pentru depanare. Acest mecanism de gestionare a erorilor este important pentru procesele de formare continuă, unde erorile nerezolvate ar putea opri instruirea întregii rețele.

A treia parte a soluției introduce utilizarea de Tensorii PyTorch și eșantionarea distribuției pentru selecția acțiunii. Prin conversia observațiilor în tensori, modelul este optimizat pentru execuție atât pe CPU, cât și pe GPU. Utilizarea distribuției categorice permite rețelei să eșantioneze acțiuni pe baza logit-urilor produse de rețeaua de actori. Acest lucru asigură că acțiunile agentului sunt alese probabilistic, ceea ce este crucial în algoritmii de învățare de consolidare precum Optimizarea proximală a politicii (PPO). Această combinație de straturi, spații și manipularea tensorii permite o învățare eficientă într-un mediu dinamic, cu mai mulți agenți.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Optimizarea învățării prin consolidare cu rețele de politici personalizate

Un aspect cheie al învățării prin întărire în medii personalizate este proiectarea corectă a spațiilor de observare și acțiune. Aceste spații dictează modul în care agenții interacționează cu mediul lor. O problemă tipică apare atunci când agenții cu spații de acțiune continuă, cum ar fi agenții de flocking, necesită o aliniere atentă între spațiul de observare și straturile de rețea. Aici, spațiu de acțiune trebuie definite corect folosind Gym’s spaces.Box(), asigurându-se că acțiunile agenților se încadrează în intervalul specificat, ceea ce influențează direct performanța de învățare a rețelei de politici.

Când scalați aceste rețele la un mediu multi-agenți, manipularea datelor multidimensionale devine o provocare majoră. În astfel de cazuri, straturile de rețea ar trebui să fie capabile să proceseze intrări multidimensionale în mod eficient. Instrumente precum PyTorch nn.ModuleList() vă permit să stivuiți mai multe straturi într-un mod modular, facilitând scalarea arhitecturii rețelei pe măsură ce complexitatea mediului crește. Arhitecturile modulare îmbunătățesc reutilizarea codului și, de asemenea, simplifică depanarea atunci când apar erori precum probleme de remodelare în timpul antrenamentului.

În plus, importanța tratării erorilor nu poate fi exagerată. Utilizarea metodelor structurate precum încercați-cu excepția blocuri pentru a detecta erorile de remodelare asigură că antrenamentul poate continua fără eșecuri bruște. Acest lucru este util în special atunci când se testează în medii dinamice în care agenții interacționează frecvent între ei. Prin detectarea timpurie a acestor erori, puteți identifica sursa problemei și puteți implementa remedieri pentru a îmbunătăți performanța generală a modelului. Înregistrarea regulată a stării dispozitivului și a ieșirilor layer este o altă modalitate de a asigura o execuție lină și fără erori a rețelei de politici personalizate.