Odpravljanje napak pri preoblikovanju za večagentsko krepitveno učenje v omrežjih s pravilnikom po meri

Razumevanje napak pri preoblikovanju v omrežjih po meri

Pri izvajanju mreže pravilnika po meri za učenje z okrepitvijo so napake pri preoblikovanju pogosta ovira, zlasti v okoljih z več agenti. Te napake se pogosto pojavijo pri definiranju prostorov za opazovanje in delovanje, ki se med usposabljanjem modela ne uspejo pravilno poravnati.

V tem scenariju bomo raziskali težavo s preoblikovanjem, ki se pojavi v okolju flocking po meri, kjer je treba skrbno ravnati z agentovim prostorom za opazovanje in delovanje, da se izognemo neujemanju dimenzij. Ta težava lahko ustavi usposabljanje in prepreči napredovanje modelov.

Težava se običajno pojavi, ko se podatki prenašajo skozi plasti nevronske mreže, še posebej, če so dimenzije akcijskega prostora nepravilno preoblikovane. To je mogoče izslediti nazaj v interakcijo med dimenzijami prostora za opazovanje in plastmi mreže politike po meri.

S skrbno analizo sporočil o napakah in pregledom strukture omrežja vam bo ta vodnik pomagal razumeti temeljni vzrok takšnih napak in ponudil rešitve za prilagoditev zasnove omrežja pravilnikov. Pravilno preoblikovanje nizov zagotavlja nemoteno usposabljanje in preprečuje kritične napake med nalogami učenja krepitve.

Raziskovanje omrežij pravilnikov po meri za okolja z več agenti

Priloženi skripti Python so zasnovani za odpravljanje napak pri preoblikovanju v omrežjih politik po meri, zlasti v okoljih z več agenti z uporabo učenja z okrepitvijo. Prva skripta definira strukturo a pravilnik za več agentov po meri, ki uporablja igralsko-kritiške metode. Igralec je odgovoren za odločanje o dejanju agenta na podlagi njegovega opazovanja, medtem ko kritik oceni vrednost dejanja. Pomemben vidik tega omrežja je, kako obravnava prostore za opazovanje in delovanje, pri čemer zagotavlja, da so usklajeni s plastmi omrežja. Uporaba PyTorch's zaporedne plasti poenostavi arhitekturo modela in pomaga pri učinkovitem prenosu podatkov skozi več skritih plasti.

Drugi del scenarija se osredotoča na definicije prostora za dogajanje in opazovanje z uporabo Gyma presledki.Box(). To je ključnega pomena v učnih okoljih z okrepitvijo, kjer morajo agenti sodelovati znotraj vnaprej določenih meja. Prostor dejanja je tukaj neprekinjen, pri čemer vsak agent prejme dve vrednosti, kot je gibanje v osi x in y. Prostor za opazovanje je definiran podobno, vendar vključuje dodatne parametre, kot je hitrost. Zagotavljanje, da se ti prostori ujemajo z agentovimi potrebami, je ključnega pomena za izogibanje napakam pri preoblikovanju, zlasti ko imamo opravka z večdimenzionalnimi nizi in velikimi agentskimi ekipami.

Skript vključuje tudi obravnavo napak za reševanje težav s preoblikovanjem, ki so pogoste pri nastavitvah učenja z okrepitvijo. Uporaba črte action.reshape() zagotavlja, da se akcijski nizi ujemajo z dimenzijami, ki jih pričakuje omrežje. To je ključna funkcija za preprečevanje napak pri neujemanju dimenzij med izvajanjem. Če podatki niso v skladu s pričakovano obliko, skript ujame napako in jo zabeleži za odpravljanje napak. Ta mehanizem za obravnavo napak je pomemben za procese neprekinjenega usposabljanja, kjer lahko neobdelane napake ustavijo usposabljanje celotnega omrežja.

Tretji del rešitve predstavlja uporabo Tenzorji PyTorch in distribucijsko vzorčenje za izbiro dejanj. S pretvorbo opazovanj v tenzorje je model optimiziran za izvajanje na CPE in GPE. Uporaba kategorične porazdelitve omogoča omrežju vzorčenje dejanj na podlagi logov, ki jih ustvari aktersko omrežje. To zagotavlja, da so agentova dejanja izbrana verjetnostno, kar je ključnega pomena pri algoritmih učenja okrepitve, kot je proksimalna optimizacija pravilnika (PPO). Ta kombinacija plasti, presledkov in manipulacije tenzorjev omogoča učinkovito učenje v dinamičnem okolju z več agenti.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Optimiziranje učenja krepitve z omrežji pravilnika po meri

Eden ključnih vidikov učenja s krepitvijo v okoljih po meri je pravilna zasnova prostorov za opazovanje in delovanje. Ti prostori narekujejo, kako agenti komunicirajo s svojim okoljem. Tipična težava se pojavi, ko agenti s prostori neprekinjenega delovanja, kot so agenti kosmičenja, zahtevajo skrbno poravnavo med prostorom za opazovanje in omrežnimi plastmi. Tukaj, akcijski prostor je treba pravilno definirati z uporabo Gym’s presledki.Box(), ki zagotavlja, da so dejanja agentov v določenem obsegu, kar neposredno vpliva na učno uspešnost mreže politik.

Pri prilagajanju teh omrežij na okolje z več agenti postane ravnanje z večdimenzionalnimi podatki velik izziv. V takšnih primerih morajo biti omrežne plasti sposobne učinkovite obdelave večdimenzionalnih vhodov. Orodja, kot je PyTorch nn.ModuleList() omogočajo zlaganje več plasti na modularen način, kar olajša prilagajanje omrežne arhitekture, ko se kompleksnost okolja povečuje. Modularne arhitekture izboljšujejo ponovno uporabnost kode in tudi poenostavljajo odpravljanje napak, ko se med usposabljanjem pojavijo napake, kot so težave s preoblikovanjem.

Poleg tega pomena obravnavanja napak ni mogoče preceniti. Uporaba strukturiranih metod, kot je npr poskusi-razen bloki za lovljenje napak pri preoblikovanju zagotavljajo, da lahko usposabljanje poteka brez nenadnih okvar. To je še posebej uporabno pri testiranju v dinamičnih okoljih, kjer agenti pogosto komunicirajo drug z drugim. Če zgodaj odkrijete te napake, lahko natančno določite izvor težave in uvedete popravke za izboljšanje splošne zmogljivosti modela. Redno beleženje statusa naprave in izhodov plasti je še en način za zagotavljanje gladkega in brez napak izvajanja omrežja pravilnika po meri.