Pārveidošanas kļūdu labošana vairāku aģentu pastiprināšanas apmācībai pielāgotajos politikas tīklos

Izpratne par kļūdu pārveidošanu pielāgotajos tīklos

Ieviešot pielāgotu politikas tīklu pastiprināšanas mācībām, pārveidošanas kļūdas ir izplatīts šķērslis, īpaši vairāku aģentu vidēs. Šīs kļūdas bieži rodas, definējot novērošanas un darbības telpas, kuras modeļa apmācības laikā nav pareizi izlīdzinātas.

Šajā scenārijā mēs izpētīsim pārveidošanas problēmu, kas radusies pielāgotā flokēšanas vidē, kur aģenta novērošanas un darbības vietas ir rūpīgi jāapstrādā, lai izvairītos no dimensiju neatbilstības. Šī problēma var apturēt apmācību un neļaut modeļiem progresēt.

Problēma parasti rodas, kad dati tiek nodoti caur neironu tīkla slāņiem, jo ​​īpaši, ja darbības telpas izmēri ir nepareizi pārveidoti. To var izsekot mijiedarbībai starp novērošanas telpas dimensijām un pielāgotās politikas tīkla slāņiem.

Rūpīgi analizējot kļūdu ziņojumus un pārskatot tīkla struktūru, šī rokasgrāmata palīdzēs izprast šādu kļūdu galveno cēloni un sniegs risinājumus politikas tīkla dizaina pielāgošanai. Pareiza masīvu pārveidošana nodrošina vienmērīgu apmācību un novērš kritiskas kļūmes pastiprināšanas mācību uzdevumu laikā.

Pielāgotu politikas tīklu izpēte vairāku aģentu vidēm

Nodrošinātie Python skripti ir paredzēti, lai novērstu pārveidošanas kļūdas pielāgotos politikas tīklos, jo īpaši vairāku aģentu vidēs, izmantojot pastiprināšanas apmācību. Pirmais skripts definē a struktūru pielāgota vairāku aģentu politika, kurā tiek izmantotas aktieru kritiķu metodes. Aktieris ir atbildīgs par aģenta darbības izlemšanu, pamatojoties uz tā novērojumiem, savukārt kritiķis novērtē darbības vērtību. Svarīgs šī tīkla aspekts ir tas, kā tas apstrādā novērošanas un darbības telpas, nodrošinot to saskaņošanu ar tīkla slāņiem. Izmantošana PyTorch's secīgie slāņi racionalizē modeļa arhitektūru un palīdz efektīvi nodot datus caur vairākiem slēptiem slāņiem.

Skripta otrā daļa ir vērsta uz darbības un novērošanas telpas definīcijām, izmantojot Gym’s atstarpes.Box(). Tas ir ļoti svarīgi pastiprinošās mācību vidēs, kur aģentiem ir jāsadarbojas iepriekš noteiktās robežās. Darbības telpa šeit ir nepārtraukta, un katrs aģents saņem divas vērtības, piemēram, kustību x un y asīs. Novērošanas telpa ir definēta līdzīgi, bet ietver papildu parametrus, piemēram, ātrumu. Lai izvairītos no pārveidošanas kļūdām, ir ļoti svarīgi nodrošināt, lai šīs vietas atbilstu aģenta vajadzībām, jo ​​īpaši, strādājot ar daudzdimensiju masīviem un lielām aģentu komandām.

Skripts arī integrē kļūdu apstrādi, lai risinātu pārveidošanas problēmas, kas ir izplatītas pastiprināšanas mācību iestatījumos. Līnija, izmantojot action.reshape() nodrošina, ka darbību masīvi atbilst tīkla sagaidāmajiem izmēriem. Šī ir galvenā funkcija, lai izvairītos no dimensiju neatbilstības kļūdām izpildlaikā. Ja dati neatbilst paredzētajai formai, skripts uztver kļūdu un reģistrē to atkļūdošanai. Šis kļūdu apstrādes mehānisms ir svarīgs nepārtrauktos apmācības procesos, kur neapstrādātas kļūdas var apturēt visa tīkla apmācību.

Risinājuma trešā daļa iepazīstina ar izmantošanu PyTorch tenzori un izplatīšanas paraugu ņemšana darbības izvēlei. Pārvēršot novērojumus par tensoriem, modelis tiek optimizēts izpildei gan CPU, gan GPU. Kategoriskā sadalījuma izmantošana ļauj tīklam atlasīt darbību paraugus, pamatojoties uz dalībnieku tīkla izveidotajiem logiem. Tas nodrošina, ka aģenta darbības tiek izvēlētas pēc varbūtības, kas ir ļoti svarīgi pastiprināšanas mācību algoritmos, piemēram, proksimālās politikas optimizācijā (PPO). Šī slāņu, telpu un tenzoru manipulāciju kombinācija nodrošina efektīvu mācīšanos dinamiskā, daudzu aģentu vidē.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Pastiprināšanas apmācības optimizēšana, izmantojot pielāgotus politikas tīklus

Viens no galvenajiem pastiprināšanas mācību aspektiem pielāgotās vidēs ir pareizs novērošanas un darbības telpu dizains. Šīs telpas nosaka, kā aģenti mijiedarbojas ar savu vidi. Tipiska problēma rodas, ja aģentiem ar nepārtrauktas darbības telpām, piemēram, flokēšanas aģentiem, ir nepieciešama rūpīga novērošanas telpas un tīkla slāņu izlīdzināšana. Lūk, darbības telpa ir pareizi jādefinē, izmantojot sporta zāles atstarpes.Box(), nodrošinot, ka aģentu darbības ietilpst norādītajā diapazonā, kas tieši ietekmē politikas tīkla mācīšanās veiktspēju.

Mērogojot šos tīklus uz vairāku aģentu vidi, daudzdimensiju datu apstrāde kļūst par lielu izaicinājumu. Šādos gadījumos tīkla slāņiem jāspēj efektīvi apstrādāt daudzdimensiju ievades. Tādi rīki kā PyTorch nn.ModuleList() ļauj moduļu veidā sakraut vairākus slāņus, atvieglojot tīkla arhitektūras mērogošanu, palielinoties vides sarežģītībai. Moduļu arhitektūras uzlabo koda atkārtotu izmantošanu un arī vienkāršo atkļūdošanu, ja apmācības laikā rodas kļūdas, piemēram, pārveidošanas problēmas.

Turklāt kļūdu apstrādes nozīmi nevar pārvērtēt. Strukturētu metožu izmantošana, piemēram, mēģināt-izņemot bloki, lai uztvertu pārveidošanas kļūdas, nodrošina, ka apmācība var noritēt bez pēkšņām kļūmēm. Tas ir īpaši noderīgi, veicot testēšanu dinamiskā vidē, kur aģenti bieži mijiedarbojas viens ar otru. Savlaicīgi atklājot šīs kļūdas, varat precīzi noteikt problēmas avotu un ieviest labojumus, lai uzlabotu modeļa vispārējo veiktspēju. Regulāra ierīces statusa un slāņa izvadu reģistrēšana ir vēl viens veids, kā nodrošināt vienmērīgu un bez kļūdām pielāgotās politikas tīkla izpildi.