Kohandatud poliitikavõrkudes mitme agendi tugevdamise õppe ümberkujundamise vigade parandamine

Kohandatud võrkude ümberkujundamise vigade mõistmine

Tugevdusõppe kohandatud poliitikavõrgustiku rakendamisel on ümberkujundamise vead sagedaseks takistuseks, eriti mitme agentuuriga keskkondades. Need vead tekivad sageli vaatlus- ja tegevusruumide määratlemisel, mis ei joondu mudelitreeningu ajal õigesti.

Selle stsenaariumi korral uurime kohandatud flokeerimiskeskkonnas ilmnenud ümberkujundamise probleemi, kus agendi vaatlus- ja tegevusruume tuleb mõõtmete mittevastavuse vältimiseks hoolikalt käsitleda. See probleem võib peatada koolituse ja takistada mudelite edasiliikumist.

Probleem ilmneb tavaliselt siis, kui andmed edastatakse läbi närvivõrgu kihtide, eriti kui tegevusruumi mõõtmed on valesti ümber kujundatud. Seda saab jälgida vaatlusruumi mõõtmete ja kohandatud poliitikavõrgustiku kihtide vahelise vastasmõjuga.

Veateateid hoolikalt analüüsides ja võrgustruktuuri üle vaadates aitab käesolev juhend teil mõista selliste vigade algpõhjuseid ja pakub lahendusi poliitikavõrgu kujunduse kohandamiseks. Massiivide õige ümberkujundamine tagab sujuva väljaõppe ja hoiab ära kriitilised tõrked tugevdamise õppeülesannete ajal.

Mitme agendi keskkondade kohandatud poliitikavõrgustike uurimine

Kaasasolevad Pythoni skriptid on loodud kohandatud poliitikavõrkude ümberkujundamise vigade lahendamiseks, eriti mitme agendi keskkondades, mis kasutavad tugevdusõpet. Esimene skript määratleb a struktuuri kohandatud mitme agendi poliitika, mis kasutab näitlejakriitiku meetodeid. Näitleja vastutab agendi tegevuse üle tema vaatluse põhjal otsustamise eest, kriitik hindab aga tegevuse väärtust. Selle võrgu oluline aspekt on see, kuidas ta käsitleb vaatlus- ja tegevusruume, tagades, et need ühtivad võrgu kihtidega. Kasutamine PyTorchi oma järjestikused kihid ühtlustavad mudeli arhitektuuri ja aitavad andmeid tõhusalt läbi mitme peidetud kihi edastada.

Stsenaariumi teine ​​osa keskendub tegevus- ja vaatlusruumi määratlustele, kasutades Gym’s tühikud.Box(). See on ülioluline tugevdavates õpikeskkondades, kus agendid peavad suhtlema etteantud piirides. Tegevusruum on siin pidev, iga agent saab kaks väärtust, näiteks liikumine x- ja y-teljel. Vaatlusruum on sarnaselt määratletud, kuid sisaldab täiendavaid parameetreid, nagu kiirus. Nende ruumide vastavus agendi vajadustele on ülioluline ümberkujundamise vigade vältimiseks, eriti kui tegemist on mitmemõõtmeliste massiivide ja suurte agendimeeskondadega.

Skript integreerib ka veakäsitluse, et lahendada ümberkujundamisprobleeme, mis on tavalised tugevdamisõppe seadistustes. Kasutatav rida action.reshape() tagab, et toimingumassiivid vastavad võrgu poolt oodatud mõõtmetele. See on põhifunktsioon, et vältida dimensioonide mittevastavuse vigu käitusajal. Kui andmed ei vasta oodatud kujule, tabab skript vea ja logib selle silumiseks. See vigade käsitlemise mehhanism on oluline pidevate koolitusprotsesside jaoks, kus käsitlemata vead võivad peatada kogu võrgu koolituse.

Lahenduse kolmas osa tutvustab kasutamist PyTorchi tensorid ja jaotusproovide võtmine tegevuse valikuks. Vaatlused tensoriteks teisendades optimeeritakse mudel nii CPU-s kui ka GPU-s täitmiseks. Kategoorilise jaotuse kasutamine võimaldab võrgustikul võtta toiminguid näidiseks, mis põhinevad osalejate võrgustiku loodud logitidel. See tagab, et agendi toimingud valitakse tõenäosuslikult, mis on ülioluline õppimisalgoritmide, näiteks proksimaalse poliitika optimeerimise (PPO) tugevdamisel. See kihtide, ruumide ja tensoriga manipuleerimise kombinatsioon võimaldab tõhusat õppimist dünaamilises mitme agentuuriga keskkonnas.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Tugevdamise õppe optimeerimine kohandatud poliitikavõrgustike abil

Üks kohandatud keskkondades õppimise tugevdamise põhiaspekte on vaatlus- ja tegevusruumide õige kujundus. Need ruumid määravad, kuidas agendid oma keskkonnaga suhtlevad. Tüüpiline probleem tekib siis, kui pideva tegevusruumiga agendid, nagu flokeerivad agendid, nõuavad vaatlusruumi ja võrgukihtide hoolikat joondamist. Siin, tegevusruum tuleb jõusaali abil õigesti määratleda tühikud.Box(), tagades, et agentide tegevused jäävad kindlaksmääratud vahemikku, mis mõjutab otseselt poliitikavõrgustiku õppimisvõimet.

Nende võrkude skaleerimisel mitme agendi keskkonnaks muutub mitmemõõtmeliste andmete käsitlemine suureks väljakutseks. Sellistel juhtudel peaksid võrgukihid suutma tõhusalt töödelda mitmemõõtmelisi sisendeid. Sellised tööriistad nagu PyTorch nn.ModuleList() võimaldab teil modulaarselt virnastada mitu kihti, mis muudab võrguarhitektuuri skaleerimise keskkonna keerukuse suurenedes lihtsamaks. Moodularhitektuurid parandavad koodi korduvkasutatavust ja lihtsustavad ka silumist, kui treeningu ajal tekivad vead, näiteks ümberkujundamise probleemid.

Lisaks ei saa vigade käsitlemise tähtsust üle tähtsustada. Struktureeritud meetodite kasutamine nagu proovi-välja arvatud plokid ümberkujundamise vigade tabamiseks tagab, et treening saab kulgeda ilma järskude tõrgeteta. See on eriti kasulik testimisel dünaamilistes keskkondades, kus agendid sageli üksteisega suhtlevad. Kui tuvastate need vead varakult, saate täpselt kindlaks teha probleemi allika ja rakendada parandusi, et parandada mudeli üldist jõudlust. Seadme oleku ja kihi väljundite regulaarne logimine on veel üks viis kohandatud poliitikavõrgu sujuva ja vigadeta täitmise tagamiseks.