Oprava chýb pri pretváraní pre učenie sa posilňovaním viacerých agentov v sieťach vlastných zásad

Pochopenie chýb pri zmene tvaru vo vlastných sieťach

Pri implementácii vlastnej siete politík na posilnenie učenia sú častou prekážkou chyby pretvárania, najmä v prostrediach s viacerými agentmi. Tieto chyby často vznikajú pri definovaní pozorovacích a akčných priestorov, ktoré sa počas tréningu modelu nedokážu správne zarovnať.

V tomto scenári preskúmame problém s pretváraním, ktorý sa vyskytuje vo vlastnom prostredí flockingu, kde je potrebné opatrne zaobchádzať s priestormi na pozorovanie a akcie agenta, aby sa predišlo nesúladu rozmerov. Tento problém môže zastaviť tréning a zabrániť modelom v napredovaní.

Problém sa zvyčajne objavuje, keď údaje prechádzajú vrstvami neurónovej siete, najmä ak sú rozmery akčného priestoru nesprávne pretvorené. To možno vysledovať späť k interakcii medzi dimenziami pozorovacieho priestoru a vrstvami siete vlastnej politiky.

Dôkladnou analýzou chybových hlásení a preskúmaním štruktúry siete vám táto príručka pomôže pochopiť hlavnú príčinu takýchto chýb a poskytne riešenia na úpravu návrhu siete s pravidlami. Správne pretvorenie polí zaisťuje hladký tréning a zabraňuje kritickým zlyhaniam počas úloh učenia posilňovania.

Skúmanie sietí vlastných zásad pre prostredia s viacerými agentmi

Poskytnuté skripty Pythonu sú navrhnuté tak, aby riešili chyby pri pretváraní v rámci vlastných sietí politík, najmä v prostrediach s viacerými agentmi, ktoré využívajú učenie posilňovania. Prvý skript definuje štruktúru a vlastnú politiku viacerých agentov, ktorá využíva herecké kritické metódy. Herec je zodpovedný za rozhodnutie o akcii agenta na základe jeho pozorovania, zatiaľ čo kritik hodnotí hodnotu akcie. Dôležitým aspektom tejto siete je spôsob, akým zaobchádza s priestormi pozorovania a akcií a zabezpečuje, aby boli v súlade s vrstvami siete. Použitie PyTorch's sekvenčné vrstvy zefektívňujú architektúru modelu a pomáhajú efektívne prenášať údaje cez viacero skrytých vrstiev.

Druhá časť scenára sa zameriava na definície akčného a pozorovacieho priestoru pomocou Gym’s medzery.Box(). Toto je kľúčové v prostrediach posilňovania výučby, kde agenti musia interagovať v rámci vopred definovaných hraníc. Akčný priestor je tu spojitý, pričom každý agent dostáva dve hodnoty, ako napríklad pohyb v osiach x a y. Pozorovací priestor je definovaný podobne, ale zahŕňa ďalšie parametre, ako je rýchlosť. Zabezpečenie toho, aby tieto priestory zodpovedali potrebám agenta, je rozhodujúce, aby sa predišlo chybám pri zmene tvaru, najmä pri práci s viacrozmernými poľami a veľkými tímami agentov.

Skript tiež integruje spracovanie chýb na riešenie problémov s pretváraním, ktoré sú bežné v nastaveniach učenia posilňovania. Pomocou linky action.reshape() zabezpečuje, že akčné polia zodpovedajú rozmerom očakávaným sieťou. Toto je kľúčová funkcia, ktorá zabráni chybám nesúladu rozmerov počas behu. Ak údaje nezodpovedajú očakávanému tvaru, skript zachytí chybu a zaznamená ju na ladenie. Tento mechanizmus spracovania chýb je dôležitý pre nepretržité tréningové procesy, kde neošetrené chyby môžu zastaviť tréning celej siete.

Tretia časť riešenia predstavuje použitie Tenzory PyTorch a odber vzoriek distribúcie na výber akcie. Prevedením pozorovaní na tenzory je model optimalizovaný na vykonávanie na CPU aj GPU. Použitie kategorickej distribúcie umožňuje sieti vzorkovať akcie na základe logitov vytvorených sieťou aktérov. To zaisťuje, že akcie agenta sa vyberajú pravdepodobnostne, čo je rozhodujúce pri posilňovaní vzdelávacích algoritmov, ako je optimalizácia proximálnej politiky (PPO). Táto kombinácia vrstiev, priestorov a manipulácie s tenzormi umožňuje efektívne učenie v dynamickom prostredí s viacerými agentmi.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Optimalizácia učenia sa posilňovania pomocou sietí vlastných zásad

Jedným z kľúčových aspektov posilňovacieho vzdelávania vo vlastných prostrediach je správny dizajn pozorovacích a akčných priestorov. Tieto priestory určujú, ako agenti interagujú so svojím prostredím. Typický problém nastáva, keď agenti s priestormi kontinuálnej akcie, ako sú flocking agenti, vyžadujú starostlivé zarovnanie medzi pozorovacím priestorom a sieťovými vrstvami. Tu, akčný priestor musia byť správne definované pomocou Gym's medzery.Box(), zabezpečujúce, že akcie agentov spadajú do špecifikovaného rozsahu, ktorý priamo ovplyvňuje výkon učenia siete politík.

Pri škálovaní týchto sietí na prostredie s viacerými agentmi sa práca s viacrozmernými údajmi stáva veľkou výzvou. V takýchto prípadoch by sieťové vrstvy mali byť schopné efektívne spracovať viacrozmerné vstupy. Nástroje ako PyTorch's nn.ModuleList() vám umožňujú modulárne stohovať viacero vrstiev, čo uľahčuje škálovanie sieťovej architektúry so zvyšujúcou sa zložitosťou prostredia. Modulárne architektúry zlepšujú opätovnú použiteľnosť kódu a tiež zjednodušujú ladenie, keď sa počas školenia vyskytnú chyby, ako sú problémy s pretváraním.

Okrem toho nemožno preceňovať dôležitosť spracovania chýb. Využitie štruktúrovaných metód ako napr pokus-okrem bloky na zachytenie chýb pri zmene tvaru zaisťujú, že tréning môže pokračovať bez náhlych zlyhaní. Toto je obzvlášť užitočné pri testovaní v dynamických prostrediach, kde agenti často interagujú navzájom. Včasným zachytením týchto chýb môžete určiť zdroj problému a implementovať opravy na zlepšenie celkového výkonu modelu. Pravidelné zaznamenávanie stavu zariadenia a výstupov vrstiev je ďalším spôsobom, ako zabezpečiť hladké a bezchybné vykonávanie siete vlastných zásad.