Oprava chyb přetváření pro výuku posilování více agentů v sítích vlastních zásad

Pochopení chyb přetváření ve vlastních sítích

Při implementaci vlastní sítě zásad pro posílení učení jsou častou překážkou chyby přetváření, zejména v prostředí s více agenty. Tyto chyby často vznikají při definování pozorovacích a akčních prostorů, které se během trénování modelu neshodují správně.

V tomto scénáři prozkoumáme problém s přetvářením, který se vyskytuje ve vlastním flockovacím prostředí, kde je třeba pečlivě zacházet s pozorovacími a akčními prostory agenta, aby se předešlo nesouladu dimenzí. Tento problém může zastavit trénink a zabránit modelům v postupu.

Problém se obvykle objevuje, když jsou data předávána vrstvami neuronové sítě, zejména když jsou rozměry akčního prostoru nesprávně přepracovány. To lze vysledovat zpětně k interakci mezi dimenzemi pozorovacího prostoru a vrstvami sítě vlastních zásad.

Pečlivou analýzou chybových zpráv a kontrolou struktury sítě vám tato příručka pomůže porozumět hlavní příčině takových chyb a poskytne řešení pro úpravu návrhu sítě zásad. Správné přetváření polí zajišťuje hladký trénink a zabraňuje kritickým selháním při výukových úkolech posilování.

Prozkoumání sítí vlastních zásad pro prostředí s více agenty

Poskytované skripty Pythonu jsou navrženy tak, aby řešily chyby při přetváření v sítích vlastních zásad, zejména v prostředích s více agenty využívající zesílené učení. První skript definuje strukturu a vlastní zásady pro více agentů, která používá herecké metody. Herec je zodpovědný za rozhodování o akci agenta na základě jeho pozorování, zatímco kritik hodnotí hodnotu akce. Důležitým aspektem této sítě je, jak zachází s pozorovacími a akčními prostory a zajišťuje, že jsou v souladu s vrstvami sítě. Použití PyTorch's sekvenční vrstvy zefektivňují architekturu modelu a pomáhají efektivně předávat data přes více skrytých vrstev.

Druhá část scénáře se zaměřuje na definice akčního a pozorovacího prostoru pomocí Gym’s mezery.Box(). To je zásadní v prostředí posilování výuky, kde agenti potřebují interagovat v rámci předem definovaných hranic. Akční prostor je zde spojitý, přičemž každý agent dostává dvě hodnoty, jako je pohyb v osách x a y. Pozorovací prostor je definován podobně, ale zahrnuje další parametry, jako je rychlost. Zajištění toho, aby tyto prostory odpovídaly potřebám agenta, je zásadní pro zamezení chybám při změně tvaru, zejména při práci s vícerozměrnými poli a velkými týmy agentů.

Skript také integruje zpracování chyb k řešení problémů s přetvářením, které jsou běžné v nastaveních pro výuku posilování. Linka pomocí action.reshape() zajišťuje, že akční pole odpovídají rozměrům očekávaným sítí. Toto je klíčová funkce, která zabrání chybám při nesouladu rozměrů během běhu. Pokud data neodpovídají očekávanému tvaru, skript zachytí chybu a zaprotokoluje ji pro ladění. Tento mechanismus zpracování chyb je důležitý pro nepřetržité tréninkové procesy, kde by neošetřené chyby mohly zastavit trénink celé sítě.

Třetí část řešení představuje použití Tenzory PyTorch a vzorkování distribuce pro výběr akce. Převedením pozorování na tenzory je model optimalizován pro provádění na CPU i GPU. Použití kategorické distribuce umožňuje síti vzorkovat akce na základě logitů vytvořených sítí aktérů. To zajišťuje, že akce agenta jsou vybírány pravděpodobnostně, což je klíčové při posilování výukových algoritmů, jako je Proximal Policy Optimization (PPO). Tato kombinace vrstev, prostorů a manipulace s tenzory umožňuje efektivní učení v dynamickém prostředí s více agenty.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Optimalizace posilování učení pomocí sítí Custom Policy Networks

Jedním z klíčových aspektů posilovacího učení ve vlastních prostředích je správný návrh pozorovacích a akčních prostor. Tyto prostory určují, jak agenti interagují se svým prostředím. Typický problém nastává, když agenti s kontinuálními akčními prostory, jako jsou flockovací agenti, vyžadují pečlivé zarovnání mezi pozorovacím prostorem a síťovými vrstvami. Tady, akční prostor musí být správně definovány pomocí Gym's mezery.Box()zajišťující, že akce agentů spadají do specifikovaného rozsahu, což přímo ovlivňuje výkon učení sítě politik.

Při škálování těchto sítí na prostředí s více agenty se zpracování vícerozměrných dat stává velkou výzvou. V takových případech by síťové vrstvy měly být schopny efektivně zpracovávat vícerozměrné vstupy. Nástroje jako PyTorch's nn.ModuleList() umožňují skládat více vrstev modulárním způsobem, což usnadňuje škálování síťové architektury se zvyšující se složitostí prostředí. Modulární architektury zlepšují opětovnou použitelnost kódu a také zjednodušují ladění, když se během školení vyskytnou chyby, jako jsou problémy se změnou tvaru.

Kromě toho nelze přeceňovat důležitost zpracování chyb. Použití strukturovaných metod jako např zkuste-kromě bloky k zachycení chyb přetváření zajišťuje, že trénink může pokračovat bez náhlých selhání. To je užitečné zejména při testování v dynamických prostředích, kde se agenti často vzájemně ovlivňují. Včasným zachycením těchto chyb můžete určit zdroj problému a implementovat opravy ke zlepšení celkového výkonu modelu. Pravidelné protokolování stavu zařízení a výstupů vrstvy je dalším způsobem, jak zajistit hladké a bezchybné provádění sítě vlastních zásad.