Átalakítási hibák kijavítása a többügynökkel kapcsolatos megerősítési tanulás során az egyéni házirend-hálózatokban

Az egyéni hálózatok átformálási hibáinak megértése

Egyéni szabályzati hálózat implementálásakor a megerősítő tanuláshoz az átformálási hibák gyakori akadályt jelentenek, különösen a többügynököt tartalmazó környezetekben. Ezek a hibák gyakran előfordulnak olyan megfigyelési és cselekvési terek meghatározásakor, amelyek nem illeszkednek megfelelően a modell betanítása során.

Ebben a forgatókönyvben egy olyan átformálási problémát vizsgálunk meg, amely egy egyéni flokkolási környezetben tapasztalható, ahol az ügynök megfigyelési és műveleti területeit gondosan kell kezelni a méretbeli eltérések elkerülése érdekében. Ez a probléma leállíthatja a képzést, és megakadályozhatja a modellek fejlődését.

A probléma általában akkor jelentkezik, amikor az adatokat neurális hálózati rétegeken továbbítják, különösen akkor, ha a cselekvési tér méreteit helytelenül alakítják át. Ez a megfigyelési tér dimenziói és az egyéni házirend-hálózat rétegei közötti kölcsönhatásra vezethető vissza.

A hibaüzenetek gondos elemzésével és a hálózati struktúra áttekintésével ez az útmutató segít megérteni az ilyen hibák kiváltó okát, és megoldásokat kínál a házirend-hálózat kialakításának módosítására. A tömbök megfelelő átalakítása biztosítja a zökkenőmentes képzést és megakadályozza a kritikus hibákat a megerősítési tanulási feladatok során.

Egyéni házirend-hálózatok felfedezése többügynökes környezetekhez

A mellékelt Python-szkriptek az egyéni házirend-hálózatokon belüli átformálási hibák kezelésére szolgálnak, különösen a megerősítő tanulást használó, többügynököt tartalmazó környezetekben. Az első szkript határozza meg a szerkezetét egyéni többügynök-politika, amely színészkritikus módszereket alkalmaz. A színész felelős azért, hogy a megfigyelése alapján döntsön az ügynök cselekvéséről, míg a kritikus értékeli a cselekvés értékét. Ennek a hálózatnak az a fontos szempontja, hogy hogyan kezeli a megfigyelési és cselekvési tereket, biztosítva, hogy azok illeszkedjenek a hálózat rétegeihez. A használata PyTorch A szekvenciális rétegek leegyszerűsítik a modellarchitektúrát, és segítik az adatok hatékony továbbítását több rejtett rétegen.

A forgatókönyv második része az akció- és megfigyelési tér meghatározására összpontosít a Gym's segítségével szóközök.Box(). Ez döntő fontosságú a megerősítő tanulási környezetekben, ahol az ágenseknek előre meghatározott határokon belül kell interakcióba lépniük. A cselekvési tér itt folyamatos, minden ügynök két értéket kap, például mozgást az x és az y tengelyben. A megfigyelési tér hasonlóképpen van meghatározva, de további paramétereket, például sebességet tartalmaz. Annak biztosítása, hogy ezek a terek megfeleljenek az ügynök igényeinek, kritikus fontosságú az átformálási hibák elkerülése érdekében, különösen többdimenziós tömbök és nagy ügynökcsoportok esetén.

A szkript a hibakezelést is integrálja az átalakítási problémák megoldására, amelyek gyakoriak a megerősítő tanulási beállításokban. A vonal használata action.reshape() biztosítja, hogy a művelettömbök megfeleljenek a hálózat által elvárt méreteknek. Ez egy kulcsfontosságú funkció a dimenziós eltérések elkerülése érdekében futás közben. Ha az adatok nem felelnek meg a várt alaknak, a szkript elkapja a hibát, és naplózza azt hibakeresés céljából. Ez a hibakezelési mechanizmus fontos a folyamatos betanítási folyamatokhoz, ahol a kezeletlen hibák leállíthatják a teljes hálózat betanítását.

A megoldás harmadik része a használatát mutatja be PyTorch tenzorok és eloszlási mintavétel a cselekvés kiválasztásához. A megfigyelések tenzorokká konvertálásával a modell CPU-n és GPU-n történő végrehajtásra is optimalizálva van. A Kategorikus eloszlás használata lehetővé teszi a hálózat számára, hogy a cselekvőhálózat által előállított logikai adatok alapján mintát vegyen a műveletekről. Ez biztosítja, hogy az ügynök műveleteit valószínűségi alapon választják meg, ami kulcsfontosságú a megerősítő tanulási algoritmusok, például a Proximal Policy Optimization (PPO) esetében. A rétegek, terek és tenzormanipuláció ezen kombinációja hatékony tanulást tesz lehetővé egy dinamikus, több ügynököt tartalmazó környezetben.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Megerősítő tanulás optimalizálása egyéni szabályzati hálózatokkal

Az egyéni környezetben végzett megerősítéses tanulás egyik kulcsfontosságú szempontja a megfigyelési és cselekvési terek helyes kialakítása. Ezek a terek határozzák meg, hogy az ügynökök hogyan lépnek kapcsolatba környezetükkel. Tipikus probléma akkor merül fel, amikor a folyamatos cselekvési terekkel rendelkező ügynökök, például a flokoló ügynökök gondos összehangolást igényelnek a megfigyelési tér és a hálózati rétegek között. Itt, a cselekvési tér megfelelően kell meghatározni a Gym segítségével szóközök.Box(), biztosítva, hogy az ügynökök tevékenységei a megadott tartományba esnek, ami közvetlenül befolyásolja az irányelvhálózat tanulási teljesítményét.

Amikor ezeket a hálózatokat többügynökös környezetre méretezzük, a többdimenziós adatok kezelése komoly kihívássá válik. Ilyen esetekben a hálózati rétegeknek képesnek kell lenniük a többdimenziós bemenetek hatékony feldolgozására. Olyan eszközök, mint a PyTorch nn.ModuleList() lehetővé teszi több réteg moduláris egymásra helyezését, így a környezet összetettségének növekedésével könnyebbé válik a hálózati architektúra méretezése. A moduláris architektúrák javítják a kód újrafelhasználhatóságát, és leegyszerűsítik a hibakeresést is, ha olyan hibák merülnek fel, mint például az átalakítási problémák a képzés során.

Ezenkívül a hibakezelés fontosságát nem lehet túlhangsúlyozni. Strukturált módszerek alkalmazása, mint pl próba-kivéve Az átformálási hibák elkapására szolgáló blokkok biztosítják, hogy az edzés hirtelen kudarcok nélkül folytatódhasson. Ez különösen hasznos dinamikus környezetben végzett teszteléskor, ahol az ügynökök gyakran kölcsönhatásba lépnek egymással. Ha korán észleli ezeket a hibákat, pontosan meghatározhatja a probléma forrását, és javításokat hajthat végre a modell általános teljesítményének javítása érdekében. Az eszközállapot és a rétegkimenetek rendszeres naplózása egy másik módja az egyéni házirend-hálózat zökkenőmentes és hibamentes végrehajtásának.