Ispravljanje pogrešaka preoblikovanja za učenje pojačanja s više agenata u mrežama prilagođenih pravila

Razumijevanje pogrešaka preoblikovanja u prilagođenim mrežama

Prilikom implementacije prilagođene mreže pravila za učenje pojačanja, pogreške preoblikovanja su uobičajena prepreka, posebno u okruženjima s više agenata. Ove se pogreške često pojavljuju pri definiranju prostora promatranja i djelovanja koji se ne uspijevaju ispravno uskladiti tijekom obuke modela.

U ovom scenariju istražit ćemo problem preoblikovanja koji se susreće u prilagođenom okruženju flockinga, gdje se agentovim prostorima za promatranje i djelovanje treba pažljivo postupati kako bi se izbjegle nepodudarnosti dimenzija. Ovaj problem može zaustaviti obuku i spriječiti modele u napredovanju.

Problem se obično pojavljuje kada se podaci propuštaju kroz slojeve neuronske mreže, osobito kada su dimenzije akcijskog prostora netočno preoblikovane. To se može pratiti unazad do interakcije između dimenzija prostora za promatranje i slojeva mreže prilagođene politike.

Pažljivim analiziranjem poruka o pogreškama i pregledom mrežne strukture, ovaj će vam vodič pomoći razumjeti glavni uzrok takvih pogrešaka i pružiti rješenja za prilagodbu dizajna mreže pravila. Pravilno preoblikovanje nizova osigurava neometanu obuku i sprječava kritične kvarove tijekom zadataka učenja pojačanja.

Istraživanje mreža prilagođenih pravila za okruženja s više agenata

Isporučene Python skripte dizajnirane su za rješavanje pogrešaka preoblikovanja unutar prilagođenih mreža pravila, posebno u okruženjima s više agenata korištenjem učenja pojačanja. Prva skripta definira strukturu a prilagođena politika za više agenata, koja se služi glumačko-kritičkim metodama. Glumac je odgovoran za odlučivanje o akciji agenta na temelju svog opažanja, dok kritičar procjenjuje vrijednost radnje. Važan aspekt ove mreže je kako upravlja prostorima promatranja i djelovanja, osiguravajući njihovo usklađivanje sa slojevima mreže. Upotreba PyTorch-a sekvencijalni slojevi pojednostavljuju arhitekturu modela i pomažu u učinkovitom prolasku podataka kroz više skrivenih slojeva.

Drugi dio scenarija fokusiran je na definiranje prostora akcije i promatranja pomoću Gym-a razmaci.Box(). Ovo je ključno u okruženjima za učenje s potkrepljenjem, gdje agenti moraju komunicirati unutar unaprijed definiranih granica. Prostor akcije ovdje je kontinuiran, pri čemu svaki agent prima dvije vrijednosti, kao što je kretanje po x i y osi. Prostor za promatranje definiran je na sličan način, ali uključuje dodatne parametre kao što je brzina. Osiguravanje da ti prostori odgovaraju potrebama agenta ključno je za izbjegavanje grešaka pri preoblikovanju, posebno kada se radi o višedimenzionalnim nizovima i velikim timovima agenata.

Skripta također integrira rukovanje pogreškama kako bi se riješili problemi preoblikovanja, koji su česti u postavkama učenja za pojačanje. Korištenje linije action.reshape() osigurava da akcijski nizovi odgovaraju dimenzijama koje mreža očekuje. Ovo je ključna funkcija za izbjegavanje pogrešaka neusklađenosti dimenzija tijekom izvođenja. Ako podaci nisu u skladu s očekivanim oblikom, skripta hvata pogrešku i bilježi je radi otklanjanja pogrešaka. Ovaj mehanizam rukovanja pogreškama važan je za kontinuirane procese obuke, gdje bi neobrađene pogreške mogle zaustaviti obuku cijele mreže.

Treći dio rješenja uvodi korištenje PyTorch tenzori i distribucijsko uzorkovanje za odabir akcije. Pretvaranjem opažanja u tenzore, model je optimiziran za izvođenje i na CPU-u i na GPU-u. Korištenje kategoričke distribucije omogućuje mreži uzorkovanje radnji na temelju logita koje proizvodi mreža aktera. Ovo osigurava da su radnje agenta odabrane vjerojatnosno, što je ključno u algoritmima učenja pojačanja kao što je proksimalna optimizacija politike (PPO). Ova kombinacija slojeva, prostora i manipulacije tenzorima omogućuje učinkovito učenje u dinamičnom okruženju s više agenata.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Optimiziranje učenja pojačanja s prilagođenim mrežama pravila

Jedan ključni aspekt učenja s potkrepljenjem u prilagođenim okruženjima je ispravan dizajn prostora za promatranje i djelovanje. Ti prostori određuju način na koji agenti komuniciraju sa svojom okolinom. Tipičan problem nastaje kada agenti s kontinuiranim prostorom djelovanja, poput agenata za stado, zahtijevaju pažljivo usklađivanje između prostora promatranja i mrežnih slojeva. Evo, prostor djelovanja mora biti pravilno definiran pomoću Gym’s razmaci.Box(), osiguravajući da akcije agenata budu unutar navedenog raspona, što izravno utječe na izvedbu učenja mreže pravila.

Prilikom skaliranja ovih mreža na okruženje s više agenata, rukovanje višedimenzionalnim podacima postaje veliki izazov. U takvim slučajevima, mrežni slojevi bi trebali biti sposobni učinkovito obraditi višedimenzionalne ulaze. Alati poput PyTorcha nn.ModuleList() omogućuju slaganje više slojeva na modularan način, što olakšava skaliranje mrežne arhitekture kako se složenost okruženja povećava. Modularne arhitekture poboljšavaju mogućnost ponovne upotrebe koda i pojednostavljuju otklanjanje pogrešaka kada se tijekom obuke pojave pogreške poput problema s preoblikovanjem.

Nadalje, važnost rukovanja pogreškama ne može se precijeniti. Korištenje strukturiranih metoda kao što su pokušaj-osim blokovi za hvatanje pogrešaka preoblikovanja osiguravaju nastavak obuke bez naglih kvarova. Ovo je osobito korisno pri testiranju u dinamičnim okruženjima gdje agenti često međusobno komuniciraju. Ranim otkrivanjem ovih pogrešaka možete točno odrediti izvor problema i implementirati popravke kako biste poboljšali ukupnu izvedbu modela. Redovito bilježenje statusa uređaja i izlaza slojeva još je jedan način da se osigura neometano izvođenje prilagođene mreže pravila bez grešaka.