Исправљање грешака при преобликовању за учење појачања са више агената у мрежама прилагођених смерница

Разумевање грешака при преобликовању у прилагођеним мрежама

Када се имплементира прилагођена мрежа политика за учење са појачањем, грешке при преобликовању су уобичајена препрека, посебно у окружењима са више агената. Ове грешке се често јављају када се дефинишу простори за посматрање и акције који не успевају да се правилно поравнају током обуке модела.

У овом сценарију, истражићемо проблем преобликовања који се јавља у прилагођеном окружењу скупљања, где агентовим просторима за посматрање и акцију треба пажљиво руковати како би се избегла неподударања димензија. Овај проблем може зауставити обуку и спречити напредовање модела.

Проблем се обично појављује када се подаци прослеђују кроз слојеве неуронске мреже, посебно када су димензије акционог простора погрешно преобликована. Ово се може пратити уназад до интеракције између димензија простора за посматрање и слојева мреже прилагођених политика.

Пажљивом анализом порука о грешкама и прегледом структуре мреже, овај водич ће вам помоћи да разумете основни узрок таквих грешака и пружиће решења за прилагођавање дизајна мреже политика. Правилно преобликовање низова обезбеђује несметану обуку и спречава критичне неуспехе током задатака учења појачања.

Истраживање мрежа прилагођених политика за окружења са више агената

Обезбеђене Питхон скрипте су дизајниране да адресирају грешке при преобликовању унутар прилагођених мрежа политика, посебно у окружењима са више агената који користе учење за појачавање. Прва скрипта дефинише структуру а прилагођена политика више агената, који користи методе глумац-критичар. Глумац је одговоран за одлучивање о акцији агента на основу свог посматрања, док критичар процењује вредност акције. Важан аспект ове мреже је начин на који управља просторима за посматрање и акције, осигуравајући да су усклађени са слојевима мреже. Употреба од ПиТорцх'с секвенцијални слојеви поједностављују архитектуру модела и помажу да се подаци ефикасно прођу кроз више скривених слојева.

Други део скрипте се фокусира на дефиниције простора за акцију и посматрање помоћу Гим-а размаци.Бок(). Ово је кључно у окружењима за учење са појачањем, где агенти треба да комуницирају унутар унапред дефинисаних граница. Акциони простор је овде континуиран, при чему сваки агент прима две вредности, као што је кретање по к и и оси. Простор за посматрање је на сличан начин дефинисан али укључује додатне параметре као што је брзина. Обезбеђивање да ови простори одговарају потребама агента је кључно за избегавање грешака при преобликовању, посебно када се ради о вишедимензионалним низовима и великим тимовима агената.

Скрипта такође интегрише руковање грешкама како би се решили проблеми преобликовања, који су уобичајени у подешавањима учења за појачавање. Линија која користи ацтион.ресхапе() осигурава да низови акција одговарају димензијама које очекује мрежа. Ово је кључна функција за избегавање грешака неусклађености димензија током времена рада. Ако подаци нису у складу са очекиваним обликом, скрипта хвата грешку и евидентира је ради отклањања грешака. Овај механизам за руковање грешкама је важан за континуиране процесе обуке, где необрађене грешке могу да зауставе обуку целе мреже.

Трећи део решења уводи у употребу ПиТорцх тензори и узорковање дистрибуције за избор акције. Конвертовањем запажања у тензоре, модел је оптимизован за извршење и на ЦПУ-у и на ГПУ-у. Употреба дистрибуције по категоријама омогућава мрежи да узоркује акције на основу логита које производи мрежа актера. Ово осигурава да се акције агента бирају на основу вероватноће, што је кључно у алгоритмима учења појачања као што је оптимизација проксималне политике (ППО). Ова комбинација слојева, простора и манипулације тензором омогућава ефикасно учење у динамичном окружењу са више агената.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Оптимизација учења уз помоћ прилагођених мрежа

Један кључни аспект учења са појачањем у прилагођеним окружењима је исправан дизајн простора за посматрање и акције. Ови простори диктирају како агенти комуницирају са својим окружењем. Типичан проблем настаје када агенти са непрекидним просторима деловања као што су агенти за прикупљање захтевају пажљиво усклађивање између простора за посматрање и слојева мреже. Ево, акциони простор мора бити правилно дефинисан помоћу теретане размаци.Бок(), обезбеђујући да акције агената буду унутар наведеног опсега, што директно утиче на учинак учења мреже политике.

Када се ове мреже скалирају у окружење са више агената, руковање вишедимензионалним подацима постаје велики изазов. У таквим случајевима, слојеви мреже би требало да буду способни да ефикасно обраде вишедимензионалне улазе. Алати попут ПиТорцх-а нн.МодулеЛист() омогућавају вам да сложите више слојева на модуларан начин, што олакшава скалирање мрежне архитектуре како се комплексност окружења повећава. Модуларне архитектуре побољшавају поновну употребу кода и такође поједностављују отклањање грешака када се током тренинга појаве грешке као што је проблем преобликовања.

Штавише, важност руковања грешкама не може се преценити. Употреба структурираних метода као нпр покушај-осим блокови за хватање грешака преобликовања осигуравају да обука може да се настави без наглих грешака. Ово је посебно корисно када се тестира у динамичким окружењима где агенти често комуницирају једни са другима. Раним откривањем ових грешака можете тачно одредити извор проблема и применити исправке како бисте побољшали укупне перформансе модела. Редовно евидентирање статуса уређаја и излаза слојева је још један начин да се обезбеди несметано извршавање мреже прилагођених политика без грешака.