Özel Politika Ağlarında Çok Aracılı Güçlendirme Öğrenimi için Yeniden Şekillendirme Hatalarını Düzeltme

Özel Ağlarda Yeniden Şekillendirme Hatalarını Anlama

Takviyeli öğrenme için özel bir politika ağı uygularken, yeniden şekillendirme hataları, özellikle çok aracılı ortamlarda yaygın bir engeldir. Bu hatalar genellikle model eğitimi sırasında doğru şekilde hizalanamayan gözlem ve eylem alanlarını tanımlarken ortaya çıkar.

Bu senaryoda, boyut uyumsuzluklarını önlemek için aracının gözlem ve eylem alanlarının dikkatle ele alınması gereken özel bir akın ortamında karşılaşılan bir yeniden şekillendirme sorununu inceleyeceğiz. Bu sorun eğitimi durdurabilir ve modellerin ilerlemesini engelleyebilir.

Sorun genellikle veriler sinir ağı katmanlarından geçirildiğinde, özellikle de eylem alanı boyutları yanlış şekilde yeniden şekillendirildiğinde ortaya çıkar. Bu, gözlem alanı boyutları ile özel politika ağının katmanları arasındaki etkileşime kadar izlenebilir.

Hata mesajlarını dikkatlice analiz ederek ve ağ yapısını inceleyerek bu kılavuz, bu tür hataların temel nedenini anlamanıza yardımcı olacak ve politika ağının tasarımını ayarlamak için çözümler sunacaktır. Dizilerin uygun şekilde yeniden şekillendirilmesi, eğitimin sorunsuz olmasını sağlar ve takviyeli öğrenme görevleri sırasında kritik hataları önler.

Çok Aracılı Ortamlar için Özel Politika Ağlarını Keşfetmek

Sağlanan Python komut dosyaları, özel politika ağlarındaki, özellikle takviyeli öğrenmenin kullanıldığı çok aracılı ortamlardaki yeniden şekillendirme hatalarını gidermek için tasarlanmıştır. İlk komut dosyası bir yapının yapısını tanımlar. özel çoklu aracı politikasıaktör-eleştirmen yöntemlerini kullanan. Aktör, gözlemine dayanarak temsilcinin eylemine karar vermekten sorumludur; eleştirmen ise eylemin değerini değerlendirir. Bu ağın önemli yönü, gözlem ve eylem alanlarını nasıl ele aldığı ve bunların ağın katmanlarıyla hizalanmasını sağlamasıdır. Kullanımı PyTorch'un sıralı katmanlar, model mimarisini kolaylaştırır ve verilerin birden fazla gizli katmandan verimli bir şekilde geçirilmesine yardımcı olur.

Senaryonun ikinci kısmı Gym’in kullandığı aksiyon ve gözlem alanı tanımlarına odaklanıyor. boşluklar.Box(). Bu, aracıların önceden tanımlanmış sınırlar dahilinde etkileşime girmesi gereken takviyeli öğrenme ortamlarında çok önemlidir. Buradaki eylem alanı süreklidir ve her aracı x ve y eksenlerindeki hareket gibi iki değer alır. Gözlem alanı da benzer şekilde tanımlanır ancak hız gibi ek parametreler içerir. Bu alanların aracının ihtiyaçlarına uygun olmasını sağlamak, özellikle çok boyutlu diziler ve büyük aracı ekipleriyle çalışırken yeniden şekillendirme hatalarından kaçınmak açısından kritik öneme sahiptir.

Komut dosyası ayrıca, takviyeli öğrenme kurulumlarında yaygın olan yeniden şekillendirme sorunlarını gidermek için hata işlemeyi de entegre eder. Kullanan hat action.reshape() eylem dizilerinin ağ tarafından beklenen boyutlarla eşleşmesini sağlar. Bu, çalışma zamanı sırasında boyut uyumsuzluğu hatalarını önlemek için önemli bir işlevdir. Veriler beklenen şekle uymuyorsa, komut dosyası hatayı yakalar ve hata ayıklama için günlüğe kaydeder. Bu hata işleme mekanizması, işlenmeyen hataların tüm ağın eğitimini durdurabileceği sürekli eğitim süreçleri için önemlidir.

Çözümün üçüncü kısmı kullanımını tanıtıyor PyTorch tensörleri ve eylem seçimi için dağıtım örneklemesi. Gözlemleri tensörlere dönüştürerek model, hem CPU hem de GPU üzerinde yürütülmek üzere optimize edilir. Kategorik dağıtımın kullanılması, ağın, aktör ağı tarafından üretilen logitlere dayalı olarak eylemleri örneklemesine olanak tanır. Bu, aracının eylemlerinin olasılıksal olarak seçilmesini sağlar; bu, Yakınsal Politika Optimizasyonu (PPO) gibi takviyeli öğrenme algoritmalarında çok önemlidir. Katmanların, boşlukların ve tensör manipülasyonunun bu kombinasyonu, dinamik, çok aracılı bir ortamda etkili öğrenmeyi mümkün kılar.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Özel Politika Ağlarıyla Takviyeli Öğrenmeyi Optimize Etme

Özel ortamlarda takviyeli öğrenmenin önemli bir yönü, gözlem ve eylem alanlarının doğru tasarımıdır. Bu alanlar, ajanların çevreleriyle nasıl etkileşime gireceğini belirler. Tipik bir sorun, akın etme ajanları gibi sürekli eylem alanlarına sahip etmenlerin, gözlem alanı ile ağ katmanları arasında dikkatli bir hizalamaya ihtiyaç duyması durumunda ortaya çıkar. Burada, aksiyon alanı Gym’s kullanılarak doğru şekilde tanımlanmalıdır. boşluklar.Box()Aracıların eylemlerinin, politika ağının öğrenme performansını doğrudan etkileyen belirtilen aralıkta kalmasını sağlamak.

Bu ağları çok aracılı bir ortama ölçeklendirirken, çok boyutlu verilerin işlenmesi büyük bir zorluk haline gelir. Bu gibi durumlarda ağ katmanlarının çok boyutlu girdileri verimli bir şekilde işleyebilmesi gerekir. PyTorch'unki gibi araçlar nn.ModuleList() birden çok katmanı modüler bir biçimde istiflemenize olanak tanıyarak, ortamın karmaşıklığı arttıkça ağ mimarisini ölçeklendirmeyi kolaylaştırır. Modüler mimariler, kodun yeniden kullanılabilirliğini artırır ve eğitim sırasında yeniden şekillendirme sorunları gibi hatalar ortaya çıktığında hata ayıklamayı da basitleştirir.

Ayrıca, hata işlemenin önemi abartılamaz. gibi yapılandırılmış yöntemlerin kullanımı deneme-hariç Yeniden şekillendirme hatalarını yakalayan bloklar, eğitimin ani arızalar olmadan devam edebilmesini sağlar. Bu, özellikle aracıların birbirleriyle sık sık etkileşime girdiği dinamik ortamlarda test yaparken kullanışlıdır. Bu hataları erken yakalayarak sorunun kaynağını belirleyebilir ve modelin genel performansını iyileştirecek düzeltmeler uygulayabilirsiniz. Cihaz durumunun ve katman çıktılarının düzenli olarak kaydedilmesi, özel politika ağının sorunsuz ve hatasız yürütülmesini sağlamanın başka bir yoludur.