कस्टम नीति नेटवर्क में मल्टी-एजेंट सुदृढीकरण सीखने के लिए पुनः आकार देने की त्रुटियों को ठीक करना

कस्टम नेटवर्क में त्रुटियों को पुनः आकार देने को समझना

सुदृढीकरण सीखने के लिए एक कस्टम नीति नेटवर्क को लागू करते समय, त्रुटियों को फिर से आकार देना एक आम बाधा है, खासकर बहु-एजेंट वातावरण में। ये त्रुटियाँ अक्सर अवलोकन और क्रिया स्थानों को परिभाषित करते समय उत्पन्न होती हैं जो मॉडल प्रशिक्षण के दौरान सही ढंग से संरेखित होने में विफल रहती हैं।

इस परिदृश्य में, हम एक कस्टम फ़्लॉकिंग वातावरण में आने वाले एक पुन: आकार देने वाले मुद्दे का पता लगाएंगे, जहां आयाम बेमेल से बचने के लिए एजेंट के अवलोकन और कार्रवाई स्थानों को सावधानीपूर्वक संभालने की आवश्यकता होती है। यह समस्या प्रशिक्षण को रोक सकती है और मॉडलों को आगे बढ़ने से रोक सकती है।

समस्या आम तौर पर तब उभरती है जब डेटा को तंत्रिका नेटवर्क परतों से गुजारा जाता है, खासकर जब एक्शन स्पेस आयामों को गलत तरीके से दोबारा आकार दिया जाता है। इसका पता अवलोकन स्थान आयामों और कस्टम नीति नेटवर्क की परतों के बीच बातचीत से लगाया जा सकता है।

त्रुटि संदेशों का सावधानीपूर्वक विश्लेषण करके और नेटवर्क संरचना की समीक्षा करके, यह मार्गदर्शिका आपको ऐसी त्रुटियों के मूल कारण को समझने में मदद करेगी और नीति नेटवर्क के डिज़ाइन को समायोजित करने के लिए समाधान प्रदान करेगी। सरणियों का उचित पुनः आकार देना सुचारू प्रशिक्षण सुनिश्चित करता है और सुदृढीकरण सीखने के कार्यों के दौरान महत्वपूर्ण विफलताओं को रोकता है।

मल्टी-एजेंट वातावरण के लिए कस्टम नीति नेटवर्क की खोज

प्रदान की गई पायथन स्क्रिप्ट को कस्टम नीति नेटवर्क के भीतर विशेष रूप से सुदृढीकरण सीखने का उपयोग करके बहु-एजेंट वातावरण में पुन: आकार देने वाली त्रुटियों को संबोधित करने के लिए डिज़ाइन किया गया है। पहली स्क्रिप्ट a की संरचना को परिभाषित करती है कस्टम मल्टी-एजेंट नीति, जो अभिनेता-आलोचक पद्धतियों का उपयोग करता है। अभिनेता अपने अवलोकन के आधार पर एजेंट की कार्रवाई तय करने के लिए जिम्मेदार है, जबकि आलोचक कार्रवाई के मूल्य का मूल्यांकन करता है। इस नेटवर्क का महत्वपूर्ण पहलू यह है कि यह अवलोकन और कार्रवाई स्थानों को कैसे संभालता है, यह सुनिश्चित करता है कि वे नेटवर्क की परतों के साथ संरेखित हों। का उपयोग PyTorch का अनुक्रमिक परतें मॉडल वास्तुकला को सुव्यवस्थित करती हैं और कई छिपी हुई परतों के माध्यम से डेटा को कुशलतापूर्वक पारित करने में मदद करती हैं।

स्क्रिप्ट का दूसरा भाग जिम का उपयोग करके कार्रवाई और अवलोकन स्थान परिभाषाओं पर केंद्रित है रिक्त स्थान.बॉक्स(). यह सुदृढीकरण सीखने के वातावरण में महत्वपूर्ण है, जहां एजेंटों को पूर्वनिर्धारित सीमाओं के भीतर बातचीत करने की आवश्यकता होती है। यहां क्रिया स्थान निरंतर है, प्रत्येक एजेंट को दो मान प्राप्त होते हैं, जैसे कि x और y अक्षों में गति। अवलोकन स्थान को समान रूप से परिभाषित किया गया है लेकिन इसमें वेग जैसे अतिरिक्त पैरामीटर शामिल हैं। यह सुनिश्चित करना कि ये स्थान एजेंट की ज़रूरतों से मेल खाते हैं, पुनर्आकार संबंधी त्रुटियों से बचने के लिए महत्वपूर्ण है, खासकर जब बहु-आयामी सरणियों और बड़ी एजेंट टीमों के साथ काम कर रहे हों।

स्क्रिप्ट पुन: आकार देने वाले मुद्दों को संबोधित करने के लिए त्रुटि प्रबंधन को भी एकीकृत करती है, जो सुदृढीकरण सीखने के सेटअप में आम हैं। लाइन का उपयोग कर रहे हैं कार्रवाई.पुनर्आकार() यह सुनिश्चित करता है कि क्रिया सारणी नेटवर्क द्वारा अपेक्षित आयामों से मेल खाती है। रनटाइम के दौरान आयाम बेमेल त्रुटियों से बचने के लिए यह एक महत्वपूर्ण कार्य है। यदि डेटा अपेक्षित आकार के अनुरूप नहीं है, तो स्क्रिप्ट त्रुटि पकड़ती है और इसे डिबगिंग के लिए लॉग करती है। यह त्रुटि प्रबंधन तंत्र निरंतर प्रशिक्षण प्रक्रियाओं के लिए महत्वपूर्ण है, जहां अनियंत्रित त्रुटियां पूरे नेटवर्क के प्रशिक्षण को रोक सकती हैं।

समाधान का तीसरा भाग इसके उपयोग का परिचय देता है PyTorch टेंसर और कार्रवाई चयन के लिए वितरण नमूनाकरण। अवलोकनों को टेंसर में परिवर्तित करके, मॉडल को सीपीयू और जीपीयू दोनों पर निष्पादन के लिए अनुकूलित किया जाता है। श्रेणीबद्ध वितरण का उपयोग नेटवर्क को अभिनेता नेटवर्क द्वारा उत्पादित लॉगिट के आधार पर कार्यों का नमूना लेने की अनुमति देता है। यह सुनिश्चित करता है कि एजेंट के कार्यों को संभावित रूप से चुना जाता है, जो प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (पीपीओ) जैसे सुदृढीकरण सीखने के एल्गोरिदम में महत्वपूर्ण है। परतों, रिक्त स्थान और टेंसर हेरफेर का यह संयोजन एक गतिशील, बहु-एजेंट वातावरण में प्रभावी सीखने को सक्षम बनाता है।

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

कस्टम नीति नेटवर्क के साथ सुदृढीकरण सीखने का अनुकूलन

कस्टम वातावरण में सुदृढीकरण सीखने का एक प्रमुख पहलू अवलोकन और क्रिया स्थानों का सही डिज़ाइन है। ये स्थान तय करते हैं कि एजेंट अपने पर्यावरण के साथ कैसे बातचीत करते हैं। एक विशिष्ट समस्या तब उत्पन्न होती है जब फ़्लॉकिंग एजेंटों जैसे निरंतर कार्रवाई वाले स्थानों वाले एजेंटों को अवलोकन स्थान और नेटवर्क परतों के बीच सावधानीपूर्वक संरेखण की आवश्यकता होती है। यहाँ, क्रिया स्थान जिम का उपयोग करके उचित रूप से परिभाषित किया जाना चाहिए रिक्त स्थान.बॉक्स(), यह सुनिश्चित करते हुए कि एजेंटों की गतिविधियां निर्दिष्ट सीमा के भीतर आती हैं, जो सीधे नीति नेटवर्क के सीखने के प्रदर्शन को प्रभावित करती हैं।

इन नेटवर्कों को बहु-एजेंट वातावरण में स्केल करते समय, बहु-आयामी डेटा को संभालना एक बड़ी चुनौती बन जाता है। ऐसे मामलों में, नेटवर्क परतें बहु-आयामी इनपुट को कुशलतापूर्वक संसाधित करने में सक्षम होनी चाहिए। PyTorch जैसे उपकरण एनएन.मॉड्यूल सूची() आपको मॉड्यूलर तरीके से कई परतों को ढेर करने की अनुमति देता है, जिससे पर्यावरण की जटिलता बढ़ने पर नेटवर्क आर्किटेक्चर को स्केल करना आसान हो जाता है। मॉड्यूलर आर्किटेक्चर कोड पुन: प्रयोज्यता में सुधार करते हैं और प्रशिक्षण के दौरान पुन: आकार देने जैसी त्रुटियां उत्पन्न होने पर डिबगिंग को भी सरल बनाते हैं।

इसके अलावा, त्रुटि प्रबंधन के महत्व को कम करके नहीं आंका जा सकता। जैसे संरचित तरीकों का उपयोग कोशिश-सिवाय पुनर्आकार त्रुटियों को पकड़ने के लिए ब्लॉक यह सुनिश्चित करता है कि प्रशिक्षण अचानक विफलताओं के बिना आगे बढ़ सकता है। गतिशील वातावरण में परीक्षण करते समय यह विशेष रूप से उपयोगी होता है जहां एजेंट अक्सर एक-दूसरे के साथ बातचीत करते हैं। इन त्रुटियों को जल्दी पकड़कर, आप समस्या के स्रोत का पता लगा सकते हैं और मॉडल के समग्र प्रदर्शन को बेहतर बनाने के लिए समाधान लागू कर सकते हैं। डिवाइस की स्थिति और लेयर आउटपुट को नियमित रूप से लॉग करना कस्टम पॉलिसी नेटवर्क के सुचारू और त्रुटि मुक्त निष्पादन को सुनिश्चित करने का एक और तरीका है।