Sửa lỗi định hình lại cho việc học tăng cường đa tác nhân trong mạng chính sách tùy chỉnh

Hiểu lỗi định hình lại trong mạng tùy chỉnh

Khi triển khai mạng chính sách tùy chỉnh để học tăng cường, việc định hình lại các lỗi là một trở ngại thường gặp, đặc biệt là trong môi trường nhiều tác nhân. Những lỗi này thường phát sinh khi xác định không gian quan sát và hành động không căn chỉnh chính xác trong quá trình đào tạo mô hình.

Trong kịch bản này, chúng ta sẽ khám phá vấn đề định hình lại gặp phải trong môi trường đổ xô tùy chỉnh, trong đó không gian quan sát và hành động của tổng đài viên cần phải được xử lý cẩn thận để tránh kích thước không khớp. Sự cố này có thể khiến quá trình đào tạo bị gián đoạn và ngăn cản quá trình phát triển của mô hình.

Vấn đề thường xuất hiện khi dữ liệu được truyền qua các lớp mạng thần kinh, đặc biệt khi kích thước không gian hành động được định hình lại không chính xác. Điều này có thể bắt nguồn từ sự tương tác giữa các chiều không gian quan sát và các lớp của mạng chính sách tùy chỉnh.

Bằng cách phân tích cẩn thận các thông báo lỗi và xem xét cấu trúc mạng, hướng dẫn này sẽ giúp bạn hiểu nguyên nhân cốt lõi của những lỗi đó và cung cấp giải pháp để điều chỉnh thiết kế của mạng chính sách. Việc định hình lại mảng đúng cách sẽ đảm bảo quá trình đào tạo diễn ra suôn sẻ và ngăn ngừa các lỗi nghiêm trọng trong quá trình thực hiện các nhiệm vụ học tăng cường.

Khám phá mạng chính sách tùy chỉnh cho môi trường nhiều tác nhân

Các tập lệnh Python được cung cấp được thiết kế để giải quyết các lỗi định hình lại trong các mạng chính sách tùy chỉnh, đặc biệt là trong môi trường nhiều tác nhân sử dụng phương pháp học tăng cường. Tập lệnh đầu tiên xác định cấu trúc của một chính sách đa tác nhân tùy chỉnh, sử dụng các phương pháp diễn viên-phê bình. Tác nhân chịu trách nhiệm quyết định hành động của tác nhân dựa trên sự quan sát của nó, trong khi người phê bình đánh giá giá trị của hành động đó. Khía cạnh quan trọng của mạng này là cách nó xử lý các không gian quan sát và hành động, đảm bảo chúng phù hợp với các lớp của mạng. Việc sử dụng của PyTorch các lớp tuần tự hợp lý hóa kiến ​​trúc mô hình và giúp truyền dữ liệu hiệu quả qua nhiều lớp ẩn.

Phần thứ hai của kịch bản tập trung vào các định nghĩa về không gian hành động và quan sát bằng cách sử dụng Gym dấu cách.Box(). Điều này rất quan trọng trong môi trường học tăng cường, nơi các tác nhân cần tương tác trong các ranh giới được xác định trước. Không gian hành động ở đây là liên tục, trong đó mỗi tác nhân nhận được hai giá trị, chẳng hạn như chuyển động theo trục x và y. Không gian quan sát được xác định tương tự nhưng bao gồm các tham số bổ sung như vận tốc. Việc đảm bảo rằng những không gian này phù hợp với nhu cầu của tổng đài viên là rất quan trọng để tránh các lỗi định hình lại, đặc biệt là khi xử lý các mảng đa chiều và các nhóm tổng đài viên lớn.

Tập lệnh cũng tích hợp tính năng xử lý lỗi để giải quyết các vấn đề định hình lại, thường gặp trong các thiết lập học tăng cường. Dòng sử dụng hành động.reshape() đảm bảo rằng các mảng hành động phù hợp với kích thước mà mạng mong đợi. Đây là chức năng chính để tránh lỗi kích thước không khớp trong thời gian chạy. Nếu dữ liệu không tuân theo hình dạng dự kiến, tập lệnh sẽ phát hiện lỗi và ghi lại để gỡ lỗi. Cơ chế xử lý lỗi này rất quan trọng đối với các quá trình đào tạo liên tục, trong đó các lỗi không được xử lý có thể làm dừng quá trình đào tạo của toàn bộ mạng.

Phần thứ ba của giải pháp giới thiệu việc sử dụng Tenor PyTorch và lấy mẫu phân phối để lựa chọn hành động. Bằng cách chuyển đổi các quan sát thành tensor, mô hình được tối ưu hóa để thực thi trên cả CPU và GPU. Việc sử dụng phân phối Phân loại cho phép mạng lấy mẫu các hành động dựa trên nhật ký do mạng tác nhân tạo ra. Điều này đảm bảo rằng các hành động của tác nhân được chọn theo xác suất, điều này rất quan trọng trong các thuật toán học tăng cường như Tối ưu hóa chính sách gần nhất (PPO). Sự kết hợp giữa các lớp, không gian và thao tác tensor này cho phép học tập hiệu quả trong môi trường năng động, đa tác nhân.

import torch as th
import numpy as np
from gym import spaces
from stable_baselines3.common.policies import ActorCriticPolicy

# Custom Policy Network for Reinforcement Learning
class CustomMultiAgentPolicy(ActorCriticPolicy):
    def __init__(self, observation_space, action_space, lr_schedule, kwargs):
        super(CustomMultiAgentPolicy, self).__init__(observation_space, action_space, lr_schedule, kwargs)
        self.obs_size = observation_space.shape[0]
        self.hidden_size = 128
        self.actor = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, action_space.shape[0])
        )
        self.critic = th.nn.Sequential(
            th.nn.Linear(self.obs_size, self.hidden_size),
            th.nn.ReLU(),
            th.nn.Linear(self.hidden_size, 1)
        )

    def forward(self, obs, kwargs):
        action_logits = self.actor(obs)
        action_distribution = th.distributions.Categorical(logits=action_logits)
        actions = action_distribution.sample()
        log_probs = action_distribution.log_prob(actions)
        values = self.critic(obs)
        return actions, values, log_probs

import numpy as np
import torch as th

# Observation and Action space setup
min_action = np.array([-5, -5] * len(self.agents), dtype=np.float32)
max_action = np.array([5, 5] * len(self.agents), dtype=np.float32)
self.action_space = spaces.Box(low=min_action, high=max_action, dtype=np.float32)

min_obs = np.array([-np.inf, -np.inf, -2.5, -2.5] * len(self.agents), dtype=np.float32)
max_obs = np.array([np.inf, np.inf, 2.5, 2.5] * len(self.agents), dtype=np.float32)
self.observation_space = spaces.Box(low=min_obs, high=max_obs, dtype=np.float32)

# Reshaping check to avoid errors
try:
    action = action.reshape((self.n_envs, self.action_dim))
except ValueError as e:
    print(f"Reshape error: {e}. Check input dimensions.")

Tối ưu hóa Học tăng cường với Mạng chính sách tùy chỉnh

Một khía cạnh quan trọng của học tập tăng cường trong môi trường tùy chỉnh là thiết kế chính xác không gian quan sát và hành động. Những không gian này quyết định cách các tác nhân tương tác với môi trường của chúng. Một vấn đề điển hình nảy sinh khi các tác nhân có không gian hoạt động liên tục như tác nhân tập trung yêu cầu sự liên kết cẩn thận giữa không gian quan sát và các lớp mạng. Ở đây, không gian hành động phải được xác định chính xác bằng cách sử dụng Gym's dấu cách.Box(), đảm bảo rằng hành động của tác nhân nằm trong phạm vi được chỉ định, điều này ảnh hưởng trực tiếp đến hiệu suất học tập của mạng chính sách.

Khi mở rộng quy mô các mạng này sang môi trường đa tác nhân, việc xử lý dữ liệu đa chiều trở thành một thách thức lớn. Trong những trường hợp như vậy, các lớp mạng phải có khả năng xử lý đầu vào đa chiều một cách hiệu quả. Các công cụ như PyTorch's nn.ModuleList() cho phép bạn xếp chồng nhiều lớp theo kiểu mô-đun, giúp mở rộng kiến ​​trúc mạng dễ dàng hơn khi độ phức tạp của môi trường tăng lên. Kiến trúc mô-đun cải thiện khả năng sử dụng lại mã và cũng đơn giản hóa việc gỡ lỗi khi phát sinh các lỗi như vấn đề định hình lại trong quá trình đào tạo.

Hơn nữa, tầm quan trọng của việc xử lý lỗi không thể được phóng đại. Việc sử dụng các phương pháp có cấu trúc như thử ngoại trừ các khối để bắt lỗi định hình lại đảm bảo rằng quá trình đào tạo có thể tiến hành mà không gặp lỗi đột ngột. Điều này đặc biệt hữu ích khi thử nghiệm trong môi trường động nơi các tác nhân thường xuyên tương tác với nhau. Bằng cách phát hiện sớm những lỗi này, bạn có thể xác định nguồn gốc của sự cố và triển khai các biện pháp khắc phục để cải thiện hiệu suất tổng thể của mô hình. Thường xuyên ghi nhật ký trạng thái thiết bị và đầu ra lớp là một cách khác để đảm bảo mạng chính sách tùy chỉnh thực thi trơn tru và không có lỗi.