Sửa lỗi ToolCallingAgentOutputParser của Langchain.js bằng Ollama LLM và Công cụ tùy chỉnh

Hiểu và sửa lỗi ToolCallingAgentOutputParser trong Langchain.js

Khi làm việc với Langchain.js v2, các nhà phát triển thường hướng tới việc tạo ra các tác nhân hiệu quả bằng cách sử dụng các công cụ tùy chỉnh và mô hình ngôn ngữ như Ollama. Tuy nhiên, việc tích hợp các thành phần này đôi khi có thể dẫn đến những lỗi khó gỡ lỗi.

Một lỗi như vậy là "parseResult trên ToolCallingAgentOutputParser chỉ hoạt động trên đầu ra ChatGeneration", lỗi này có thể xảy ra khi xây dựng một công cụ tùy chỉnh trong khung tác nhân. Hiểu nguyên nhân cốt lõi của vấn đề này là rất quan trọng để đảm bảo tác nhân và công cụ hoạt động chính xác.

Bài viết này khám phá cách triển khai đơn giản một công cụ tùy chỉnh thêm 2 vào đầu vào số, sử dụng createToolCallingAgent và mô hình Ollama của Langchain. Bằng cách phân tích lỗi và bối cảnh của nó, chúng ta có thể nắm bắt tốt hơn cách khắc phục sự cố.

Các phần sau đây sẽ hướng dẫn bạn về mã, giải thích lỗi và cung cấp giải pháp để giải quyết vấn đề này. Cho dù bạn là người mới biết đến Langchain.js hay đã có kinh nghiệm, hướng dẫn này sẽ giúp bạn vượt qua vấn đề này một cách hiệu quả.

Tìm hiểu về Công cụ tùy chỉnh và Xử lý lỗi tác nhân trong Langchain.js

Trong ví dụ được cung cấp, chúng tôi đang làm việc với Langchain.js v2 để tạo ra một công cụ tùy chỉnh tích hợp với Ollama mô hình ngôn ngữ Mục đích chính của công cụ này là thực hiện một phép toán đơn giản: thêm 2 vào giá trị đầu vào. Công cụ này được xây dựng bằng Langchain's dụng cụ hàm xác định các hàm có thể tái sử dụng mà tác nhân có thể gọi. Để đảm bảo công cụ hoạt động chính xác, lược đồ đầu vào được xác thực bằng thư viện Zod, đảm bảo rằng đầu vào là số hợp lệ. Điều này đảm bảo xử lý lỗi thích hợp và ngăn chặn công cụ bị lỗi do đầu vào không hợp lệ.

Công cụ tùy chỉnh sau đó được tích hợp vào một tác nhân bằng cách sử dụng createToolCallingAgent chức năng. Lệnh này cho phép tác nhân gọi công cụ khi cần và tác nhân được hỗ trợ bởi mô hình Ollama, được định cấu hình với các tham số cụ thể như nhiệt độ để kiểm soát tính sáng tạo của các phản hồi. Để tạo điều kiện tương tác suôn sẻ giữa tổng đài viên và công cụ, mẫu lời nhắc trò chuyện sẽ được sử dụng. Mẫu này tổ chức cuộc hội thoại bằng cách xác định các loại thông báo khác nhau, chẳng hạn như thông báo hệ thống, thông tin đầu vào của con người và phần giữ chỗ. Các phần giữ chỗ, chẳng hạn như Tin nhắn Giữ chỗ, cho phép cuộc trò chuyện diễn ra sôi nổi với các yếu tố như lịch sử trò chuyện được đưa vào.

Một trong những vấn đề chính được giải quyết trong ví dụ này là việc xử lý lỗi xung quanh quá trình phân tích cú pháp đầu ra của tác nhân Langchain. Thông báo lỗi "parseResult trên ToolCallingAgentOutputParser chỉ hoạt động trên đầu ra ChatGeneration" xuất phát từ sự không khớp giữa loại đầu ra mà trình phân tích cú pháp mong đợi và đầu ra thực tế được tạo ra. Để xử lý lỗi này, công cụ tùy chỉnh được bao bọc trong logic mạnh mẽ, đảm bảo rằng tất cả đầu vào và đầu ra đều tuân thủ các định dạng dự kiến. Việc này tiếp tục được quản lý bởi Đại lýExecutor lớp, điều phối việc thực thi tác nhân và công cụ, đảm bảo rằng truy vấn và đầu ra công cụ được đồng bộ hóa chính xác.

Cuối cùng, các tập lệnh triển khai thực thi không đồng bộ bằng cách sử dụng chờ đợi, cho phép hệ thống xử lý các hoạt động mà không chặn các tiến trình khác. Tác nhân chờ công cụ trả về kết quả trước khi tiếp tục, đảm bảo rằng phản hồi vừa chính xác vừa kịp thời. Ngoài ra, các bài kiểm tra đơn vị cũng được đưa vào để xác thực chức năng của công cụ, đảm bảo rằng nó luôn tạo ra kết quả chính xác. Các thử nghiệm này không chỉ xác nhận hoạt động toán học của công cụ mà còn kiểm tra xem công cụ xử lý đầu vào không hợp lệ tốt như thế nào, cải thiện độ tin cậy tổng thể của giải pháp. Thiết kế mô-đun và chống lỗi này giúp các tập lệnh có thể tái sử dụng và hiệu quả cho các ứng dụng khác nhau trong Langchain.js.

import { tool } from "@langchain/core/tools";
import { z } from "zod";
import { Ollama } from "@langchain/ollama";
import { ChatPromptTemplate } from "@langchain/core/prompts";
import { createToolCallingAgent } from "langchain/agents";
import { AgentExecutor } from "langchain/agents";
// Initialize LLM with Ollama
const llm = new Ollama({
    model: "llama3",
    temperature: 0.7,
});
// Custom tool to add 2 to the input number
const magicTool = tool(
    async (input) => {
        return input + 2;
    },
    {
        name: "magic_function",
        description: "Applies a magic function to an input",
        schema: z.object({ input: z.number() }),
    };
);
const tools = [magicTool];
// Setup ChatPromptTemplate with placeholders
const prompt = ChatPromptTemplate.fromMessages([
    ["system", "You are a helpful assistant called iHelp"],
    ["placeholder", "{chat_history}"],
    ["human", "{input}"],
    ["placeholder", "{agent_scratchpad}"],
]);
// Agent configuration
const agent = createToolCallingAgent({ llm, tools, prompt });
// Execute agent query
const agentExecutor = new AgentExecutor({ agent, tools });
const query = "What is the value of magic_function(3)?";
await agentExecutor.invoke({ input: query });

import { tool } from "@langchain/core/tools";
import { z } from "zod";
import { Ollama } from "@langchain/ollama";
import { createToolCallingAgent } from "langchain/agents";
import { AgentExecutor } from "langchain/agents";
// Initialize LLM with Ollama
const llm = new Ollama({ model: "llama3", temperature: 0.7 });
// Custom tool with added error handling
const magicTool = tool(
    async (input) => {
        try {
            if (typeof input !== "number") throw new Error("Invalid input type!");
            return input + 2;
        } catch (err) {
            return err.message;
        }
    },
    {
        name: "magic_function",
        description: "Adds 2 to input and handles errors",
        schema: z.object({ input: z.number() }),
    }
);
const tools = [magicTool];
// Agent and execution
const agent = createToolCallingAgent({ llm, tools });
const agentExecutor = new AgentExecutor({ agent, tools });
const query = "magic_function('abc')"; // Test with invalid input
await agentExecutor.invoke({ input: query });
// Unit test example
import { expect } from "chai";
it("should return 5 when input is 3", async () => {
    const result = await magicTool(3);
    expect(result).to.equal(5);
});

Khám phá vai trò của Đại lý trong việc tích hợp Langchain.js và Ollama LLM

Khi làm việc với Langchain.js, việc tích hợp đại lý với các công cụ và mô hình ngôn ngữ như Ollama là một khía cạnh quan trọng trong việc xây dựng các ứng dụng động. Tác nhân cho phép bạn kết nối một công cụ tùy chỉnh, thực hiện các tác vụ cụ thể, với một mô hình ngôn ngữ, xử lý nhiều tác vụ đàm thoại hoặc tổng quát hơn. Bằng cách sử dụng tác nhân, nhà phát triển có thể tự động hóa quy trình làm việc trong đó mô hình không chỉ tạo ra phản hồi mà còn gọi các công cụ để thực hiện tính toán hoặc xử lý dữ liệu.

Thành phần chính trong sự tích hợp này là createToolCallingAgent chức năng. Chức năng này cho phép tác nhân kích hoạt các công cụ cụ thể khi cần thiết, đảm bảo rằng các nhiệm vụ được hoàn thành chính xác và hiệu quả. Mặc dù trọng tâm chính thường là tạo ra công cụ, nhưng việc hiểu cách quản lý quy trình làm việc của tổng đài viên và tránh lỗi phân tích cú pháp cũng quan trọng không kém. Các lỗi như "parseResult trên ToolCallingAgentOutputParser chỉ hoạt động trên đầu ra ChatGeneration" thường xảy ra khi đầu ra của tổng đài viên không tương thích với hệ thống phân tích cú pháp, nêu rõ nhu cầu căn chỉnh phù hợp giữa đầu ra của tổng đài viên và định dạng dự kiến.

Việc sử dụng các mẫu nhắc nhở, chẳng hạn như Mẫu nhắc nhở trò chuyện, làm phong phú thêm sự tương tác bằng cách cho phép các thông báo động và phần giữ chỗ ngữ cảnh. Điều này cho phép tổng đài viên điều chỉnh phản hồi của mình dựa trên lịch sử trò chuyện hoặc bảng ghi nhớ của tổng đài viên. Việc tối ưu hóa các mẫu lời nhắc và đảm bảo kết quả đầu ra của tác nhân được phân tích cú pháp chính xác có thể ngăn ngừa nhiều lỗi phổ biến, giúp ứng dụng Langchain.js của bạn trở nên đáng tin cậy và hiệu quả hơn.