Виправлення помилки Langchain.js ToolCallingAgentOutputParser за допомогою Ollama LLM і спеціального інструменту

Розуміння та виправлення помилок ToolCallingAgentOutputParser у Langchain.js

Працюючи з Langchain.js v2, розробники часто прагнуть створити ефективних агентів за допомогою спеціальних інструментів і мовних моделей, таких як Ollama. Однак інтеграція цих компонентів іноді може призвести до помилок, які важко виправити.

Однією з таких помилок є «parseResult на ToolCallingAgentOutputParser працює лише на вихідних даних ChatGeneration», яка може виникнути під час створення спеціального інструменту в структурі агента. Розуміння першопричини цієї проблеми має вирішальне значення для забезпечення належної роботи агента та інструменту.

У цій статті розглядається проста реалізація спеціального інструменту, який додає 2 до введеного числа, використовуючи createToolCallingAgent Langchain і модель Ollama. Аналізуючи помилку та її контекст, ми можемо краще зрозуміти, як її усунути.

Наступні розділи проведуть вас через код, пояснять помилку та нададуть рішення для вирішення цієї проблеми. Незалежно від того, чи ви тільки знайомі з Langchain.js, чи маєте досвід, цей посібник допоможе вам ефективно вирішити цю проблему.

Розуміння спеціального інструменту та обробки помилок агента в Langchain.js

У наведеному прикладі ми працюємо з Langchain.js v2, щоб створити спеціальний інструмент, який інтегрується з Оллама модель мови. Основне призначення інструменту — виконати просту математичну операцію: додати 2 до вхідного значення. Інструмент створено за допомогою Langchain інструмент функція, яка визначає багаторазові функції, які можуть бути викликані агентом. Щоб забезпечити правильну роботу інструменту, схема введення перевіряється за допомогою бібліотеки Zod, гарантуючи, що введене число є дійсним. Це забезпечує правильну обробку помилок і запобігає виходу інструменту з ладу через неправильні введення.

Потім спеціальний інструмент включається в агент за допомогою createToolCallingAgent функція. Ця команда дозволяє агенту викликати інструмент, коли це необхідно, і агент працює на основі моделі Ollama, яка налаштована за допомогою певних параметрів, таких як температура, щоб контролювати креативність відповідей. Щоб полегшити безперебійну взаємодію між агентом і інструментом, використовується шаблон запиту чату. Цей шаблон організовує бесіду, визначаючи різні типи повідомлень, як-от системні повідомлення, людські введення та заповнювачі. Заповнювачі, наприклад MessagesPlaceholder, дозволяють розмові бути динамічним із такими елементами, як історія чату.

Однією з ключових проблем, розглянутих у цьому прикладі, є обробка помилок, пов’язаних із аналізом вихідних даних агента Langchain. Повідомлення про помилку «parseResult на ToolCallingAgentOutputParser працює лише з виводом ChatGeneration» походить від невідповідності між типом виводу, який очікує синтаксичний аналізатор, і фактично згенерованим виходом. Щоб усунути цю помилку, спеціальний інструмент загорнутий у надійну логіку, яка гарантує, що всі вхідні та вихідні дані відповідають очікуваним форматам. Це далі керується Агент-виконавець клас, який координує виконання агента та інструментів, забезпечуючи належну синхронізацію запиту та виводу інструменту.

Нарешті, сценарії реалізують асинхронне виконання за допомогою чекати, що дозволяє системі обробляти операції, не блокуючи інші процеси. Агент очікує, поки інструмент видасть результат, перш ніж продовжити, гарантуючи, що відповідь буде точною та своєчасною. Крім того, модульні тести включені для перевірки функціональності інструменту, гарантуючи, що він постійно видає правильний результат. Ці тести не тільки підтверджують математичну роботу інструменту, але й перевіряють, наскільки добре він обробляє недійсні введення, підвищуючи загальну надійність рішення. Ця модульна та стійка до помилок конструкція робить сценарії багаторазовими та ефективними для різних додатків у Langchain.js.

import { tool } from "@langchain/core/tools";
import { z } from "zod";
import { Ollama } from "@langchain/ollama";
import { ChatPromptTemplate } from "@langchain/core/prompts";
import { createToolCallingAgent } from "langchain/agents";
import { AgentExecutor } from "langchain/agents";
// Initialize LLM with Ollama
const llm = new Ollama({
    model: "llama3",
    temperature: 0.7,
});
// Custom tool to add 2 to the input number
const magicTool = tool(
    async (input) => {
        return input + 2;
    },
    {
        name: "magic_function",
        description: "Applies a magic function to an input",
        schema: z.object({ input: z.number() }),
    };
);
const tools = [magicTool];
// Setup ChatPromptTemplate with placeholders
const prompt = ChatPromptTemplate.fromMessages([
    ["system", "You are a helpful assistant called iHelp"],
    ["placeholder", "{chat_history}"],
    ["human", "{input}"],
    ["placeholder", "{agent_scratchpad}"],
]);
// Agent configuration
const agent = createToolCallingAgent({ llm, tools, prompt });
// Execute agent query
const agentExecutor = new AgentExecutor({ agent, tools });
const query = "What is the value of magic_function(3)?";
await agentExecutor.invoke({ input: query });

import { tool } from "@langchain/core/tools";
import { z } from "zod";
import { Ollama } from "@langchain/ollama";
import { createToolCallingAgent } from "langchain/agents";
import { AgentExecutor } from "langchain/agents";
// Initialize LLM with Ollama
const llm = new Ollama({ model: "llama3", temperature: 0.7 });
// Custom tool with added error handling
const magicTool = tool(
    async (input) => {
        try {
            if (typeof input !== "number") throw new Error("Invalid input type!");
            return input + 2;
        } catch (err) {
            return err.message;
        }
    },
    {
        name: "magic_function",
        description: "Adds 2 to input and handles errors",
        schema: z.object({ input: z.number() }),
    }
);
const tools = [magicTool];
// Agent and execution
const agent = createToolCallingAgent({ llm, tools });
const agentExecutor = new AgentExecutor({ agent, tools });
const query = "magic_function('abc')"; // Test with invalid input
await agentExecutor.invoke({ input: query });
// Unit test example
import { expect } from "chai";
it("should return 5 when input is 3", async () => {
    const result = await magicTool(3);
    expect(result).to.equal(5);
});

Вивчення ролі агентів в інтеграції Langchain.js та Ollama LLM

При роботі з Langchain.js інтеграція агентів інструменти та мовні моделі, такі як Ollama, є критично важливим аспектом створення динамічних програм. Агент дозволяє підключити спеціальний інструмент, який виконує певні завдання, до мовної моделі, яка обробляє більш розмовні або генеративні завдання. Використовуючи агенти, розробники можуть автоматизувати робочі процеси, коли модель не тільки генерує відповіді, але й викликає інструменти для виконання обчислень або обробки даних.

Ключовим компонентом цієї інтеграції є createToolCallingAgent функція. Ця функція дозволяє агенту за потреби запускати певні інструменти, забезпечуючи точне та ефективне виконання завдань. Хоча основна увага часто приділяється створенню самого інструменту, не менш важливим є розуміння того, як керувати робочим процесом агента та уникати помилок аналізу. Помилки на кшталт «parseResult на ToolCallingAgentOutputParser працює лише з виводом ChatGeneration» зазвичай виникають, коли вихід агента несумісний із системою аналізу, що підкреслює необхідність належного узгодження між виводом агента та очікуваним форматом.

Використання шаблонів підказок, наприклад ChatPromptTemplate, ще більше збагачує взаємодію, дозволяючи динамічні повідомлення та заповнювачі контексту. Це дозволяє агенту коригувати свої відповіді на основі історії чату або блокнота агента. Оптимізація шаблонів підказок і забезпечення правильного аналізу вихідних даних агента може запобігти багатьом типовим помилкам, зробивши ваші програми Langchain.js більш надійними та ефективними.