概述
构建智能体(或任何 LLM 应用)的难点在于使其足够可靠。虽然它们可能在原型阶段有效,但在实际用例中往往会失败。为什么智能体会失败?
当智能体失败时,通常是因为智能体内的 LLM 调用了错误的操作 / 没有按预期执行。LLM 失败的原因主要有两个:- 底层 LLM 能力不足
- 未向 LLM 传递“正确”的上下文
智能体循环
典型的智能体循环包含两个主要步骤:- 模型调用 - 使用提示词和可用工具调用 LLM,返回响应或执行工具的请求
- 工具执行 - 执行 LLM 请求的工具,返回工具结果

你可以控制的内容
要构建可靠的智能体,你需要控制智能体循环中每一步发生的情况,以及步骤之间发生的情况。临时上下文
LLM 单次调用所看到的内容。你可以修改消息、工具或提示词,而无需更改保存在状态中的内容。
持久上下文
跨轮次保存在状态中的内容。生命周期钩子和工具写入会永久修改此内容。
数据源
在此过程中,你的智能体会访问(读取/写入)不同的数据源:| 数据源 | 也称为 | 范围 | 示例 |
|---|---|---|---|
| 运行时上下文 | 静态配置 | 会话范围 | 用户 ID、API 密钥、数据库连接、权限、环境设置 |
| 状态 | 短期记忆 | 会话范围 | 当前消息、上传的文件、认证状态、工具结果 |
| 存储 | 长期记忆 | 跨会话 | 用户偏好、提取的见解、记忆、历史数据 |
工作原理
LangChain 中间件 是幕后机制,使上下文工程对使用 LangChain 的开发人员变得实用。 中间件允许你挂钩到智能体生命周期的任何步骤并:- 更新上下文
- 跳转到智能体生命周期中的不同步骤
模型上下文
控制每个模型调用的内容——指令、可用工具、使用的模型以及输出格式。这些决策直接影响可靠性和成本。系统提示词
开发者给 LLM 的基础指令。
消息
发送给 LLM 的完整消息列表(对话历史)。
工具
智能体可用于采取行动的工具。
模型
实际调用的模型(包括配置)。
响应格式
模型最终响应的模式规范。
系统提示词
系统提示词设定 LLM 的行为和能力。不同的用户、上下文或对话阶段需要不同的指令。成功的智能体会利用记忆、偏好和配置来为当前对话状态提供正确的指令。- 状态
- 存储
- 运行时上下文
从状态中访问消息计数或对话上下文:
消息
消息构成了发送给 LLM 的提示词。 管理消息内容至关重要,以确保 LLM 拥有正确信息以做出良好响应。- 状态
- 存储
- 运行时上下文
在相关时将上传文件的上下文注入到状态中:
工具
工具让模型能够与数据库、API 和外部系统交互。你如何定义和选择工具直接影响模型能否有效完成任务。定义工具
每个工具都需要清晰的名字、描述、参数名称和参数描述。这些不仅仅是元数据——它们指导模型关于何时以及如何使用该工具的推理。选择工具
并非所有工具都适用于每种情况。过多的工具可能会使模型不堪重负(上下文过载)并增加错误;过少的工具则限制能力。动态工具选择会根据认证状态、用户权限、功能标志或对话阶段调整可用工具集。- 状态
- 存储
- 运行时上下文
仅在达到特定对话里程碑后启用高级工具:
模型
不同的模型具有不同的优势、成本和上下文窗口。为手头的任务选择合适的模型,这可能在智能体运行期间发生变化。- 状态
- 存储
- 运行时上下文
根据状态中的对话长度使用不同的模型:
响应格式
结构化输出将非结构化文本转换为经过验证的结构化数据。当提取特定字段或为下游系统返回数据时,自由文本是不够的。 工作原理: 当你提供模式作为响应格式时,模型的最终响应保证符合该模式。智能体运行模型/工具调用循环,直到模型完成工具调用,然后将最终响应强制转换为提供的格式。定义格式
模式定义指导模型。字段名、类型和描述指定输出应遵循的确切格式。选择格式
动态响应格式选择根据用户偏好、对话阶段或角色调整模式——早期返回简单格式,随着复杂性增加返回详细格式。- 状态
- 存储
- 运行时上下文
根据对话状态配置结构化输出:
工具上下文
工具的特殊之处在于它们既读取又写入上下文。 在最基本的情况下,当工具执行时,它接收 LLM 的请求参数并返回工具消息。工具执行其工作并产生结果。 工具还可以为模型获取重要信息,使其能够执行和完成任务。读取
大多数现实世界的工具不仅需要 LLM 的参数。它们需要用户 ID 进行数据库查询、外部服务的 API 密钥或当前会话状态以做出决策。工具从状态、存储和运行时上下文中读取以访问这些信息。- 状态
- 存储
- 运行时上下文
从状态中读取以检查当前会话信息:
写入
工具结果可用于帮助智能体完成给定任务。工具既可以直接向模型返回结果,也可以更新智能体的内存,以便将来步骤可以使用重要上下文。- 状态
- 存储
使用 Command 写入状态以跟踪会话特定信息:
生命周期上下文
控制核心智能体步骤之间发生的情况——拦截数据流以实现跨领域关注点,如摘要、护栏和日志记录。 正如你在 模型上下文 和 工具上下文 中所见,中间件 是使上下文工程实用的机制。中间件允许你挂钩到智能体生命周期的任何步骤并:- 更新上下文 - 修改状态和存储以持久化更改,更新对话历史,或保存见解
- 跳转生命周期 - 根据上下文移动到智能体循环中的不同步骤(例如,如果满足条件则跳过工具执行,用修改后的上下文重复模型调用)

示例:摘要
最常见的生命周期模式之一是当对话历史过长时自动压缩它。与 模型上下文 中显示的临时消息修剪不同,摘要持久更新状态——永久替换旧消息为摘要,该摘要保存供所有未来轮次使用。 LangChain 为此提供了内置中间件:SummarizationMiddleware 会自动:
- 使用单独的 LLM 调用总结旧消息
- 在状态中用摘要消息替换它们(永久)
- 保留最近的完整消息以供上下文使用
有关内置中间件的完整列表、可用钩子以及如何创建自定义中间件,请参阅 中间件文档。
最佳实践
- 从简单开始 - 从静态提示词和工具开始,仅在需要时添加动态功能
- 增量测试 - 一次添加一个上下文工程功能
- 监控性能 - 跟踪模型调用、令牌使用和延迟
- 使用内置中间件 - 利用
SummarizationMiddleware、LLMToolSelectorMiddleware等 - 记录你的上下文策略 - 明确说明传递了什么上下文以及为什么
- 理解临时与持久:模型上下文更改是临时的(每次调用),而生命周期上下文更改持久保存到状态
相关资源
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

