Studio 中的可观测性

• 迭代提示词：直接在图的节点内或通过 Playground 修改提示词。
• 在数据集上运行实验：在 LangSmith 数据集上执行你的助手，以评分和比较结果。
• 调试 LangSmith 追踪：将追踪的运行导入 Studio，并可选择将其克隆到你的本地代理中。
• 将节点添加到数据集：将线程历史记录的部分内容转换为数据集示例，用于评估或进一步分析。

​

迭代提示词

• 直接节点编辑
• Playground 界面

​

直接节点编辑

​

图配置

​

langgraph_nodes

• 描述：指定配置字段与图中哪些节点相关联。
• 值类型：字符串数组，每个字符串是图中一个节点的名称。
• 使用上下文：包含在 Pydantic 模型的 json_schema_extra 字典中，或 dataclasses 的 metadata["json_schema_extra"] 字典中。
• 示例：
  system_prompt: str = Field(
      default="You are a helpful AI assistant.",
      json_schema_extra={"langgraph_nodes": ["call_model", "other_node"]},
  )
  

​

langgraph_type

• 描述：指定配置字段的类型，这决定了它在 UI 中的处理方式。
• 值类型：字符串
• 支持的值：
  • "prompt"：表示该字段包含提示词文本，应在 UI 中特殊对待。
• 使用上下文：包含在 Pydantic 模型的 json_schema_extra 字典中，或 dataclasses 的 metadata["json_schema_extra"] 字典中。
• 示例：
  system_prompt: str = Field(
      default="You are a helpful AI assistant.",
      json_schema_extra={
          "langgraph_nodes": ["call_model"],
          "langgraph_type": "prompt",
      },
  )
  

## 使用 Pydantic
from pydantic import BaseModel, Field
from typing import Annotated, Literal

class Configuration(BaseModel):
    """代理的配置。"""

    system_prompt: str = Field(
        default="You are a helpful AI assistant.",
        description="用于代理交互的系统提示词。"
        "此提示词为代理设置上下文和行为。",
        json_schema_extra={
            "langgraph_nodes": ["call_model"],
            "langgraph_type": "prompt",
        },
    )

    model: Annotated[
        Literal[
            "anthropic/claude-sonnet-4-6",
            "anthropic/claude-haiku-4-5-20251001",
            "openai/o1",
            "openai/gpt-4.1-mini",
            "openai/o1-mini",
            "openai/o3-mini",
        ],
        {"__template_metadata__": {"kind": "llm"}},
    ] = Field(
        default="openai/gpt-4.1-mini",
        description="用于代理主要交互的语言模型名称。"
        "格式应为：provider/model-name。",
        json_schema_extra={"langgraph_nodes": ["call_model"]},
    )

## 使用 Dataclasses
from dataclasses import dataclass, field

@dataclass(kw_only=True)
class Configuration:
    """代理的配置。"""

    system_prompt: str = field(
        default="You are a helpful AI assistant.",
        metadata={
            "description": "用于代理交互的系统提示词。"
            "此提示词为代理设置上下文和行为。",
            "json_schema_extra": {"langgraph_nodes": ["call_model"]},
        },
    )

    model: Annotated[str, {"__template_metadata__": {"kind": "llm"}}] = field(
        default="anthropic/claude-3-5-sonnet-20240620",
        metadata={
            "description": "用于代理主要交互的语言模型名称。"
            "格式应为：provider/model-name。",
            "json_schema_extra": {"langgraph_nodes": ["call_model"]},
        },
    )

​

在 UI 中编辑提示词

1. 在具有关联配置字段的节点上找到齿轮图标。
2. 点击打开配置模态框。
3. 编辑值。
4. 保存以更新当前助手版本或创建新版本。

​

Playground

1. 选择一个线程。
2. 在节点上点击 View LLM Runs。这将列出节点内部进行的所有 LLM 调用（如果有）。
3. 选择一个 LLM 运行以在 Playground 中打开。
4. 修改提示词并测试不同的模型和工具设置。
5. 将更新后的提示词复制回你的图。

​

在数据集上运行实验

​

先决条件

• 一个 LangSmith 数据集：你的数据集应包含要测试的输入，并可选择包含用于比较的参考输出。输入的架构必须与助手所需的输入架构匹配。有关架构的更多信息，请参阅图 API 架构文档。有关创建数据集的更多信息，请参阅如何管理数据集。
• （可选）评估器：你可以在 LangSmith 中将评估器（例如，LLM-as-a-Judge、启发式方法或自定义函数）附加到你的数据集。这些将在图处理完所有输入后自动运行。
• 一个正在运行的应用程序：实验可以针对以下对象运行：
  • 部署在 LangSmith 上的应用程序。
  • 通过 langgraph-cli 启动的本地运行应用程序。

​

实验设置

1. 启动实验。点击 Studio 页面右上角的 Run experiment 按钮。
2. 选择你的数据集。在出现的模态框中，选择用于实验的数据集（或特定的数据集分割），然后点击 Start。
3. 监控进度。数据集中的所有输入现在都将针对活动助手运行。通过右上角的徽章监控实验进度。
4. 你可以在实验在后台运行时继续在 Studio 中工作。随时点击箭头图标按钮导航到 LangSmith 并查看详细的实验结果。

​

调试 LangSmith 追踪

​

打开已部署的线程

1. 打开 LangSmith 追踪，选择根运行。
2. 点击 Run in Studio。

​

使用远程追踪测试本地代理

​

先决条件

• 一个 LangSmith 追踪的线程
• 一个本地运行的代理。

​

克隆线程

1. 打开 LangSmith 追踪，选择根运行。
2. 点击 Run in Studio 旁边的下拉菜单。
3. 输入你的本地代理的 URL。
4. 选择 Clone thread locally。
5. 如果存在多个图，请选择目标图。

​

将节点添加到数据集

1. 选择一个线程。
2. 点击 Add to Dataset。
3. 选择要将其输入/输出添加到数据集的节点。
4. 对于每个选定的节点，选择要创建示例的目标数据集。默认情况下，将选择特定助手和节点的数据集。如果此数据集尚不存在，则会创建它。
5. 在将示例添加到数据集之前，根据需要编辑示例的输入/输出。
6. 选择页面底部的 Add to dataset，将所有选定的节点添加到它们各自的数据集中。