通过 Insights Agent 发现错误和使用模式

​

前提条件

• 在您的工作空间中为 Insights 设置好模型配置。
• 在 LangSmith 中创建规则的权限（生成新的 Insights 报告所需）。
• 在 LangSmith 中查看追踪项目的权限（查看现有 Insights 报告所需）。

​

生成您的第一份 Insights 报告

import os
from langsmith import Client

client = Client()

chat_histories = [
    [
        {"role": "user", "content": "how are you"},
        {"role": "assistant", "content": "good!"},
    ],
    [
        {"role": "user", "content": "do you like art"},
        {"role": "assistant", "content": "only Tarkovsky"},
    ],
]

report = client.generate_insights(
    chat_histories=chat_histories,
    name="Customer Support Topics - March 2024",
    instructions="What are the main topics and questions users are asking about?",
    openai_api_key=os.environ["OPENAI_API_KEY"],  # 如果已设置为工作空间密钥，则为可选
)

# client.poll_insights(report=report)

​

理解结果

​

执行摘要

• 关键发现，并附有显示每个模式出现频率的百分比。
• 可点击的引用（例如，#1, #2, #3），指向代理识别为与您的问题特别相关的追踪数据。

​

顶级类别

• 典型的追踪统计信息（如错误率、延迟、成本）
• 来自评估者的反馈分数
• 作为任务一部分提取的属性

​

子类别

​

单个追踪数据

​

配置任务

​

自动生成配置

1. 打开 新建 Insights 并确保 自动 切换开关处于活动状态。
2. 回答关于您代理的目的、您想了解的内容以及追踪数据结构化的自然语言问题。Insights 会将您的答案转换为一个草稿配置（任务名称、摘要提示、属性和采样默认值）。
3. 选择一个提供商，然后点击 生成配置 进行预览，或点击 运行任务 立即启动。

​

选择模型

• 思考模型：执行聚类步骤（能力更强，成本更高）。
• 摘要模型：生成每个追踪数据的摘要（速度更快，成本更低）。

​

手动配置

​

选择追踪数据

• 样本大小：要分析的最大追踪数据数量。目前上限为 1,000 条
• 时间范围：从此时间范围内采样追踪数据
• 筛选器：额外的追踪数据筛选器。调整筛选器时，您将看到有多少追踪数据符合您的条件

​

类别

​

摘要提示

• 摘要指令：任何不在追踪摘要中的信息都不会影响生成的类别，因此请确保提供清晰的指令，说明从每条追踪数据中提取哪些重要信息。
• 追踪内容：使用 mustache 格式来指定将每条追踪数据的哪些部分传递给摘要器。包含大量输入和输出的大型追踪数据可能成本高昂且噪声大。将提示减少到仅包含追踪数据中最相关的部分可以改善您的结果。

​

属性

​

筛选属性

• 为 Insights Agent 创建配置时，在任何布尔属性中添加 "filter_by": true。
• LLM 在摘要生成过程中根据属性描述评估每条追踪数据。
• 属性为 false 或缺失的追踪数据在生成洞察之前被排除。

​

定时运行 Insights 报告

• 每日：每天 UTC 时间 8:00 运行。
• 每周一：每周一 UTC 时间 8:00 运行。
• 自定义：输入您自己的 cron 表达式（UTC 时间）。

​

保存您的配置