Skip to main content
虽然您可以手动筛选和处理来自LLM应用的生产日志,但随着应用扩展到更多用户,这通常会变得困难。LangSmith提供了自动化功能,允许您对跟踪数据触发特定操作。您可以通过过滤器采样率操作来定义自动化规则。 自动化规则可以触发以下操作:将跟踪添加到数据集、添加到标注队列、触发Webhook(例如用于远程评估)或延长数据保留期。您可以设置的一些自动化示例包括:
  • 将所有带有负面反馈的跟踪发送到标注队列进行人工审查。
  • 将所有跟踪的10%发送到标注队列进行抽查,以发现潜在问题。
  • 将所有包含错误的跟踪升级为延长数据保留期。
要配置在线评估,请访问在线评估页面。
如果自动化规则匹配跟踪中的任何运行,该跟踪将自动升级为延长数据保留期。此升级会影响跟踪定价,但确保符合您自动化标准(通常是分析中最有价值的跟踪)的跟踪得以保留以供调查。

查看自动化规则

UI界面中,导航至侧边栏的跟踪并选择一个跟踪项目。要查看该跟踪项目的现有自动化规则,请点击自动化标签页。

创建规则

  1. UI界面中,导航至侧边栏的跟踪并选择一个跟踪项目。点击跟踪项目页面右上角的**+ 新建**,然后点击新建自动化
  2. 为规则命名。
  3. 创建过滤器。自动化规则过滤器的工作方式与项目中应用于跟踪的过滤器相同。有关过滤器的更多信息,请参阅筛选跟踪
  4. 配置采样率以控制触发自动化操作的过滤运行百分比。您可以为自动化指定0到1之间的采样率。这将控制发送到自动化操作的过滤运行百分比。例如,如果将采样率设置为0.5,则通过过滤器的跟踪中有50%将被发送到操作。
  5. (可选)通过切换应用于历史运行并输入回填起始日期,将规则应用于历史运行。此操作仅在规则创建时可用。
    回填作为后台作业处理,因此您不会立即看到结果。为了跟踪回填进度,您可以查看自动化的日志
  6. 选择规则应用时要触发的操作。自动化规则可以执行四种操作:
    • 添加到数据集:将跟踪的输入和输出添加到数据集
    • 添加到标注队列:将跟踪添加到标注队列
    • 触发Webhook:使用跟踪数据触发Webhook
    • 延长数据保留期:延长使用基础保留期的匹配跟踪的数据保留期(有关详细信息,请参阅数据保留文档)。 请注意,所有其他规则也会通过数据保留文档中描述的自动升级机制延长匹配跟踪的数据保留期,但此规则不执行额外操作。

查看自动化的日志

日志可帮助您确认规则是否按预期工作。您可以通过导航至跟踪项目内的自动化标签页,并点击所创建规则的日志按钮来查看自动化的日志。 日志标签页允许您:
  • 查看所选时间段内给定规则处理的所有运行。
  • 如果特定规则执行触发错误,您可以通过悬停在错误图标上查看错误消息。
  • 通过筛选到规则的创建时间戳来监控回填作业的进度。这是因为回填从规则创建时开始。
  • 使用查看运行按钮检查自动化规则应用的运行。对于将运行作为示例添加到数据集的规则,您可以查看生成的示例。