如需使用 SDK 以编程方式创建复合评估器,请参阅 如何创建复合评估器 (SDK)。
创建复合评估器
您可以在 追踪项目(用于 在线评估)或 数据集(用于 离线评估)上创建复合评估器。通过 UI 中的复合评估器,您可以计算多个评估器得分的加权平均值或加权总和,并配置权重。
1. 导航到追踪项目或数据集
要开始配置复合评估器,请导航至 追踪项目 或 数据集与实验 标签页,并选择一个项目或数据集。- 在追踪项目内:+ 新建 > 评估器 > 复合得分
- 在数据集内:+ 评估器 > 复合得分
2. 配置复合评估器
- 为您的评估器命名。
- 选择聚合方法:平均值 或 总和。
- 平均值:∑(权重*得分) / ∑(权重)。
- 总和:∑(权重*得分)。
- 添加您希望包含在复合得分中的反馈键。
- 为反馈键添加权重。默认情况下,每个反馈键的权重相等。调整权重可以增加或减少特定反馈键在最终得分中的重要性。
- 点击 创建 以保存评估器。
3. 查看复合评估器结果
复合得分会作为 反馈 附加到运行上,类似于单个评估器的反馈。查看方式取决于评估运行的位置: 在追踪项目上: 在数据集上:- 在实验标签页中查看复合得分。您还可以根据实验运行的平均复合得分进行筛选和排序。
- 点击进入实验,查看每个运行的复合得分。
如果运行中未配置任何组成评估器,则不会为该运行计算复合得分。
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.


