> ## Documentation Index
> Fetch the complete documentation index at: https://langchain-zh.cn/llms.txt
> Use this file to discover all available pages before exploring further.

# 如何定义基于LLM作为评判者的评估器

由于LLM应用通常生成对话式文本，且不存在唯一正确答案，因此评估起来可能具有挑战性。

本指南将向您展示如何使用[LangSmith UI](https://smith.langchain.com)为[离线评估](/langsmith/evaluation-concepts#offline-evaluations)定义[基于LLM作为评判者的评估器](/langsmith/evaluation-concepts#llm-as-judge)。

<Note>
  若要在生产环境追踪记录中实时运行评估，请参阅[设置在线评估](/langsmith/online-evaluations-llm-as-judge)。
</Note>

## 步骤1. 创建评估器

1. 在[LangSmith UI](https://smith.langchain.com)中，可通过Playground或数据集创建评估器：点击 **+ Evaluator** 按钮。
2. 从下拉菜单中选择 **Create from scratch** 选项。您也可以先选择预置评估器并进行编辑。

### 预置评估器

预置评估器是设置评估时的实用起点。LangSmith UI支持以下预置评估器：

* **幻觉检测**：检测事实性错误的输出。需要参考输出。
* **正确性**：检查与参考内容的语义相似度。
* **简洁性**：评估回答是否简洁回应问题。
* **代码检查器**：验证代码答案的正确性。

您可以在以下场景配置这些评估器：

* 使用[Playground](/langsmith/prompt-engineering-concepts#playground)运行评估时
* 作为数据集的一部分以[在实验中自动运行评估](/langsmith/bind-evaluator-to-dataset)
* 运行[在线评估](/langsmith/online-evaluations-llm-as-judge)时

### 自定义您的LLM作为评判者评估器

为您的LLM作为评判者评估器提示词添加具体指令，并配置应将输入/输出/参考输出的哪些部分传递给评估器。

## 步骤2. 配置评估器

### 提示词

创建新提示词，或从[提示词中心](/langsmith/prompt-engineering-quickstart)选择现有提示词。

* **创建自定义提示词**：在线创建自定义提示词。

* **从提示词中心拉取提示词**：使用 **Select a prompt** 下拉菜单选择现有提示词。您无法在提示词编辑器中直接编辑这些提示词，但可以查看提示词及其使用的架构。如需修改，请在Playground中编辑提示词并提交版本，然后在评估器中拉取新提示词。

### 模型

从提供的选项中选择所需模型。

### 变量映射

使用变量映射来指定从您的运行记录或示例传递到评估器提示词的变量。为辅助变量映射，系统会提供参考示例（或运行记录）。点击提示词中的变量，使用下拉菜单将其映射到输入、输出或参考输出的相关部分。

如需添加提示词变量，若使用mustache格式（默认），请键入带双花括号的变量 `{{prompt_var}}`；若使用f-string格式，请键入带单花括号的变量 `{prompt_var}`。

您可以根据需要移除变量。例如，当评估简洁性等指标时，通常不需要参考输出，因此可以移除该变量。

### 预览

预览提示词将显示使用右侧参考运行记录和数据集示例格式化后的提示词效果。

### 通过少样本示例改进评估器

为使LLM作为评判者评估器更贴合人类偏好，LangSmith允许您收集评估器分数上的[人工修正](/langsmith/create-few-shot-evaluators#make-corrections)。启用此选项后，修正将自动作为少样本示例插入到您的提示词中。

了解[如何设置少样本示例并进行修正](/langsmith/create-few-shot-evaluators)。

### 反馈配置

反馈配置是您的LLM作为评判者评估器将使用的评分标准。可将其视为评估器进行评分的评分准则。分数将作为[反馈](/langsmith/observability-concepts#feedback)添加到运行记录或示例中。为评估器定义反馈：

1. **命名反馈键**：这是在查看评估结果时显示的名称。名称应在不同实验间保持唯一。

2. **添加描述**：描述该反馈所代表的含义。

3. **选择反馈类型**：

   * **布尔型**：真/假反馈。
   * **分类型**：从预定义类别中选择。
   * **连续型**：在指定范围内的数值评分。

在底层实现中，反馈配置会作为[结构化输出](/oss/python/langchain/structured-output)添加到LLM作为评判者提示词中。如果您使用提示词中心的现有提示词，必须在配置评估器使用前向提示词添加输出架构。输出架构中的每个顶层键都将被视为独立的反馈项。

## 步骤3. 保存评估器

完成配置后，保存您的更改。

***

<div className="source-links">
  <Callout icon="edit">
    [Edit this page on GitHub](https://github.com/langchain-ai/docs/edit/main/src/i18n\zh-CN\langsmith\llm-as-judge.mdx) or [file an issue](https://github.com/langchain-ai/docs/issues/new/choose).
  </Callout>

  <Callout icon="terminal-2">
    [Connect these docs](/use-these-docs) to Claude, VSCode, and more via MCP for real-time answers.
  </Callout>
</div>