> ## Documentation Index
> Fetch the complete documentation index at: https://langchain-zh.cn/llms.txt
> Use this file to discover all available pages before exploring further.

# 如何通过少量示例提升评估器性能

当无法通过编程方式评估系统时，使用 LLM 作为评估器（LLM-as-a-judge）会非常有帮助。然而，其效果取决于评估器的质量以及与人工审核反馈的一致性。LangSmith 提供了通过少量示例来提升 LLM 作为评估器与人工偏好一致性的能力。

人工修正会自动通过少量示例插入到评估器提示中。少量示例技术灵感来源于[少量样本提示（few-shot prompting）](https://www.promptingguide.ai/techniques/fewshot)，它通过少量高质量示例来引导模型输出。

本指南将介绍如何为 LLM 作为评估器设置少量示例，并应用修正来调整反馈分数。

## 少量示例的工作原理

* 少量示例通过 `{{Few-shot examples}}` 变量添加到评估器提示中
* 创建带有少量示例的评估器时，系统会自动为您创建一个数据集，一旦开始进行修正，该数据集将自动填充少量示例
* 在运行时，这些示例将被插入到评估器中，作为其输出的指导——这将帮助评估器更好地与人工偏好保持一致

## 配置评估器

<Note>
  少量示例目前不支持使用提示中心（prompt hub）的 LLM 作为评估器，仅兼容使用 Mustache 格式的提示。
</Note>

在启用少量示例之前，请先设置您的 LLM 作为评估器。如果尚未完成此步骤，请按照 [LLM 作为评估器指南](/langsmith/llm-as-judge) 中的步骤操作。

### 1. 配置变量映射

每个少量示例都根据配置中指定的变量映射进行格式化。少量示例的变量映射应包含与主提示相同的变量，外加一个 `few_shot_explanation` 变量和一个 `score` 变量，该变量应与您的反馈键（feedback key）同名。

例如，如果您的主提示包含变量 `question` 和 `response`，并且您的评估器输出一个 `correctness` 分数，那么您的少量示例提示应包含变量 `question`、`response`、`few_shot_explanation` 和 `correctness`。

### 2. 指定使用的少量示例数量

您还可以指定要使用的少量示例数量。默认值为 5。如果您的示例非常长，您可能希望将此数字设置得更低以节省令牌；而如果您的示例通常较短，则可以设置更高的数字，以便为评估器提供更多学习示例。如果您的数据集中有超过此数量的示例，系统将随机为您选择。

## 进行修正

<Info>
  [审核评估器分数](/langsmith/audit-evaluator-scores)
</Info>

当您开始记录追踪或运行实验时，您可能会对评估器给出的某些分数持有不同意见。当您[对这些分数进行修正](/langsmith/audit-evaluator-scores)时，您将开始看到修正数据集中填充的示例。在进行修正时，请务必附上解释——这些解释将替换 `few_shot_explanation` 变量，填充到您的评估器提示中。

少量示例的输入将来自您的链/数据集的输入、输出和参考（如果这是离线评估器）中的相关字段。输出将是修正后的评估器分数以及您在留下修正时创建的解释。您可以随意编辑这些内容。以下是一个修正数据集中少量示例的示例：

<img src="https://mintcdn.com/hhh-8c10bf0c/lw0BeSKlKZkqgDHv/langsmith/images/few-shot-example.png?fit=max&auto=format&n=lw0BeSKlKZkqgDHv&q=85&s=dc7da91cd3119aec6af114b85121b9d3" alt="少量示例" width="1572" height="790" data-path="langsmith/images/few-shot-example.png" />

请注意，修正可能需要一两分钟才能填充到您的少量示例数据集中。一旦填充完成，未来运行评估器时就会在提示中包含它们！

## 查看修正数据集

要查看您的修正数据集：

* **在线评估器**：选择您的运行规则并点击 **编辑规则**
* **离线评估器**：选择您的评估器并点击 **编辑评估器**

<img src="https://mintcdn.com/hhh-8c10bf0c/lw0BeSKlKZkqgDHv/langsmith/images/edit-evaluator.png?fit=max&auto=format&n=lw0BeSKlKZkqgDHv&q=85&s=d7331d3eb65948071533c0b8109e22b3" alt="编辑评估器" width="800" height="284" data-path="langsmith/images/edit-evaluator.png" />

前往 **通过少量示例提高评估器准确性** 部分中链接的修正数据集。您可以在数据集中查看和更新您的少量示例。

<img src="https://mintcdn.com/hhh-8c10bf0c/jRI9Uh24bT9O5tSI/langsmith/images/view-few-shot-ds.png?fit=max&auto=format&n=jRI9Uh24bT9O5tSI&q=85&s=e196d55b47a4796b886f2593da3333df" alt="查看少量示例数据集" width="1470" height="478" data-path="langsmith/images/view-few-shot-ds.png" />

***

<div className="source-links">
  <Callout icon="edit">
    [Edit this page on GitHub](https://github.com/langchain-ai/docs/edit/main/src/i18n\zh-CN\langsmith\create-few-shot-evaluators.mdx) or [file an issue](https://github.com/langchain-ai/docs/issues/new/choose).
  </Callout>

  <Callout icon="terminal-2">
    [Connect these docs](/use-these-docs) to Claude, VSCode, and more via MCP for real-time answers.
  </Callout>
</div>