Skip to main content
你可以使用 Python 和 TypeScript SDK 以编程方式管理数据集。这包括创建、更新和删除数据集，以及向其中添加示例。

​
创建数据集

​
从值列表创建数据集

使用客户端创建数据集最灵活的方式是通过输入列表和可选的输出列表来创建示例。下面是一个示例。 请注意，你可以为每个示例添加任意元数据，例如注释或来源。元数据以字典形式存储。
如果你需要创建许多示例，请考虑使用 create_examples/createExamples 方法在单个请求中创建多个示例。如果只创建单个示例，可以使用 create_example/createExample 方法。
from langsmith import Client

examples = [
  {
    "inputs": {"question": "What is the largest mammal?"},
    "outputs": {"answer": "The blue whale"},
    "metadata": {"source": "Wikipedia"},
  },
  {
    "inputs": {"question": "What do mammals and birds have in common?"},
    "outputs": {"answer": "They are both warm-blooded"},
    "metadata": {"source": "Wikipedia"},
  },
  {
    "inputs": {"question": "What are reptiles known for?"},
    "outputs": {"answer": "Having scales"},
    "metadata": {"source": "Wikipedia"},
  },
  {
    "inputs": {"question": "What's the main characteristic of amphibians?"},
    "outputs": {"answer": "They live both in water and on land"},
    "metadata": {"source": "Wikipedia"},
  },
]

client = Client()
dataset_name = "Elementary Animal Questions"

# 将输入存储在数据集中，使我们能够
# 在共享的示例集上运行链和 LLM。
dataset = client.create_dataset(
  dataset_name=dataset_name, description="Questions and answers about animal phylogenetics.",
)

# 为批量创建准备输入、输出和元数据
client.create_examples(
  dataset_id=dataset.id,
  examples=examples
)

​
从追踪记录创建数据集

要从追踪记录中的运行（跨度）创建数据集，可以使用相同的方法。关于如何获取和筛选运行的更多示例，请参阅导出追踪记录指南。下面是一个示例： 
from langsmith import Client

client = Client()
dataset_name = "Example Dataset"

# 筛选要添加到数据集的运行
runs = client.list_runs(
  project_name="my_project",
  is_root=True,
  error=False,
)

dataset = client.create_dataset(dataset_name, description="An example dataset")

# 为批量创建准备输入和输出
examples = [{"inputs": run.inputs, "outputs": run.outputs} for run in runs]

# 使用批量 create_examples 方法
client.create_examples(
  dataset_id=dataset.id,
  examples=examples
)

​
从 CSV 文件创建数据集

在本节中，我们将演示如何通过上传 CSV 文件来创建数据集。 首先，确保你的 CSV 文件格式正确，列代表你的输入和输出键。这些键将在上传过程中用于正确映射你的数据。你可以为数据集指定可选的名称和描述。否则，将使用文件名作为数据集名称，且不提供描述。 
from langsmith import Client
import os

client = Client()
csv_file = 'path/to/your/csvfile.csv'
input_keys = ['column1', 'column2'] # 替换为你的输入列名
output_keys = ['output1', 'output2'] # 替换为你的输出列名

dataset = client.upload_csv(
  csv_file=csv_file,
  input_keys=input_keys,
  output_keys=output_keys,
  name="My CSV Dataset",
  description="Dataset created from a CSV file",
  data_type="kv"
)

​
从 pandas DataFrame 创建数据集（仅限 Python）

Python 客户端提供了一个额外的便捷方法，可以从 pandas 数据框上传数据集。 
from langsmith import Client
import os
import pandas as pd

client = Client()
df = pd.read_parquet('path/to/your/myfile.parquet')
input_keys = ['column1', 'column2'] # 替换为你的输入列名
output_keys = ['output1', 'output2'] # 替换为你的输出列名

dataset = client.upload_dataframe(
    df=df,
    input_keys=input_keys,
    output_keys=output_keys,
    name="My Parquet Dataset",
    description="Dataset created from a parquet file",
    data_type="kv" # 默认值
)

​
获取数据集

你可以使用 Python 和 TypeScript SDK 中的 list_datasets/listDatasets 方法以编程方式从 LangSmith 获取数据集。以下是一些常见的调用。
在运行以下代码片段之前，请先初始化客户端。
from langsmith import Client

client = Client()

​
查询所有数据集

datasets = client.list_datasets()

​
按名称列出数据集

如果你想按确切名称搜索，可以执行以下操作： 
datasets = client.list_datasets(dataset_name="My Test Dataset 1")
如果你想进行不区分大小写的子字符串搜索，请尝试以下操作： 
datasets = client.list_datasets(dataset_name_contains="some substring")

​
按类型列出数据集

你可以按类型筛选数据集： 
datasets = client.list_datasets(data_type="kv")

​
获取示例

你可以使用 Python 和 TypeScript SDK 中的 list_examples/listExamples 方法以编程方式从 LangSmith 获取示例。以下是一些常见的调用。
在运行以下代码片段之前，请先初始化客户端。
from langsmith import Client

client = Client()

​
列出数据集的所有示例

你可以按数据集 ID 筛选： 
examples = client.list_examples(dataset_id="c9ace0d8-a82c-4b6c-13d2-83401d68e9ab")
或者，你可以按数据集名称筛选（必须与要查询的数据集名称完全匹配） 
examples = client.list_examples(dataset_name="My Test Dataset")

​
按 ID 列出示例

你也可以按 ID 列出多个示例。 
example_ids = [
  '734fc6a0-c187-4266-9721-90b7a025751a',
  'd6b4c1b9-6160-4d63-9b61-b034c585074f',
  '4d31df4e-f9c3-4a6e-8b6c-65701c2fed13',
]

examples = client.list_examples(example_ids=example_ids)

​
按元数据列出示例

你也可以按元数据筛选示例。以下是查询具有特定元数据键值对的示例的示例。在底层，我们会检查示例的元数据是否包含你指定的键值对。 例如，如果你有一个元数据为 {"foo": "bar", "baz": "qux"} 的示例，那么 {foo: bar} 和 {baz: qux} 都会匹配，{foo: bar, baz: qux} 也会匹配。 
examples = client.list_examples(dataset_name=dataset_name, metadata={"foo": "bar"})

​
按结构化筛选器列出示例

类似于如何使用结构化筛选查询语言来获取运行记录，你也可以使用它来获取示例。
目前仅在 Python SDK v0.1.83 及更高版本和 TypeScript SDK v0.1.35 及更高版本中可用。此外，结构化筛选查询语言仅支持 metadata 字段。
你可以使用 has 操作符来获取包含特定键/值对的元数据字段的示例，使用 exists 操作符来获取包含特定键的元数据字段的示例。此外，你可以使用 and 操作符将多个筛选器链接在一起，并使用 not 操作符对筛选器进行否定。 
examples = client.list_examples(
  dataset_name=dataset_name,
  filter='and(not(has(metadata, \'{"foo": "bar"}\')), exists(metadata, "tenant_id"))'
)

​
更新示例

​
更新单个示例

你可以使用 Python 和 TypeScript SDK 中的 update_example/updateExample 方法以编程方式更新 LangSmith 中的示例。下面是一个示例。 
client.update_example(
  example_id=example.id,
  inputs={"input": "updated input"},
  outputs={"output": "updated output"},
  metadata={"foo": "bar"},
  split="train"
)

​
批量更新示例

你也可以使用 Python 和 TypeScript SDK 中的 update_examples/updateExamples 方法在单个请求中以编程方式更新多个示例。下面是一个示例。 
client.update_examples(
  example_ids=[example.id, example_2.id],
  inputs=[{"input": "updated input 1"}, {"input": "updated input 2"}],
  outputs=[
      {"output": "updated output 1"},
      {"output": "updated output 2"},
  ],
  metadata=[{"foo": "baz"}, {"foo": "qux"}],
  splits=[["training", "foo"], "training"] # 拆分可以是数组或独立字符串
)
Edit this page on GitHub or file an issue.
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.