在 Kubernetes 上自托管 LangSmith

• LangSmith UI 和 API：用于可观测性、追踪和评估。
• 后端服务：（队列、Playground、ACE）。
• 数据存储：（PostgreSQL、Redis、ClickHouse，可选的对象存储）。

• Google Kubernetes Engine (GKE)
• Amazon Elastic Kubernetes Service (EKS)：有关架构模式与最佳实践，请参阅在 AWS 上自托管。
• Azure Kubernetes Service (AKS)：有关架构模式与最佳实践，请参阅在 AKS 上自托管。
• OpenShift (4.14+)
• Minikube 和 Kind（用于开发目的）

​

先决条件

1. LangSmith 许可证密钥
   1. 您可以从 LangChain 代表处获取。更多信息请联系我们的销售团队。
2. API 密钥盐值
   1. 这是一个您可以生成的密钥。它应该是一个随机字符串。
   2. 您可以使用以下命令生成：
   openssl rand -base64 32
   
3. JWT 密钥（可选，用于基本身份验证）
   1. 这是一个您可以生成的密钥。它应该是一个随机字符串。
   2. 您可以使用以下命令生成：
   openssl rand -base64 32
   

​

数据库

• PostgreSQL
• Redis
• ClickHouse

​

Kubernetes 集群要求

1. 您需要一个可通过 kubectl 访问的正常运行的 Kubernetes 集群。您的集群应满足以下最低要求：
   1. 推荐：至少 16 个 vCPU，64GB 可用内存
      • 您可能需要根据组织规模/使用情况调整我们所有不同服务的资源请求/限制。您可以在自托管规模指南中找到我们的建议。
      • 我们建议使用集群自动扩缩器来处理基于资源使用情况的节点扩缩。
      • 我们建议设置指标服务器，以便启用自动扩缩。
      • 如果您在集群内运行 Clickhouse，则必须有一个至少具有 4 个 vCPU 和 16GB 可分配内存的节点，因为 ClickHouse 默认会请求此数量的资源。
   2. 有效的动态 PV 供应器或集群上可用的 PV（仅在集群内运行数据库时需要）
      • 为了启用持久化，我们将尝试为集群内运行的任何数据库配置卷。
      • 如果在集群中使用 PV，我们强烈建议在生产环境中设置备份。
      • 我们强烈建议使用 SSD 支持的存储类以获得更好的性能。我们建议 7000 IOPS 和 1000 MiB/s 的吞吐量。
      • 在 EKS 上，您可能需要确保已安装并配置了 ebs-csi-driver 以进行动态供应。更多信息请参阅 EBS CSI 驱动程序文档。
      您可以通过运行以下命令来验证：
      kubectl get storageclass
      
      输出应显示至少一个存储类，其供应器支持动态供应。例如：
      NAME            PROVISIONER                 RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
      gp2 (default)   ebs.csi.eks.amazonaws.com   Delete          WaitForFirstConsumer   true                   161d
      
      我们强烈建议使用支持卷扩展的存储类。这是因为追踪数据可能占用大量磁盘空间，并且您的卷可能随时间推移需要调整大小。
      更多信息请参阅 Kubernetes 文档。
2. Helm
   1. 要安装 helm，请参阅 Helm 文档
3. 出站访问 https://beacon.langchain.com（如果未在离线模式下运行）
   1. LangSmith 需要出站访问 https://beacon.langchain.com 以进行许可证验证和使用情况报告。这是 LangSmith 正常运行所必需的。您可以在出站访问部分找到更多关于出站要求的信息。

​

配置您的 Helm 图表：

1. 使用上一步的配置选项创建一个名为 langsmith_config.yaml 的新文件。
   1. 您可以在 langsmith_config.yaml 文件中设置多个配置选项。您可以在配置部分找到关于特定配置选项的更多信息。
   2. 如果您是 Kubernetes 或 Helm 的新手，我们建议从 Helm 图表仓库示例目录中的某个示例配置开始：LangSmith Helm 图表示例。
   3. 您可以在 Helm 图表仓库的 values.yaml 文件中查看完整的配置选项列表：LangSmith Helm 图表

2. 至少，您需要设置以下配置选项（使用基本身份验证）：
   config:
     langsmithLicenseKey: "<您的许可证密钥>"
     apiKeySalt: "<您的 API 密钥盐值>"
     authType: mixed
     initialOrgAdminEmail: "admin@langchain.dev" # 将此更改为您的管理员邮箱地址
     basicAuth:
       enabled: true
       initialOrgAdminPassword: "secure-password" # 必须至少 12 个字符，并且至少包含一个小写字母、一个大写字母和一个符号
       jwtSecret: <您的 JWT 盐值> # 用于为基本身份验证的 JWT 令牌签名的随机字符串。
   

​

部署到 Kubernetes：

1. 验证您可以连接到您的 Kubernetes 集群（注意：我们强烈建议安装到空命名空间中）
   1. 运行 kubectl get pods 输出应类似于：
        langsmith-eks-2vauP7wf 21:07:46 No resources found in default namespace.
      
   如果您使用的不是默认命名空间，则需要使用 -n <命名空间> 标志在 helm 和 kubectl 命令中指定命名空间。
2. 确保您已添加 LangChain Helm 仓库。（如果使用本地图表，请跳过此步骤）
   helm repo add langchain https://langchain-ai.github.io/helm
   
3. 查找图表的最新版本。您可以在 Helm 图表仓库中找到可用版本。
   • 我们通常建议使用最新版本。
   • 您也可以运行 helm search repo langchain/langsmith --versions 来查看可用版本。输出将类似于：
    langchain/langsmith              	0.13.0      	0.13.1    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.34      	0.12.73    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.33      	0.12.72    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.32      	0.12.70    	Helm chart to deploy the langsmith application ...
    langchain/langsmith              	0.12.31      	0.12.69    	Helm chart to deploy the langsmith application ...
   
4. 运行 helm upgrade -i langsmith langchain/langsmith --values langsmith_config.yaml --version <版本> -n <命名空间> --wait --debug
   • 将 <命名空间> 替换为您要部署 LangSmith 的命名空间。
   • 将 <版本> 替换为上一步中您要安装的 LangSmith 版本。大多数用户应安装可用的最新版本。
   一旦 helm install 命令运行并成功完成，您应该会看到类似以下的输出：
   NAME: langsmith
   LAST DEPLOYED: Fri Sep 17 21:08:47 2021
   NAMESPACE: langsmith
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None
   
   这可能需要几分钟才能完成，因为它将创建多个 Kubernetes 资源并运行多个作业来初始化数据库和其他服务。
5. 运行 kubectl get pods 输出现在应类似于以下内容（注意确切的 Pod 名称可能因您使用的版本和配置而异）：
    langsmith-ace-backend-98fbd468c-x9gjl         1/1     Running   0
    langsmith-backend-84999bbcb7-dfhml            1/1     Running   0
    langsmith-clickhouse-0                        1/1     Running   0
    langsmith-frontend-79bdcbccc6-r7pt7           1/1     Running   0
    langsmith-ingest-queue-cbb67748-8rl8x         1/1     Running   0
    langsmith-platform-backend-586bd9d97c-2g5mv   1/1     Running   0
    langsmith-playground-859d44b46c-fjqjh         1/1     Running   0
    langsmith-postgres-0                          1/1     Running   0
    langsmith-queue-7bd6cb8b9b-bmvxm              1/1     Running   0
    langsmith-redis-0                             1/1     Running   0
   

​

验证您的部署：

1. 运行 kubectl get services 输出应类似于：
    NAME                         TYPE           CLUSTER-IP       EXTERNAL-IP                                                                   PORT(S)                      AGE
    langsmith-ace-backend        ClusterIP      172.20.92.210    <none>                                                                        1987/TCP                     1m
    langsmith-backend            ClusterIP      172.20.156.146   <none>                                                                        1984/TCP                     1m
    langsmith-clickhouse         ClusterIP      172.20.250.160   <none>                                                                        8123/TCP,9000/TCP,9363/TCP   1m
    langsmith-frontend           LoadBalancer   172.20.18.173    <external-ip>                                                                 80:30879/TCP,443:31364/TCP   1m
    langsmith-platform-backend   ClusterIP      172.20.95.187    <none>                                                                        1986/TCP                     1m
    langsmith-playground         ClusterIP      172.20.142.121   <none>                                                                        1988/TCP                     1m
    langsmith-postgres           ClusterIP      172.20.226.128   <none>                                                                        5432/TCP                     1m
    langsmith-redis              ClusterIP      172.20.57.248    <none>                                                                        6379/TCP                     1m
   
2. 使用 curl 访问 langsmith-frontend 服务的外部 IP：
   curl <外部 IP>/api/tenants
   
   预期输出：
   [{"id":"00000000-0000-0000-0000-000000000000","has_waitlist_access":true,"created_at":"2023-09-13T18:25:10.488407","display_name":"Personal","config":{"is_personal":true,"max_identities":1},"tenant_handle":"default"}]
   
3. 在浏览器中访问 langsmith-frontend 服务的外部 IP LangSmith UI 应该可见/可操作

​

使用 LangSmith

• 为您的 LangSmith 实例设置 DNS，以便更轻松地访问
• 配置 SSL 以确保提交到 LangSmith 的追踪数据在传输过程中加密
• 使用单点登录配置 LangSmith 以保护您的 LangSmith 实例
• 将 LangSmith 连接到外部 Postgres 和 Redis 实例
• 设置对象存储以存储大文件