> ## Documentation Index
> Fetch the complete documentation index at: https://langchain-zh.cn/llms.txt
> Use this file to discover all available pages before exploring further.

# Spider 集成

> 使用 LangChain JavaScript 集成 Spider 文档加载器。

[Spider](https://spider.cloud/?ref=langchainjs) 是[速度最快](https://github.com/spider-rs/spider/blob/main/benches/BENCHMARKS.md#benchmark-results)的网络爬虫。它可以将任何网站转换为纯 HTML、Markdown、元数据或文本，同时支持您使用 AI 进行自定义操作来执行爬取。

## 概述

Spider 允许您使用高性能代理来防止被检测，缓存 AI 操作，通过 Webhook 获取爬取状态，安排定时爬取等。

本指南展示了如何使用 [Spider](https://spider.cloud/) 来爬取/抓取网站，并通过 LangChain 中的 `SpiderLoader` 加载可用于 LLM 的文档。

## 设置

在 [spider.cloud](https://spider.cloud/) 上获取您自己的 Spider API 密钥。

## 使用方法

以下是如何使用 `SpiderLoader` 的示例：

Spider 提供两种抓取模式：`scrape` 和 `crawl`。`scrape` 仅获取所提供 URL 的内容，而 `crawl` 则获取所提供 URL 的内容并进一步爬取子页面。

```typescript theme={"theme":{"light":"catppuccin-latte","dark":"catppuccin-mocha"}}
import { SpiderLoader } from "@langchain/community/document_loaders/web/spider";

const loader = new SpiderLoader({
  url: "https://spider.cloud", // 要抓取的 URL
  apiKey: process.env.SPIDER_API_KEY, // 可选，默认为您环境变量中的 `SPIDER_API_KEY`
  mode: "scrape", // 爬虫运行模式。可以是 "scrape"（针对单个 URL）或 "crawl"（用于深入爬取子页面）
  // params: {
  //   // 基于 Spider API 文档的可选参数
  //   // API 文档请访问 https://spider.cloud/docs/api
  // },
});

const docs = await loader.load();
```

### 额外参数

有关所有可用 `params` 的详细信息，请参阅 [Spider 文档](https://spider.cloud/docs/api)。

***

<div className="source-links">
  <Callout icon="edit">
    [Edit this page on GitHub](https://github.com/langchain-ai/docs/edit/main/src/i18n\zh-CN\oss\javascript\integrations\document_loaders\web_loaders\spider.mdx) or [file an issue](https://github.com/langchain-ai/docs/issues/new/choose).
  </Callout>

  <Callout icon="terminal-2">
    [Connect these docs](/use-these-docs) to Claude, VSCode, and more via MCP for real-time answers.
  </Callout>
</div>