Spider 是 Rust 编写、以并发为先的爬虫引擎。它先走 HTTP，只在页面需要 JavaScript 时才启动无头 Chrome，页面边抓边流式返回，同一套 API 可从单个脚本扩展到分布式工作集群。提供 Rust crate、命令行、Node.js 与 Python 包以及 MCP 服务器，同一引擎也驱动付费的 Spider Cloud 服务。

spider 是开源的吗？

是的，采用 MIT 许可证。

spider

Q: spider 是开源的吗？

是的，采用 MIT 许可证。

活跃·★ 2.8k·MIT·更新于 2026-10-23

Spider 是用 Rust 编写、以并发为先的爬虫引擎。它走 HTTP 抓取，只在页面确实需要 JavaScript 时才启动无头 Chrome，所以多数爬取都很快。两条路径都是流式的，页面通过订阅通道在抓到时就返回，而不是最后一次性给出；同一套 API 既能驱动单个异步任务，也能驱动分布式工作集群，无需改代码。

配置有合理默认值，只需设置你要改的：并发上限、深度、延迟、子域名、User-Agent、隐身模式和 robots.txt 处理。面对 JavaScript 密集的站点，启用 chrome 特性并调用 crawl_smart()，它先试 HTTP，再按页升级到 Chrome。它提供 Rust crate、命令行（spider_cli）、Node.js（@spider-rs/spider-rs）和 Python（spider_rs）包，以及给 Claude、Cursor 等客户端的 MCP 服务器（spider_mcp）。

同一引擎驱动商业版 Spider Cloud，它在同一套 API 后面处理代理、无头浏览器和反爬对抗；Smart 模式先走代理，只在页面反抗时才升级到隐身抓取。开源 crate 为 MIT 许可，无需密钥即可完全本地运行，附 50 多个可运行示例。大规模爬取时请遵守各站点的 robots.txt 和使用条款。

#网页爬虫#Rust#数据抓取#无头 Chrome#RAG#MCP#Markdown

功能特性

01先走 HTTP，只在页面需要 JavaScript 时启动无头 Chrome

02通过订阅通道在抓取时流式返回页面

03可配置并发、深度、延迟、子域名、User-Agent 和 robots.txt 遵守

04提供 Rust、命令行、Node.js、Python 和 MCP 服务器版本

05可导出 Markdown、JSON 或 WARC，附 50 多个可运行示例

为什么选择它

+先走 HTTP，只在页面需要时才用无头 Chrome，让多数爬取保持高速。

+页面边抓边流式返回，同一套 API 可从单脚本扩展到分布式集群。

+提供 Rust crate、命令行、Node.js 与 Python 包，以及 MCP 服务器。

权衡点

!用 Rust 编写，要充分发挥需要熟悉 Rust 工具链。

!README 在大规模爬取上较多引导到付费的 Spider Cloud。

!大规模爬取仍需自行处理 robots.txt 和站点条款。

维护状况检查

活跃检查日期: 2026-10-24

最近提交: 2026-10-23
近 90 天提交数: 39
近 90 天发布数: 0
最新发布: v2.52.2 (2026-03-31)
未关闭 issue: 4
近期 issue 至少有一条评论的比例: 15/22

近 12 周每周提交数

最早的一周在左边，最近 4 周为橙色。数据来源：GitHub 提交统计。

状态规则：GitHub 上已归档 = 已归档；最近提交在 90 天内 = 活跃；91 到 365 天 = 放缓；更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

#419 Add an opt-in Parallel Search MCP provider for Spider Agent2 条评论 · 2026-10-16
#423 Add DemonRoute as a documented custom endpoint for ModelEndpoint0 条评论 · 2026-10-19
#416 Create Git tag and GitHub release for every new version0 条评论 · 2026-09-28

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

兼容性

Rust

Crate

已通过文档验证

Python

spider_rs

已通过文档验证

Node.js

npm 包

已通过文档验证

Claude Code

MCP

已通过文档验证

快速开始

$ cargo add spider

使用场景

↳把网页内容灌入向量库，用于 RAG 流水线

↳监控网站的 SEO 或价格变化

↳通过 MCP 服务器给 AI 智能体提供爬虫能力

spider

活跃·★ 2.8k·MIT·更新于 2026-10-23

#网页爬虫#Rust#数据抓取#无头 Chrome#RAG#MCP#Markdown

功能特性

01先走 HTTP，只在页面需要 JavaScript 时启动无头 Chrome

02通过订阅通道在抓取时流式返回页面

03可配置并发、深度、延迟、子域名、User-Agent 和 robots.txt 遵守

04提供 Rust、命令行、Node.js、Python 和 MCP 服务器版本

05可导出 Markdown、JSON 或 WARC，附 50 多个可运行示例

为什么选择它

+先走 HTTP，只在页面需要时才用无头 Chrome，让多数爬取保持高速。

+页面边抓边流式返回，同一套 API 可从单脚本扩展到分布式集群。

+提供 Rust crate、命令行、Node.js 与 Python 包，以及 MCP 服务器。

权衡点

!用 Rust 编写，要充分发挥需要熟悉 Rust 工具链。

!README 在大规模爬取上较多引导到付费的 Spider Cloud。

!大规模爬取仍需自行处理 robots.txt 和站点条款。

维护状况检查

活跃检查日期: 2026-10-24

最近提交: 2026-10-23
近 90 天提交数: 39
近 90 天发布数: 0
最新发布: v2.52.2 (2026-03-31)
未关闭 issue: 4
近期 issue 至少有一条评论的比例: 15/22

近 12 周每周提交数

最早的一周在左边，最近 4 周为橙色。数据来源：GitHub 提交统计。

状态规则：GitHub 上已归档 = 已归档；最近提交在 90 天内 = 活跃；91 到 365 天 = 放缓；更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

#419 Add an opt-in Parallel Search MCP provider for Spider Agent2 条评论 · 2026-10-16
#423 Add DemonRoute as a documented custom endpoint for ModelEndpoint0 条评论 · 2026-10-19
#416 Create Git tag and GitHub release for every new version0 条评论 · 2026-09-28

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

兼容性

Rust

Crate

已通过文档验证

Python

spider_rs

已通过文档验证

Node.js

npm 包

已通过文档验证

Claude Code

MCP

已通过文档验证

快速开始

$ cargo add spider

使用场景

↳把网页内容灌入向量库，用于 RAG 流水线

↳监控网站的 SEO 或价格变化

↳通过 MCP 服务器给 AI 智能体提供爬虫能力

spider

功能特性

为什么选择它

权衡点

维护状况检查

讨论最多的未关闭 issue

兼容性

快速开始

使用场景

同类工具

评论

spider

功能特性

为什么选择它

权衡点

维护状况检查

讨论最多的未关闭 issue

兼容性

快速开始

使用场景

同类工具

评论