JobSpy
★ 4.6k
vs
spider
★ 2.8k
JobSpy vs spider
JobSpy：JobSpy 是一个 Python 库，可并发抓取 LinkedIn、Indeed、Glassdoor、ZipRecruiter、Google、Bayt、Naukri、BDJobs 和 HelloWork 上的职位，并合并成一个 pandas DataFrame 返回。它还会安装 `jobspy` 命令（每个职位输出一行 JSON），并提供 MCP 服务器 `mcp-jobspy`，让 AI 助手直接搜索职位。；spider：Spider 是 Rust 编写、以并发为先的爬虫引擎。它先走 HTTP，只在页面需要 JavaScript 时才启动无头 Chrome，页面边抓边流式返回，同一套 API 可从单个脚本扩展到分布式工作集群。提供 Rust crate、命令行、Node.js 与 Python 包以及 MCP 服务器，同一引擎也驱动付费的 Spider Cloud 服务。
01
简评
JobSpyData Processing · ★ 4.6k
搭建个人求职流水线，把符合条件的职位导出成 CSV
spiderData Processing · ★ 2.8k
把网页内容灌入向量库，用于 RAG 流水线
02
并排对比
03
功能特性
JobSpy01一次 scrape_jobs() 调用并发查询最多九个招聘网站，结果合并为 DataFrame
02可按地点、距离、职位类型、远程、站内申请和发布时间（小时）筛选
03支持轮换代理，LinkedIn、Indeed、BDJobs 还支持 SOCKS 代理
04jobspy 命令行把每个职位以一行 JSON 输出到 stdout，方便脚本处理
05MCP 服务器 mcp-jobspy，可用 uvx mcp-jobspy@latest 直接运行
spider01先走 HTTP，只在页面需要 JavaScript 时启动无头 Chrome
02通过订阅通道在抓取时流式返回页面
03可配置并发、深度、延迟、子域名、User-Agent 和 robots.txt 遵守
04提供 Rust、命令行、Node.js、Python 和 MCP 服务器版本
05可导出 Markdown、JSON 或 WARC，附 50 多个可运行示例
04
使用场景
JobSpy↳搭建个人求职流水线，把符合条件的职位导出成 CSV
↳让 Claude 等 MCP 客户端检索最新职位
↳跨平台收集薪资区间等招聘市场数据做分析
spider↳把网页内容灌入向量库，用于 RAG 流水线
↳监控网站的 SEO 或价格变化
↳通过 MCP 服务器给 AI 智能体提供爬虫能力
FAQ
常见问题
JobSpy 和 spider 有什么区别？
JobSpy 和 spider 都属于 Data Processing 类别。JobSpy 有 4.6k Stars，spider 有 2.8k Stars。
JobSpy 和 spider 哪个更好？
最佳选择取决于你的具体需求。搭建个人求职流水线，把符合条件的职位导出成 CSV 时选 JobSpy，把网页内容灌入向量库，用于 RAG 流水线 时选 spider。
JobSpy 是免费的吗？
是的，JobSpy 在 GitHub 开源（MIT）。
spider 是免费的吗？
是的，spider 在 GitHub 开源（MIT）。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器，新用户立享 $200 免费额度（60天有效）。
→