AgentIndex icon
AgentIndex
工具MCP 服务HOT分类热门最新选型清单对比指南
提交工具
工具MCP 服务HOT分类热门最新选型清单对比指南
首页/
浏览器自动化/
Scrapling
Scrapling logo

Scrapling

活跃·★ 103.9k·BSD-3-Clause·更新于 2026-11-17

Scrapling 是一个自适应的 Python 网页抓取框架,从单个请求到完整的大规模爬取都能胜任。它最大的特点是自适应解析:你选中的元素可以被保存,网站改版后它会自动重新定位这些元素,让爬虫不那么容易失效。它结合了能模拟浏览器指纹的快速 HTTP 抓取、用于动态页面的完整浏览器自动化,以及类似 Scrapy 的爬虫框架。

它适合采集公开网页数据的开发者和数据团队,也适合希望 Agent 能抓取和提取网页内容的 AI 开发者。爬虫框架支持并发限制、按域名限速、被拦截请求的自动重试、暂停与恢复、流式输出结果,以及导出 JSON、CSV 和 XML,并可选择遵守 robots.txt。它的 MCP Server 让 AI 助手可以直接使用 Scrapling,交互式 Shell 则方便你调试选择器。

上手方式:需要 Python 3.10+。执行 `pip install scrapling` 安装;如果要用基于浏览器的抓取器,安装 `scrapling[fetchers]` 并运行 `scrapling install`;如果要用 MCP Server,安装 `scrapling[ai]`。

本文根据项目 README 和公开仓库数据整理,我们没有实际试用过该工具。数据截至 2026-11-14。

许可证
BSD-3-Clause
最新发布
v0.5.1 · 2026-11-04
最近提交
2026-11-14
贡献者
54
复刻数
10,717
未关闭的 issue 和 PR
21
首次发布
2024-10-13
PyPI 包
scrapling 0.5.1 · 384,878 上周下载

来源:GitHub、npm 和 PyPI 的公开接口。

#网络爬虫#Python#爬虫框架#反机器人绕过#自适应解析#代理轮换#无头浏览器#命令行工具
$ 安装
$ pip install scrapling
↗ 访问官网★ GitHub
01

功能特性

01功能齐全的爬虫框架,提供类似 Scrapy 的 API、并发请求、多会话支持和暂停/恢复功能。
02先进的抓取器,具有反机器人绕过、动态加载、持久会话管理和集成代理轮换功能。
03自适应抓取能力,具有智能元素跟踪和灵活选择方法,并通过 MCP 服务器集成 AI。
04高性能、内存高效的架构,经过速度优化并在生产环境中久经考验。
02

为什么选择它

+自适应选择器能在网站改版后继续工作,降低爬虫维护成本。
+一个框架同时覆盖快速 HTTP 请求、动态浏览器页面和大规模爬取。
+具备生产级爬取功能:限速、重试、暂停与恢复、流式输出和内置导出。
+提供面向 AI 助手的 MCP Server;采用 BSD-3-Clause 许可。
03

权衡点

!它的反爬绕过能力让抓取那些不希望被抓取的网站变得很容易;采集数据前,请确认网站条款、robots.txt 以及适用的法律法规。
!基于浏览器的抓取器需要额外安装,内存和 CPU 消耗也远高于普通 HTTP 请求。
!README 中有大量代理服务商的赞助广告;使用这个库并不需要购买其中任何一家的服务。
05

维护状况检查

活跃检查日期: 2026-11-08
最近提交
2026-11-08
近 90 天提交数
100+
近 90 天发布数
4
最新发布
v0.5.1 (2026-11-04)
未关闭 issue
16
近期 issue 至少有一条评论的比例
6/9
近 12 周每周提交数
近 12 周每周提交数: 10, 3, 5, 11, 40, 7, 33, 44, 9, 10, 26, 1

最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。

状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

  • #563 <base href> ignored when resolving relative URLs1 条评论 · 2026-11-05
  • #558 Response.follow() inherits credentials when following links to a different origin0 条评论 · 2026-11-05
  • #557 cannot access online sites like coupang.0 条评论 · 2026-11-04

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

04

适合谁

适合选它的情况
  • 需要一个极致快速、自适应的 Python 现代网页抓取框架,能够轻松应对各类反爬防护与浏览器指纹检测。
  • 希望在同一个库里自由切换轻量 HTTP 抓取与完整无头浏览器模式,并提供健壮的智能 DOM 选择器。
建议换别的情况
  • 需要对移动端真实设备或安卓 App 进行操作与抓取;该场景应使用 mobile-mcp。
  • 需要自带分布式爬虫任务队列、集群调度与数据存储的重型企业系统。
06

与同类的区别

mobile-mcp logovs mobile-mcp★ 10.7k

Scrapling 专注现代 Web 网页的高性能数据抓取与反爬突破;mobile-mcp 专注移动端操作系统与 App 界面的跨端自动化交互。

完整横向对比 →
07

兼容性

Python
运行时
已通过文档验证
Docker
部署
已通过文档验证
08

快速开始

1
$ pip install scrapling
09

使用场景

↳执行单个网页请求或启动全面的并发网络爬取。
↳通过自动重新定位抓取元素来适应网站设计变更。
↳绕过 Cloudflare Turnstile 等高级反机器人系统。
↳扩展到具有代理轮换和基于检查点持久性的多会话爬取。
↳利用 AI 进行辅助网络抓取和定向数据提取。
10

同类工具

⚡热门对决:
VSmobile-mcp★10.7k→VSlinkedin-mcp-server★4.2k→VSapify-mcp-server★16.7k→VSbrightdata-mcp★2.7k→
mobile-mcp logo
mobile-mcp★ 10.7k
Mobile Next是一个MCP服务器,通过平台无关的接口实现iOS和安卓设备的移动自动化与开发。
VS对比→
linkedin-mcp-server logo
linkedin-mcp-server★ 4.2k
该LinkedIn MCP服务器允许AI助手(如Claude)连接到您的LinkedIn账户,以访问个人资料和公司信息,搜索职位,或获取职位详情。
VS对比→
apify-mcp-server logo
apify-mcp-server★ 16.7k
Apify Model Context Protocol (MCP) 服务器允许AI代理利用Apify Store中的数千个预制爬虫和自动化工具,从社交媒体、搜索引擎、地图、电商网站等任何网站提取数据,并支持OAuth认证。
VS对比→
brightdata-mcp logo
brightdata-mcp★ 2.7k
The Web MCP 为AI助手提供实时网络超能力,使其能够无缝连接到实时网页而不会被阻碍。
VS对比→
Jobs_Applier_AI_Agent_AIHawk logo
Jobs_Applier_AI_Agent_AIHawk★ 32.6k
根据简历搜索和评估岗位,并通过可见浏览器辅助填写求职申请的终端 AI 工具。
VS对比→
aginxbrowser logo
aginxbrowser★ 56
专为AI代理设计的浏览器,能够查看、阅读、操作和记忆网页内容。
VS对比→
steel-mcp-server logo
steel-mcp-server★ 58
Steel MCP Server 为大型语言模型客户端提供由 Steel 管理的 Chromium 浏览器,从而实现网页抓取、截图和表单填写等高级网页交互。
VS对比→
mcp-browser-use logo
mcp-browser-use★ 63
MCP Browser Use Server 是一个MCP服务器,它将browser-use自动化引擎集成到Claude Desktop和其他MCP兼容客户端中,以实现浏览器自动化。
VS对比→
查看全部替代品 →

收录于以下清单

  • 浏览器自动化 MCP 服务器推荐

评论

登录后发表评论

暂无评论,来发表第一条吧

本页内容
01功能特性02为什么选择它03权衡点05维护状况检查04适合谁06与同类的区别07兼容性08快速开始09使用场景10同类工具
D4Vinci /
Scrapling
↗

自适应 Python 爬虫框架,内置反爬抓取器

103.9k11kBSD-3-Clause
最后更新1天前
状态活跃
分类浏览器自动化
贡献者54
最新发布v0.5.1
链接
文档↗讨论↗问题↗版本↗
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
© 2026 AgentIndex.app|由十年 iOS 开发者构建。
按场景挑选关于我们联系我们广告合作隐私政策使用条款QYSGitHub请作者喝咖啡 ☕

按分类浏览

MCP 服务器代码助手工作流自动化RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。