Scrapling
活跃·★ 103.9k·BSD-3-Clause·更新于 2026-11-17
Scrapling 是一个自适应的 Python 网页抓取框架,从单个请求到完整的大规模爬取都能胜任。它最大的特点是自适应解析:你选中的元素可以被保存,网站改版后它会自动重新定位这些元素,让爬虫不那么容易失效。它结合了能模拟浏览器指纹的快速 HTTP 抓取、用于动态页面的完整浏览器自动化,以及类似 Scrapy 的爬虫框架。
它适合采集公开网页数据的开发者和数据团队,也适合希望 Agent 能抓取和提取网页内容的 AI 开发者。爬虫框架支持并发限制、按域名限速、被拦截请求的自动重试、暂停与恢复、流式输出结果,以及导出 JSON、CSV 和 XML,并可选择遵守 robots.txt。它的 MCP Server 让 AI 助手可以直接使用 Scrapling,交互式 Shell 则方便你调试选择器。
上手方式:需要 Python 3.10+。执行 `pip install scrapling` 安装;如果要用基于浏览器的抓取器,安装 `scrapling[fetchers]` 并运行 `scrapling install`;如果要用 MCP Server,安装 `scrapling[ai]`。
#网络爬虫#Python#爬虫框架#反机器人绕过#自适应解析#代理轮换#无头浏览器#命令行工具
01
功能特性
01功能齐全的爬虫框架,提供类似 Scrapy 的 API、并发请求、多会话支持和暂停/恢复功能。
02先进的抓取器,具有反机器人绕过、动态加载、持久会话管理和集成代理轮换功能。
03自适应抓取能力,具有智能元素跟踪和灵活选择方法,并通过 MCP 服务器集成 AI。
04高性能、内存高效的架构,经过速度优化并在生产环境中久经考验。
02
为什么选择它
+自适应选择器能在网站改版后继续工作,降低爬虫维护成本。
+一个框架同时覆盖快速 HTTP 请求、动态浏览器页面和大规模爬取。
+具备生产级爬取功能:限速、重试、暂停与恢复、流式输出和内置导出。
+提供面向 AI 助手的 MCP Server;采用 BSD-3-Clause 许可。
03
权衡点
!它的反爬绕过能力让抓取那些不希望被抓取的网站变得很容易;采集数据前,请确认网站条款、robots.txt 以及适用的法律法规。
!基于浏览器的抓取器需要额外安装,内存和 CPU 消耗也远高于普通 HTTP 请求。
!README 中有大量代理服务商的赞助广告;使用这个库并不需要购买其中任何一家的服务。
05
维护状况检查
活跃检查日期: 2026-11-08
- 最近提交
- 2026-11-08
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 4
- 最新发布
- v0.5.1 (2026-11-04)
- 未关闭 issue
- 16
- 近期 issue 至少有一条评论的比例
- 6/9
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #563 <base href> ignored when resolving relative URLs1 条评论 · 2026-11-05
- #558 Response.follow() inherits credentials when following links to a different origin0 条评论 · 2026-11-05
- #557 cannot access online sites like coupang.0 条评论 · 2026-11-04
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
04
适合谁
适合选它的情况
- 需要一个极致快速、自适应的 Python 现代网页抓取框架,能够轻松应对各类反爬防护与浏览器指纹检测。
- 希望在同一个库里自由切换轻量 HTTP 抓取与完整无头浏览器模式,并提供健壮的智能 DOM 选择器。
建议换别的情况
- 需要对移动端真实设备或安卓 App 进行操作与抓取;该场景应使用 mobile-mcp。
- 需要自带分布式爬虫任务队列、集群调度与数据存储的重型企业系统。
06
与同类的区别
Scrapling 专注现代 Web 网页的高性能数据抓取与反爬突破;mobile-mcp 专注移动端操作系统与 App 界面的跨端自动化交互。
07
兼容性
Python
运行时
已通过文档验证
Docker
部署
已通过文档验证
08
快速开始
1
$ pip install scrapling
09
使用场景
↳执行单个网页请求或启动全面的并发网络爬取。
↳通过自动重新定位抓取元素来适应网站设计变更。
↳绕过 Cloudflare Turnstile 等高级反机器人系统。
↳扩展到具有代理轮换和基于检查点持久性的多会话爬取。
↳利用 AI 进行辅助网络抓取和定向数据提取。
10
同类工具
linkedin-mcp-server★ 4.2k
该LinkedIn MCP服务器允许AI助手(如Claude)连接到您的LinkedIn账户,以访问个人资料和公司信息,搜索职位,或获取职位详情。
apify-mcp-server★ 16.7k
Apify Model Context Protocol (MCP) 服务器允许AI代理利用Apify Store中的数千个预制爬虫和自动化工具,从社交媒体、搜索引擎、地图、电商网站等任何网站提取数据,并支持OAuth认证。
收录于以下清单
评论
登录后发表评论
暂无评论,来发表第一条吧