PyScrappy
活跃·★ 264·MIT·更新于 2026-10-22
PyScrappy是一个AI原生的网络爬虫工具包，旨在将网站转化为结构化的、LLM就绪的数据。它既可以作为独立的Python库使用，也可以作为MCP服务器暴露，使AI代理能够直接访问和处理网络信息。
PyScrappy 当前归类于 浏览器自动化，更适合按具体工作流、部署方式和团队场景来判断是否适配。从现有资料来看，它主要强调 通用网页抓取，输出结构化的文本、链接、图片和表格。。典型使用场景包括 赋能AI代理（如Claude、Ollama）获取并集成实时网页数据。。页面记录的许可证为 MIT。当前 GitHub Stars 为 263。相关标签包括 网络爬虫、AI代理。
#网络爬虫#AI代理#LLM数据准备#Python库#MCP服务器#数据提取#浏览器自动化#API集成
01
功能特性
01通用网页抓取，输出结构化的文本、链接、图片和表格。
02LLM就绪的输出格式，支持Markdown、JSON和DataFrame。
03MCP服务器功能，将爬虫作为工具暴露给AI代理。
04可选的Playwright后端，用于动态网站的JavaScript渲染。
05支持代理和爬虫API服务以绕过网站封锁。
02
为什么选择它
+通用网页抓取，输出结构化的文本、链接、图片和表格。
+LLM就绪的输出格式，支持Markdown、JSON和DataFrame。
+赋能AI代理（如Claude、Ollama）获取并集成实时网页数据。
+覆盖 6 个兼容平台或环境。
03
权衡点
!最终选型仍建议与同类工具做并排比较，而不是单看单页信息。
04
兼容性
Python
运行时
已通过文档验证
Playwright
JS渲染
已通过文档验证
Pandas
数据框
已通过文档验证
MCP (Model Context Protocol)
代理协议
已通过文档验证
AI Agents
集成
已通过文档验证
Scraping API Services
反爬虫服务
已通过文档验证
05
快速开始
1
$ pip install pyscrappy
06
使用场景
↳赋能AI代理（如Claude、Ollama）获取并集成实时网页数据。
↳将任意网页内容转换为干净、结构化的数据，供大型语言模型使用。
↳使用内置的专用爬虫（如维基百科、IMDB、亚马逊）从热门网站收集特定信息。
↳使用CSS选择器从任意URL进行自定义数据提取。
↳通过自定义插件扩展抓取能力，以支持新的数据源。
07
同类工具
评论
登录后发表评论
暂无评论，来发表第一条吧