PyScrappy logo
PyScrappy
★ 263
vs
AfdianToMarkdown logo
AfdianToMarkdown
★ 78

PyScrappy vs AfdianToMarkdown

PyScrappy:PyScrappy是一个AI原生的网络爬虫工具包,旨在将网站转化为结构化的、LLM就绪的数据。它既可以作为独立的Python库使用,也可以作为MCP服务器暴露,使AI代理能够直接访问和处理网络信息。;AfdianToMarkdown:这是一个爱发电(afdian.com)爬虫工具,用于下载作者的动态和作品集并保存为Markdown文件,便于离线访问和归档。它还支持MCP服务器模式,允许AI助手直接查询已下载内容,作为AI知识库服务。

01

简评

PyScrappy logo
PyScrappyBrowser Automation · ★ 263

赋能AI代理(如Claude、Ollama)获取并集成实时网页数据。

AfdianToMarkdown logo
AfdianToMarkdownBrowser Automation · ★ 78

归档喜爱的爱发电作者的动态和作品集,用于离线阅读和个人收藏。

02

并排对比

字段
PyScrappy logoPyScrappy
AfdianToMarkdown logoAfdianToMarkdown
分类
浏览器自动化
浏览器自动化
Stars
★ 263
★ 78
许可证
MIT
AGPL-3.0
安装方式
pip install pyscrappy
git clone https://github.com/PhiFever/AfdianToMarkdown.git && cd AfdianToMarkdown && go build
更新时间
1天前
3个月前
开源
是
是
标签
网络爬虫, AI代理, LLM数据准备
爱发电爬虫, Markdown导出, 内容下载器
03

功能特性

PyScrappy logoPyScrappy
01通用网页抓取,输出结构化的文本、链接、图片和表格。
02LLM就绪的输出格式,支持Markdown、JSON和DataFrame。
03MCP服务器功能,将爬虫作为工具暴露给AI代理。
04可选的Playwright后端,用于动态网站的JavaScript渲染。
05支持代理和爬虫API服务以绕过网站封锁。
AfdianToMarkdown logoAfdianToMarkdown
01将爱发电动态和作品集下载为Markdown文件。
02支持对现有内容进行增量更新和快速更新模式。
03提供MCP服务器模式,供AI助手作为知识库访问已下载内容。
04支持灵活配置主站域名、数据存储目录和Cookie路径。
04

使用场景

PyScrappy logoPyScrappy
↳赋能AI代理(如Claude、Ollama)获取并集成实时网页数据。
↳将任意网页内容转换为干净、结构化的数据,供大型语言模型使用。
↳使用内置的专用爬虫(如维基百科、IMDB、亚马逊)从热门网站收集特定信息。
↳使用CSS选择器从任意URL进行自定义数据提取。
↳通过自定义插件扩展抓取能力,以支持新的数据源。
AfdianToMarkdown logoAfdianToMarkdown
↳归档喜爱的爱发电作者的动态和作品集,用于离线阅读和个人收藏。
↳通过MCP服务器将已下载的爱发电内容用作AI助手的本地知识库。
↳对爱发电内容进行增量备份,以保持本地归档文件最新。
FAQ

常见问题

PyScrappy 和 AfdianToMarkdown 有什么区别?
PyScrappy 和 AfdianToMarkdown 都属于 Browser Automation 类别。PyScrappy 有 263 Stars,AfdianToMarkdown 有 78 Stars。
PyScrappy 和 AfdianToMarkdown 哪个更好?
最佳选择取决于你的具体需求。赋能AI代理(如Claude、Ollama)获取并集成实时网页数据。 时选 PyScrappy,归档喜爱的爱发电作者的动态和作品集,用于离线阅读和个人收藏。 时选 AfdianToMarkdown。
PyScrappy 是免费的吗?
是的,PyScrappy 在 GitHub 开源(MIT)。
AfdianToMarkdown 是免费的吗?
是的,AfdianToMarkdown 在 GitHub 开源(AGPL-3.0)。
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
→

相关链接