PyScrappy logo
PyScrappy
★ 263
vs
fitter logo
fitter
★ 133

PyScrappy vs fitter

PyScrappy:PyScrappy是一个AI原生的网络爬虫工具包,旨在将网站转化为结构化的、LLM就绪的数据。它既可以作为独立的Python库使用,也可以作为MCP服务器暴露,使AI代理能够直接访问和处理网络信息。;fitter:Fitter是一个声明式工具,可以将任何网站或API转换为结构化JSON,无需编写脆弱的抓取脚本。它专为AI代理设计,允许大型语言模型按需在本地编写、验证和执行数据提取管道。

01

简评

PyScrappy logo
PyScrappyBrowser Automation · ★ 263

赋能AI代理(如Claude、Ollama)获取并集成实时网页数据。

fitter logo
fitterLLM Infra · ★ 133

从没有API的网站抓取数据,并结合外部API数据进行丰富(例如,从HTML抓取GitHub趋势仓库,再通过GitHub REST API丰富信息)。

02

并排对比

字段
PyScrappy logoPyScrappy
fitter logofitter
分类
浏览器自动化
大模型基础设施
Stars
★ 263
★ 133
许可证
MIT
MIT
安装方式
pip install pyscrappy
go build -o fitter_mcp ./cmd/mcp && claude mcp add fitter -s user -- "$(pwd)/fitter_mcp"
更新时间
1天前
1个月前
开源
是
是
标签
网络爬虫, AI代理, LLM数据准备
网络爬虫, 数据提取, AI代理
03

功能特性

PyScrappy logoPyScrappy
01通用网页抓取,输出结构化的文本、链接、图片和表格。
02LLM就绪的输出格式,支持Markdown、JSON和DataFrame。
03MCP服务器功能,将爬虫作为工具暴露给AI代理。
04可选的Playwright后端,用于动态网站的JavaScript渲染。
05支持代理和爬虫API服务以绕过网站封锁。
fitter logofitter
01声明式和可审计配置:AI代理生成可读、可保存和可重复运行的配置,而非一次性代码。
02本地优先数据获取:所有数据获取都在用户本地机器上进行,无需依赖第三方抓取API或按请求计费。
03功能齐全:内置HTTP客户端、无头浏览器(Playwright/Chromium/Docker)、多种解析器(JSON、HTML、XML、XPath)、分页、缓存和主机限速等功能。
04多种使用模式:可用作AI客户端的MCP服务器、AI驱动的CLI代理、本地CLI工具、可嵌入的Go库或长时间运行的服务。
05通过MCP集成LLM:提供一个模型上下文协议(MCP)服务器,使Claude Code、Claude Desktop及其他MCP客户端能够编写和运行爬取管道。
04

使用场景

PyScrappy logoPyScrappy
↳赋能AI代理(如Claude、Ollama)获取并集成实时网页数据。
↳将任意网页内容转换为干净、结构化的数据,供大型语言模型使用。
↳使用内置的专用爬虫(如维基百科、IMDB、亚马逊)从热门网站收集特定信息。
↳使用CSS选择器从任意URL进行自定义数据提取。
↳通过自定义插件扩展抓取能力,以支持新的数据源。
fitter logofitter
↳从没有API的网站抓取数据,并结合外部API数据进行丰富(例如,从HTML抓取GitHub趋势仓库,再通过GitHub REST API丰富信息)。
↳使用无头浏览器从JavaScript渲染的动态网页中提取结构化信息。
↳为AI代理自动化数据收集,使其能够根据自然语言请求动态生成和执行数据提取配置。
↳生成静态数据序列或根据计算表达式转换数据字段。
↳将提取结果以各种格式(例如CSV)写入本地文件,用于报告或进一步处理。
FAQ

常见问题

PyScrappy 和 fitter 有什么区别?
PyScrappy 和 fitter 都属于 Browser Automation 类别。PyScrappy 有 263 Stars,fitter 有 133 Stars。
PyScrappy 和 fitter 哪个更好?
最佳选择取决于你的具体需求。赋能AI代理(如Claude、Ollama)获取并集成实时网页数据。 时选 PyScrappy,从没有API的网站抓取数据,并结合外部API数据进行丰富(例如,从HTML抓取GitHub趋势仓库,再通过GitHub REST API丰富信息)。 时选 fitter。
PyScrappy 是免费的吗?
是的,PyScrappy 在 GitHub 开源(MIT)。
fitter 是免费的吗?
是的,fitter 在 GitHub 开源(MIT)。
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
→

相关链接