fitter
活跃·★ 133·MIT·更新于 2026-08-29
Fitter是一个声明式工具，可以将任何网站或API转换为结构化JSON，无需编写脆弱的抓取脚本。它专为AI代理设计，允许大型语言模型按需在本地编写、验证和执行数据提取管道。
#网络爬虫#数据提取#AI代理#声明式配置#大型语言模型集成#浏览器自动化#结构化数据#API集成
01
功能特性
01声明式和可审计配置：AI代理生成可读、可保存和可重复运行的配置，而非一次性代码。
02本地优先数据获取：所有数据获取都在用户本地机器上进行，无需依赖第三方抓取API或按请求计费。
03功能齐全：内置HTTP客户端、无头浏览器（Playwright/Chromium/Docker）、多种解析器（JSON、HTML、XML、XPath）、分页、缓存和主机限速等功能。
04多种使用模式：可用作AI客户端的MCP服务器、AI驱动的CLI代理、本地CLI工具、可嵌入的Go库或长时间运行的服务。
05通过MCP集成LLM：提供一个模型上下文协议（MCP）服务器，使Claude Code、Claude Desktop及其他MCP客户端能够编写和运行爬取管道。
02
兼容性
Go
运行时
已通过文档验证
Docker
容器化
已通过文档验证
Headless Browser
数据源
已通过文档验证
Claude/MCP
AI集成
已通过文档验证
Linux
操作系统
已通过文档验证
MacOS
操作系统
已通过文档验证
03
快速开始
1
$ go build -o fitter_mcp ./cmd/mcp
2
$ claude mcp add fitter -s user -- "$(pwd)/fitter_mcp"
04
使用场景
↳从没有API的网站抓取数据，并结合外部API数据进行丰富（例如，从HTML抓取GitHub趋势仓库，再通过GitHub REST API丰富信息）。
↳使用无头浏览器从JavaScript渲染的动态网页中提取结构化信息。
↳为AI代理自动化数据收集，使其能够根据自然语言请求动态生成和执行数据提取配置。
↳生成静态数据序列或根据计算表达式转换数据字段。
↳将提取结果以各种格式（例如CSV）写入本地文件，用于报告或进一步处理。
05
同类工具
评论
登录后发表评论
暂无评论，来发表第一条吧