freellmpool
活跃·★ 40·MIT·更新于 2026-07-17
freellmpool将19个LLM提供商的免费层聚合到一个OpenAI兼容的端点,部分提供商甚至无需API密钥即可访问。它支持提供商间的自动故障转移、每日使用量追踪,并提供命令行界面、Python库和本地代理等多种使用方式。
freellmpool 当前归类于 LLM Infra,更适合那些希望围绕具体工作流而不是单一功能点来选型的团队。从当前资料来看,它尤其强调 兼容OpenAI和实验性Anthropic API端点,用于LLM及其他服务、在本地使用pooled的免费LLM模型运行编码代理(例如Claude Code, aider) 这类能力。如果你关心许可证与可二次使用性,当前页面记录的许可证是 MIT。同时它也具备一定社区热度,当前 GitHub Stars 为 40。
#LLM代理#免费层#OpenAI API#API网关#故障转移#使用追踪#Python库#命令行工具
01
功能特性
01兼容OpenAI和实验性Anthropic API端点,用于LLM及其他服务
02在速率限制、超时或错误时,对多个免费LLM提供商进行自动故障转移和负载均衡
03对免费层进行每日使用量追踪和智能配额管理,以最大化可用性
04支持部分提供商免密钥运行,无需API密钥即可立即使用
05基于提示难度、延迟或使用情况的智能路由(例如,质量、快速、公平模式)
02
为什么选择它
+兼容OpenAI和实验性Anthropic API端点,用于LLM及其他服务
+在本地使用pooled的免费LLM模型运行编码代理(例如Claude Code, aider)
+覆盖 4 个兼容环境或平台,更适合需要跨端部署的团队。
+提供公开仓库并标注 MIT 许可证,便于评估可维护性与采用成本。
03
权衡点
!同分类下还有 8 个相关工具可比较,最终选择更适合在同类对比后决定。
04
兼容性
Python
运行时
已通过文档验证
OpenAI API
API兼容性
已通过文档验证
Anthropic API
API兼容性
已通过文档验证
CLI
接口
已通过文档验证
05
快速开始
1
$ pip install freellmpool
06
使用场景
↳在本地使用pooled的免费LLM模型运行编码代理(例如Claude Code, aider)
↳实时基准测试并监控各种免费LLM提供商的健康状况和容量
↳通过简单的库API将免费LLM功能集成到Python应用程序中,用于摘要或嵌入等任务
↳作为现有工具和脚本的本地OpenAI兼容代理服务,将请求重定向到免费层
↳排队和管理缓慢、配额感知的LLM作业,用于后台处理和报告
07
同类对比
≈freellmpool 属于 LLM Infra 分类,适合与 MetaGPT 等同类工具一起比较,而不是单独判断。
≈如果你的核心需求更接近“在本地使用pooled的免费LLM模型运行编码代理(例如Claude Code, aider)”,那么这类场景会比泛用型工具对比更有参考价值。
≈freellmpool 采用 MIT 许可证,社区热度都应该与同类项目一起看。
08
同类工具
相关搜索
评论
登录后发表评论
暂无评论,来发表第一条吧