freellmpool
活跃·★ 129·MIT·更新于 2026-10-16
freellmpool将19个LLM提供商的免费层聚合到一个OpenAI兼容的端点，部分提供商甚至无需API密钥即可访问。它支持提供商间的自动故障转移、每日使用量追踪，并提供命令行界面、Python库和本地代理等多种使用方式。
#LLM代理#免费层#OpenAI API#API网关#故障转移#使用追踪#Python库#命令行工具
01
功能特性
01兼容OpenAI和实验性Anthropic API端点，用于LLM及其他服务
02在速率限制、超时或错误时，对多个免费LLM提供商进行自动故障转移和负载均衡
03对免费层进行每日使用量追踪和智能配额管理，以最大化可用性
04支持部分提供商免密钥运行，无需API密钥即可立即使用
05基于提示难度、延迟或使用情况的智能路由（例如，质量、快速、公平模式）
02
兼容性
Python
运行时
已通过文档验证
OpenAI API
API兼容性
已通过文档验证
Anthropic API
API兼容性
已通过文档验证
CLI
接口
已通过文档验证
03
快速开始
1
$ pip install freellmpool
04
使用场景
↳在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider）
↳实时基准测试并监控各种免费LLM提供商的健康状况和容量
↳通过简单的库API将免费LLM功能集成到Python应用程序中，用于摘要或嵌入等任务
↳作为现有工具和脚本的本地OpenAI兼容代理服务，将请求重定向到免费层
↳排队和管理缓慢、配额感知的LLM作业，用于后台处理和报告
05
同类工具
评论
登录后发表评论
暂无评论，来发表第一条吧