freellmpool
★ 129
vs
llmtrim
★ 255
freellmpool vs llmtrim
freellmpool：freellmpool将19个LLM提供商的免费层聚合到一个OpenAI兼容的端点，部分提供商甚至无需API密钥即可访问。它支持提供商间的自动故障转移、每日使用量追踪，并提供命令行界面、Python库和本地代理等多种使用方式。；llmtrim：llmtrim是一个本地代理，通过智能地移除冗余Token来压缩LLM API请求，显著降低计费成本，同时不影响LLM响应的质量。它提供多种部署方式，包括作为代理、命令行工具、MCP服务器或多种编程语言的库。
01
简评
freellmpoolLLM Infra · ★ 129
在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider）
llmtrimLLM Infra · ★ 255
降低AI代理（如Claude Code, Cursor, Aider）的LLM API成本。
02
并排对比
03
功能特性
freellmpool01兼容OpenAI和实验性Anthropic API端点，用于LLM及其他服务
02在速率限制、超时或错误时，对多个免费LLM提供商进行自动故障转移和负载均衡
03对免费层进行每日使用量追踪和智能配额管理，以最大化可用性
04支持部分提供商免密钥运行，无需API密钥即可立即使用
05基于提示难度、延迟或使用情况的智能路由（例如，质量、快速、公平模式）
llmtrim01通过本地代理透明压缩LLM API请求
02针对多种数据类型（日志、代码、上下文、JSON）的智能内容优化
03通过自动回滚无效压缩，确保响应质量和成本节省
04灵活的集成选项：命令行工具、多语言库（Python, Ruby, Swift, Kotlin）和MCP服务器
04
使用场景
freellmpool↳在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider）
↳实时基准测试并监控各种免费LLM提供商的健康状况和容量
↳通过简单的库API将免费LLM功能集成到Python应用程序中，用于摘要或嵌入等任务
↳作为现有工具和脚本的本地OpenAI兼容代理服务，将请求重定向到免费层
↳排队和管理缓慢、配额感知的LLM作业，用于后台处理和报告
llmtrim↳降低AI代理（如Claude Code, Cursor, Aider）的LLM API成本。
↳在自定义LLM应用程序和SDK中优化Token使用。
↳为RAG系统压缩长上下文窗口（例如，粘贴的文档、对话历史）。
↳缩减发送给LLM的冗长工具输出，如构建日志、差异或大型JSON数组。
FAQ
常见问题
freellmpool 和 llmtrim 有什么区别？
freellmpool 和 llmtrim 都属于 LLM Infra 类别。freellmpool 有 129 Stars，llmtrim 有 255 Stars。
freellmpool 和 llmtrim 哪个更好？
最佳选择取决于你的具体需求。在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider） 时选 freellmpool，降低AI代理（如Claude Code, Cursor, Aider）的LLM API成本。 时选 llmtrim。
freellmpool 是免费的吗？
是的，freellmpool 在 GitHub 开源（MIT）。
llmtrim 是免费的吗？
是的，llmtrim 在 GitHub 开源（AGPL-3.0）。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器，新用户立享 $200 免费额度（60天有效）。
→