freellmpool
★ 137
vs
osaurus
★ 8.1k
freellmpool vs osaurus
freellmpool：freellmpool将19个LLM提供商的免费层聚合到一个OpenAI兼容的端点，部分提供商甚至无需API密钥即可访问。它支持提供商间的自动故障转移、每日使用量追踪，并提供命令行界面、Python库和本地代理等多种使用方式。；osaurus：Osaurus 是一个适用于 macOS 的 AI 边缘运行时，旨在运行本地和云端模型，并通过其 MCP 服务器暴露共享工具。它为 Apple Silicon 上的 AI 应用程序和工作流提供了一个原生、始终在线的基础。
01
简评
freellmpoolLLM Infra · ★ 137
在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider）
osaurusLLM Infra · ★ 8.1k
何时选择它（优势与适用）：
- 你用 Apple Silicon 的 Mac，想在一个常驻应用里同时用本地 MLX 模型和云端服务商。
- 想要 OpenAI、Anthropic 和 Ollama 兼容的接口，让现有工具不改就能用。
- 想在同一个地方得到 MCP 服务器、远程 MCP 聚合、记忆、技能和定时任务。
何时考虑替代方案：
- 你用的不是 macOS 15.5 或更新版本的 Apple Silicon Mac。
- 你只想要一个简单的本地模型服务器：它的范围大得多。
- 你想要以语音为主的助手：语音不是它的重点。
02
并排对比
03
功能特性
freellmpool01兼容OpenAI和实验性Anthropic API端点，用于LLM及其他服务
02在速率限制、超时或错误时，对多个免费LLM提供商进行自动故障转移和负载均衡
03对免费层进行每日使用量追踪和智能配额管理，以最大化可用性
04支持部分提供商免密钥运行，无需API密钥即可立即使用
05基于提示难度、延迟或使用情况的智能路由（例如，质量、快速、公平模式）
osaurus01基于 MLX 运行时为 Apple Silicon 提供本地大模型推理
02多 API 兼容性（OpenAI、Anthropic、Ollama 等）
03用于 AI 智能体工具的 MCP 服务器及远程 MCP 提供商聚合
04具备混合搜索功能的高级四层持久化内存系统
05集成设备端语音输入和转录功能，支持语音活动检测模式
04
使用场景
freellmpool↳在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider）
↳实时基准测试并监控各种免费LLM提供商的健康状况和容量
↳通过简单的库API将免费LLM功能集成到Python应用程序中，用于摘要或嵌入等任务
↳作为现有工具和脚本的本地OpenAI兼容代理服务，将请求重定向到免费层
↳排队和管理缓慢、配额感知的LLM作业，用于后台处理和报告
osaurus↳使用“工作模式”自动化 AI 智能体的复杂多步骤任务，例如代码重构、调试或研究。
↳创建具有自定义提示、工具和主题的个性化 AI 助手，以适应不同角色，如代码助手或创意作家。
↳自动化周期性 AI 任务和工作流，例如每日日志、每周报告或通过监视器进行文件整理。
↳通过兼容的 API 端点集成本地和云端大语言模型，用于开发和个人使用。
FAQ
常见问题
freellmpool 和 osaurus 有什么区别？
freellmpool 和 osaurus 都属于 LLM Infra 类别。freellmpool 有 137 Stars，osaurus 有 8.1k Stars。
freellmpool 和 osaurus 哪个更好？
最佳选择取决于你的具体需求。在本地使用pooled的免费LLM模型运行编码代理（例如Claude Code, aider） 时选 freellmpool，使用“工作模式”自动化 AI 智能体的复杂多步骤任务，例如代码重构、调试或研究。 时选 osaurus。
freellmpool 是免费的吗？
是的，freellmpool 在 GitHub 开源（MIT）。
osaurus 是免费的吗？
是的，osaurus 在 GitHub 开源（MIT）。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器，新用户立享 $200 免费额度（60天有效）。
→