大模型基础设施工具,用于部署、推理、微调和评估大型语言模型。
51 个工具
LLM Infra 分类聚合了 AgentIndex 中与该主题最相关的 AI 工具、MCP 服务和开发者能力组件。你可以先从这里快速了解这一类别的主流方向,再结合 Stars、许可证、更新时间和功能描述做初步筛选。
当前这个分类下收录了 51 个工具,适合用于发现开源替代品、比较热门项目和建立候选清单。如果你正在做方案选型,这类聚合页通常比单独浏览仓库或搜索引擎结果更高效。
| 名称 | 简介 | 分类 | Stars | 许可证 | 更新 |
|---|
| MetaGPT最受欢迎时下流行··· | MetaGPT是一个多智能体框架,为大型语言模型(LLMs)分配不同的角色,使其能够协作完成复杂任务。 | 大模型基础设施 | ★ 69.4k | MIT | 2026-01-21 |
| cua最受欢迎时下流行··· | Cua是一个开源平台,用于构建、基准测试和部署能够操作任何计算机的智能体,并提供隔离的、可自托管的沙盒环境(Docker、QEMU、Apple Vz)。 | 大模型基础设施 | ★ 19.9k | MIT | 2026-07-16 |
| xLAM时下流行 | xLAM是一个研究大型行动模型(LAM)的仓库,通过聚合和统一不同环境的代理轨迹数据,优化代理训练的数据加载和训练流程。 | 大模型基础设施 | ★ 634 | APACHE | 2026-06-02 |
| on-policy时下流行强化学习··· | 该存储库实现了MAPPO,一种PPO的多智能体变体,用于合作多智能体游戏,并支持多种流行的多智能体环境。 | 大模型基础设施 | ★ 2.1k | MIT | 2024-07-18 |
| youtu-agent时下流行 | Youtu-Agent是一个灵活、高性能的框架,旨在通过自动化生成和混合策略优化来构建、运行和评估自主智能体。 | 大模型基础设施 | ★ 4.6k | NOASSERTION | 2026-03-21 |
| mini-swe-agent时下流行宝藏工具 | 一个100行Python代码实现的AI智能体,旨在解决GitHub问题并提供更多功能,专注于极简主义和高性能。 | 大模型基础设施 | ★ 5.8k | — | 2026-07-14 |
| FedML时下流行必备神器 | FedML是一个统一且可扩展的机器学习库,用于在任何地点和任何规模运行训练和部署任务。 | 大模型基础设施 | ★ 4.1k | Apache-2.0 | 2025-10-28 |
| chatarena时下流行 | Chat Arena 是一个用于大型语言模型(LLMs)如 GPT-3、GPT-4、ChatGPT 等的语言游戏环境。 | 大模型基础设施 | ★ 1.5k | APACHE | 2025-08-11 |
| AgileRL时下流行宝藏工具 | AgileRL 是一个深度强化学习库,通过引入 RLOps 来简化和加速强化学习开发。 | 大模型基础设施 | ★ 935 | — | 2026-07-16 |
| AReaL时下流行 | AReaL是一个开源、完全异步的强化学习训练系统,专注于大型推理和智能体模型,支持从单节点到千卡GPU的扩展。 | 大模型基础设施 | ★ 5.6k | — | 2026-07-16 |
| gym-pybullet-drones时下流行 | 这是 `gym-pybullet-drones` 仓库的一个精简重构版本,旨在兼容 Gymnasium、Stable Baselines3 2.0 以及 Betaflight/Crazyflie 固件的软件在环(SITL)仿真。 | 大模型基础设施 | ★ 2.1k | — | 2026-07-11 |
| llama-cpp-agent时下流行宝藏工具 | 专为 llama.cpp 模型设计的 LLM 交互框架,支持结构化函数调用和结构化输出。 | 大模型基础设施 | ★ 651 | — | 2026-03-09 |
| LLM-VM时下流行 | Anarchy LLM-VM 是一个为开源大型语言模型设计的、功能丰富的开源AGI服务器后端。 | 大模型基础设施 | ★ 491 | — | 2024-05-14 |
| best-of-Agent-Harnesses时下流行 | 一个精选的AI智能体线束、编排框架及线束技术列表,旨在构建可靠的智能体系统。 | 大模型基础设施 | ★ 320 | CC-BY-SA-4.0 | 2026-07-16 |
| gpu-mcp-server | 一个MCP服务器,将NVIDIA GPU指标作为工具公开,供AI代理查询实时GPU利用率、内存、温度和功耗。 | 大模型基础设施 | ★ 14 | Apache-2.0 | 2026-07-14 |
| conduit | Conduit是一个本地MCP(模型上下文协议)网关,旨在通过将多个服务器工具整合为少量元工具,优化AI代理的工具使用和上下文管理,从而大幅减少令牌消耗并简化多服务器集成。 | 大模型基础设施 | ★ 91 | MIT | 2026-07-16 |
| freellmpool | freellmpool将19个LLM提供商的免费层聚合到一个OpenAI兼容的端点之下,支持作为CLI、Python库或本地代理使用。 | 大模型基础设施 | ★ 38 | MIT | 2026-07-15 |
| llmtrim宝藏工具必备神器 | llmtrim 是一个本地代理,用于智能压缩LLM API请求,从而降低成本,同时不改变响应结果。 | 大模型基础设施 | ★ 167 | AGPL-3.0 | 2026-07-16 |
| os-moda时下流行必备神器 | osModa是第一个专为AI智能体设计的操作系统,让服务器拥有AI大脑,无需SSH即可监控、修复、部署和解释。 | 大模型基础设施 | ★ 110 | Apache-2.0 | 2026-06-24 |
| LLM-Agents-Ecosystem-Handbook宝藏工具 | 一个用于构建、评估、保护和部署现代大型语言模型(LLM)代理系统的实用操作手册。 | 大模型基础设施 | ★ 535 | MIT | 2026-06-30 |