大模型基础设施工具，用于部署、推理、微调和评估大型语言模型。
68 个工具
LLM Infra 分类聚合了 AgentIndex 中与该主题最相关的 AI 工具、MCP 服务和开发者能力组件。你可以先从这里快速了解这一类别的主流方向，再结合 Stars、许可证、更新时间和功能描述做初步筛选。
当前这个分类下收录了 68 个工具，适合用于发现开源替代品、比较热门项目和建立候选清单。如果你正在做方案选型，这类聚合页通常比单独浏览仓库或搜索引擎结果更高效。
| 名称 | 简介 | 分类 | Stars | 许可证 | 更新 |
|---|
| MetaGPT最受欢迎时下流行··· | MetaGPT是一个多智能体框架，为大型语言模型（LLMs）分配不同的角色，使其能够协作完成复杂任务。 | 大模型基础设施 | ★ 70.3k | MIT | 2026-01-21 |
| cua最受欢迎时下流行··· | Cua是一个开源平台，用于构建、基准测试和部署能够操作任何计算机的智能体，并提供隔离的、可自托管的沙盒环境（Docker、QEMU、Apple Vz）。 | 大模型基础设施 | ★ 22.5k | MIT | 2026-09-10 |
| xLAM时下流行 | xLAM是一个研究大型行动模型（LAM）的仓库，通过聚合和统一不同环境的代理轨迹数据，优化代理训练的数据加载和训练流程。 | 大模型基础设施 | ★ 638 | APACHE | 2026-06-02 |
| on-policy时下流行强化学习··· | 该存储库实现了MAPPO，一种PPO的多智能体变体，用于合作多智能体游戏，并支持多种流行的多智能体环境。 | 大模型基础设施 | ★ 2.1k | MIT | 2024-07-18 |
| youtu-agent时下流行 | Youtu-Agent是一个灵活、高性能的框架，旨在通过自动化生成和混合策略优化来构建、运行和评估自主智能体。 | 大模型基础设施 | ★ 4.6k | NOASSERTION | 2026-03-21 |
| mini-swe-agent时下流行宝藏工具 | 一个100行Python代码实现的AI智能体，旨在解决GitHub问题并提供更多功能，专注于极简主义和高性能。 | 大模型基础设施 | ★ 7.3k | — | 2026-09-07 |
| FedML时下流行必备神器 | FedML是一个统一且可扩展的机器学习库，用于在任何地点和任何规模运行训练和部署任务。 | 大模型基础设施 | ★ 4.1k | Apache-2.0 | 2025-10-28 |
| chatarena时下流行 | Chat Arena 是一个用于大型语言模型（LLMs）如 GPT-3、GPT-4、ChatGPT 等的语言游戏环境。 | 大模型基础设施 | ★ 1.6k | APACHE | 2025-08-11 |
| AgileRL时下流行宝藏工具 | AgileRL 是一个深度强化学习库，通过引入 RLOps 来简化和加速强化学习开发。 | 大模型基础设施 | ★ 951 | — | 2026-09-10 |
| AReaL时下流行 | AReaL是一个开源、完全异步的强化学习训练系统，专注于大型推理和智能体模型，支持从单节点到千卡GPU的扩展。 | 大模型基础设施 | ★ 5.7k | — | 2026-09-10 |
| gym-pybullet-drones时下流行 | 这是 `gym-pybullet-drones` 仓库的一个精简重构版本，旨在兼容 Gymnasium、Stable Baselines3 2.0 以及 Betaflight/Crazyflie 固件的软件在环（SITL）仿真。 | 大模型基础设施 | ★ 2.1k | — | 2026-09-06 |
| llama-cpp-agent时下流行宝藏工具 | 专为 llama.cpp 模型设计的 LLM 交互框架，支持结构化函数调用和结构化输出。 | 大模型基础设施 | ★ 660 | — | 2026-03-09 |
| OGAM时下流行 | Off Grid AI 是一款适用于移动设备和macOS的一体化离线AI套件，可在您的设备上直接进行文本生成、图像生成、视觉AI、语音输入和工具调用，并确保完全的数据隐私。 | 大模型基础设施 | ★ 3.1k | MIT | 2026-09-10 |
| LLM-VM时下流行 | Anarchy LLM-VM 是一个为开源大型语言模型设计的、功能丰富的开源AGI服务器后端。 | 大模型基础设施 | ★ 490 | — | 2024-05-14 |
| jupyter-mcp-server时下流行必备神器 | Jupyter MCP Server是一个为AI设计的多上下文协议（MCP）服务器，用于实时连接和管理Jupyter Notebook，并实现代码沙箱从本地到云端的扩展。 | 大模型基础设施 | ★ 1.3k | BSD-3-Clause | 2026-09-10 |
| wassette时下流行必备神器 | Wassette是一个面向安全的运行时，通过MCP运行WebAssembly组件，旨在轻松扩展AI代理的能力。 | 大模型基础设施 | ★ 942 | MIT | 2026-09-09 |
| tunnel-client必备神器宝藏工具 | tunnel-client 是一个客户运行的代理，旨在通过 OpenAI 托管的 MCP 隧道端点，将私有或本地的 MCP 服务器安全地连接到 ChatGPT、Codex 等 OpenAI 产品，同时保持 MCP 服务器的私有性。 | 大模型基础设施 | ★ 375 | Apache-2.0 | 2026-09-10 |
| best-of-Agent-Harnesses时下流行 | 一个精选的AI智能体线束、编排框架及线束技术列表，旨在构建可靠的智能体系统。 | 大模型基础设施 | ★ 829 | CC-BY-SA-4.0 | 2026-09-09 |
| emisar必备神器宝藏工具 | emisar 为具备 MCP 能力的智能体提供一套声明式基础设施操作目录，而非直接的 shell 访问，并通过策略决定操作的执行、审批或拒绝。 | 大模型基础设施 | ★ 354 | NOASSERTION | 2026-09-10 |
| conduit宝藏工具必备神器 | Conduit是一个本地MCP（模型上下文协议）网关，旨在通过将多个服务器工具整合为少量元工具，优化AI代理的工具使用和上下文管理，从而大幅减少令牌消耗并简化多服务器集成。 | 大模型基础设施 | ★ 211 | MIT | 2026-09-10 |
