Rapid-MLX
Rapid-MLX 是基于 MLX、面向 Apple Silicon 的大模型推理服务，提供兼容 OpenAI（`/v1/chat/completions`、`/v1/responses`）和 Anthropic Messages（`/v1/messages`）的接口，重点是让编码智能体能可靠地调用工具。README 称在同一模型和权重下，解码速度最高是 Apple `mlx-lm` 的 4 倍，典型任务上是 1.5 倍，测试用的是 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit；这些数字是项目自己的测量结果。与 oMLX、Ollama、LM Studio、mlx-lm 的功能对比表取自各项目的文档，日期标注为 2026-09-26。它支持连续批处理、可保存到磁盘并在启动时恢复的基数前缀缓存、27 个工具调用解析模块，还涵盖图像、视频、音频生成、转写和声音克隆。
在 M 系列 Mac 上用 `brew install rapid-mlx` 或引导式安装脚本（`curl -fsSL https://rapidmlx.com/install.sh | bash`）安装，后者会检测你的内存并推荐入门模型。之后 `rapid-mlx chat` 启动交互界面（首次运行会下载约 3 GB 权重），`rapid-mlx serve qwen3.5-4b-4bit` 会在 8000 到 8009 中第一个空闲端口提供服务。`rapid-mlx launch claude-code` 会修改 Claude Code 的本地配置，让它指向本地服务。另有带签名的 macOS 桌面应用、可自愿参与的社区基准排行榜，以及针对五种智能体的兼容性测试矩阵。README 称许可证是 Apache-2.0，但 GitHub 的许可证检测没有识别出来，请到仓库确认。
功能特性
为什么选择它
权衡点
维护状况检查
- 最近提交
- 2026-10-22
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 30
- 最新发布
- v0.16.8 (2026-10-22)
- 未关闭 issue
- 35
- 近期 issue 至少有一条评论的比例
- 2/4
最早的一周在左边，最近 4 周为橙色。数据来源：GitHub 提交统计。
状态规则：GitHub 上已归档 = 已归档；最近提交在 90 天内 = 活跃；91 到 365 天 = 放缓；更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #4451 Investigate warm hybrid repeats displacing reusable boundaries under cache pressure3 条评论 · 2026-10-10
- #5083 [Vector] Quantized KV cache with attention-sink / sliding-window support (Flint)2 条评论 · 2026-10-22
- #5020 DeepSeek-V4.1 batched decode lanes run well below single-stream throughput2 条评论 · 2026-10-21
- #4857 Desktop UX: Lead first setup with one understandable starter instead of an overlapping model catalogue2 条评论 · 2026-10-18
- #5038 DeepSeek V4.1: DSpark draft gives no net speed-up on real chat requests (break-even acceptance)1 条评论 · 2026-10-21
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
兼容性
快速开始
使用场景
同类工具
评论
暂无评论，来发表第一条吧