工具分类热门最新对比

Vision / Multimodal/

vmlx

vmlx

活跃·★ 551·Apache-2.0·更新于 2026-05-24

★ 大模型基础设施★ 开发者工具

在Apple Silicon Mac上本地运行LLM、VLM和图像生成模型的AI推理引擎。

vMLX是一个针对Apple Silicon Mac的本地AI推理引擎，支持运行LLM、VLM和图像生成模型。它提供OpenAI和Anthropic兼容API，具备连续批处理、前缀缓存、KV缓存量化、推测解码和工具调用等高级功能。无需云端或API密钥，确保数据隐私。

#anthropic-api#kvcache-compression#kvcache-optimization#kvcache-reuse

© 2026 AgentIndex.app|由十年 iOS 开发者构建。

QYS GitHub 请作者喝咖啡 ☕

按分类浏览

代码助手工作流自动化 RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。

#大语言模型

#lmstudio

#macbook

#MCP 服务器

$ 安装

$ pip install vmlx

↗ 访问官网 ★ GitHub

01

功能特性

01连续批处理，高效处理并发请求

02前缀缓存，包含内存感知和分页KV缓存

03KV缓存量化至q4/q8，节省内存

04推测解码，实现20-90%的速度提升

05工具调用，自动检测主流模型家族的解析器

02

兼容性

Apple Silicon Mac

macOS (M1/M2/M3/M4)

已通过文档验证

03

快速开始

1

$ pip install vmlx

04

使用场景

↳运行本地AI助手，支持聊天和代理编码功能

↳使用Flux模型在本地生成和编辑图像

↳部署完全本地的API服务器，兼容OpenAI和Anthropic SDK

05

同类工具

ragflow★ 81.5k

RAGFlow 是一个领先的开源检索增强生成 (RAG) 引擎，它融合了前沿的RAG与Agent能力，为大型语言模型提供卓越的上下文层，并简化企业级RAG工作流。

n8n是一个工作流自动化平台，为技术团队提供了代码的灵活性和无代码的速度，拥有400多个集成和原生的AI能力。

FunASR★ 16.6k

FunASR 是一个基础的端到端语音识别工具包，提供工业级的语音识别能力，比 Whisper 快 170 倍，并支持 50 多种语言。

相关搜索

vmlx 替代工具最佳 Vision / Multimodal 工具 2026 开源 Vision / Multimodal vmlx 教程 vmlx 对比 anthropic-api kvcache-compression kvcache-optimization

评论

登录后发表评论

D
Dylan Garcia2026年3月31日
Setup was straightforward, seamless config and running in minutes. Integrates well with existing cont setups.
A
Avery Anderson2026年3月12日
Used this for reliable automation — reliable under load — image gen/edit, openai/anth. The maintainers are responsive to issues.
E
Emerson Garcia2026年3月11日
Setup was straightforward, reliable config and running in minutes — image gen/edit, openai/anth. Integrates well with existing batch setups.
P
Peyton Davis2026年2月28日
Used this for clean automation — reliable under load. Integrates well with existing vmlx setups.

本页内容

01功能特性 02兼容性 03快速开始 04使用场景 05同类工具

统计

GitHub Stars★ 551

最后更新6天前

nuclear★ 17.7k

Nuclear是一款免费、开源、无广告和无追踪的音乐播放器，支持搜索歌曲、创建播放列表并在Windows、macOS和Linux上运行。

Semble 是一个为智能体（agents）构建的快速准确的代码搜索库。

csharp-sdk★ 4.3k

MCP C# SDK 是 Model Context Protocol 的官方 C# SDK，使 .NET 应用程序、服务和库能够实现并与 MCP 客户端和服务器进行交互。

fast-agent★ 3.8k

fast-agent 允许您在几分钟内创建和交互复杂的复合多模态智能体和工作流。

initrunner★ 38

InitRunner 是一个开源框架，允许你通过单个 YAML 文件从原型到生产全过程地定义、交互、运行和部署 AI 代理。

查看全部替代品 →

状态活跃

许可证Apache-2.0

分类视觉/多模态

热度趋势 (30d)

+22↑ 0.6%

链接

文档↗讨论↗问题↗版本↗

Deploy on DigitalOcean — Get $200 Free Credit