lemonade

Lemonade 在你自己的 GPU 和 NPU 上提供经过优化的 LLM 服务，方便你发现和运行本地 AI 应用。n8n 和 VS Code Copilot 等应用可以连接它，README 展示了命令行：`lemonade-server run Gemma-3-4b-it-GGUF` 与模型对话，`pull` 提前下载模型，`list` 查看可用模型，并可用 `--llamacpp vulkan` 或 `rocm` 选择后端。它自带聊天界面和模型管理器，支持 Windows、Linux 和 Docker 安装，另有配套的 iOS 应用（Android 标注为即将推出）。

它支持在 CPU、GPU 和 NPU 上运行 GGUF、FLM 和 ONNX 模型，也可以从 Hugging Face 导入自定义的 GGUF 或 ONNX 模型。图像生成通过 stable-diffusion.cpp 使用 Stable Diffusion 模型（SD-Turbo、SDXL-Turbo、SD-1.5、SDXL-Base-1.0）。支持配置表显示：CPU 支持 Windows 和 Linux；GPU 通过 Vulkan 支持所有平台，ROCm 仅限部分 AMD 平台，Metal 用于 Apple Silicon；NPU 仅限 Windows 上的 AMD Ryzen AI 300 系列，通过 OGA 和 FLM 引擎。代码采用 Apache-2.0 许可证。