lemonade
活跃·★ 4.2k·Apache-2.0·更新于 2026-05-29
★ 大模型基础设施★ 开发者工具
Lemonade是一个帮助用户发现并运行本地AI应用程序的SDK，通过优化利用GPU和NPU加速的本地大语言模型。
Lemonade是一个SDK，旨在通过直接从用户的GPU和NPU运行优化的大语言模型，帮助用户发现和运行本地AI应用程序。它为多种硬件提供加速，支持多种模型格式，并通过兼容OpenAI的API与流行的AI应用集成。
#大语言模型#本地AI#GPU加速#NPU加速#AI模型#推理#Python开发工具包#图像生成
01
功能特性
01优化了本地大语言模型服务，支持GPU和NPU加速
02发现并运行各种本地AI应用程序
03支持GGUF、FLM和ONNX模型格式，并内置模型管理器
04集成图像生成功能，使用Stable Diffusion模型
05兼容OpenAI的API，实现与客户端库的无缝集成
02
兼容性
Windows
操作系统
已通过文档验证
Linux
操作系统
已通过文档验证
Docker
部署
已通过文档验证
Python
开发工具包
已通过文档验证
CPU
硬件
已通过文档验证
GPU
硬件
已通过文档验证
03
快速开始
1
$ snap install lemonade-server
04
使用场景
↳在个人电脑上通过硬件加速运行本地大语言模型
↳将本地AI能力集成到现有应用程序中（例如n8n、VS Code Copilot）
↳通过内置聊天界面尝试不同AI模型
↳开发需要本地模型推理和图像生成的AI应用程序
↳在包括桌面和移动设备在内的各种平台上部署优化的大语言模型
05
同类工具
相关搜索
评论
登录后发表评论
- Robin Lee2026年4月22日
Good abstraction layer if you're juggling multiple local model setups.
- SSpencer White2026年4月19日
Local LLM discovery and serving done right — finds what's installed and just works.
- SSam Brown2026年3月31日
Optimized model serving means decent performance even on consumer hardware.
- EEmerson Kim2026年3月12日
Setup is minimal compared to running llama.cpp or ollama directly.