xiaozhi-esp32-server
活跃·★ 11.1k·MIT·更新于 2026-10-27
★ 最受欢迎★ 必备神器★ 时下流行
xiaozhi-esp32-server 是开源智能硬件项目 xiaozhi-esp32 的后端服务,按照小智通信协议用 Python、Java 和 Vue 实现,由华南理工大学的一个团队主导研发。它支持 MQTT 加 UDP 以及 WebSocket 协议、MCP 接入点、声纹识别和知识库,适合已经有 ESP32 硬件、想自己搭建后端而不是使用共享后端的人。
提供两种部署方式:面向低配环境的最简化安装(单智能体,配置保存在配置文件中,无需数据库),以及带多用户和多智能体管理、网页智控台和数据库存储的全模块安装,两者都可用 Docker 或源码部署。组件清单涵盖多种 LLM、视觉、语音合成、语音活动检测、语音识别、声纹、记忆、意图和 RAG 选项。README 明确说明项目功能尚不完善、未通过网络安全测评、请勿在生产环境使用,并且与任何第三方 API 服务商没有商业合作关系、也不提供任何担保。
#ESP32#后端#人工智能#物联网#语音助手
01
功能特性
01核心架构:基于MQTT+UDP网关、WebSocket、HTTP服务器,提供完整的控制台管理和认证系统。
02语音交互:支持流式ASR(语音识别)、流式TTS(语音合成)、VAD(语音活动检测),支持多语言识别和语音处理。
03声纹识别:支持多用户声纹注册、管理和识别,与ASR并行处理,实时识别说话人身份并传递给LLM进行个性化回应。
04智能对话:支持多种LLM(大语言模型),实现智能对话。
05视觉感知:支持多种VLLM(视觉大模型),实现多模态交互。
02
为什么选择它
+可以为 xiaozhi-esp32 设备运行自己的后端,而不必依赖共享服务。
+支持 MQTT+UDP、WebSocket、MCP 接入点、声纹识别和知识库。
+两种部署方式:无需数据库的最简化安装,以及带网页控制台和多用户管理的全模块安装。
+LLM、ASR、TTS、VAD、记忆和 RAG 组件选择丰富,采用 MIT 许可证。
03
权衡点
!需要 ESP32 硬件,没有兼容设备就用不上这个项目。
!README 明确说明项目尚不完善、未通过网络安全测评,不应在生产环境使用。
!README 和文档主要是中文,第三方语音和 LLM 服务商的选择及风险由你自己承担。
05
维护状况检查
活跃检查日期: 2026-10-25
- 最近提交
- 2026-10-23
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 2
- 最新发布
- v0.9.8 (2026-10-23)
- 未关闭 issue
- 737
- 近期 issue 至少有一条评论的比例
- 12/19
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #2270 [Bug] mqtt部署后,连接显示都是成功的,但是我说话他接收不到音频,我用文字发送,他有收不到音频21 条评论 · 2025-09-22
- #2613 OTA 升级有同步xiaozhi-esp32 v2更新嘛?18 条评论 · 2025-11-27
- #1192 [Bug] 查询天气获取城市的问题17 条评论 · 2025-05-11
- #1676 如何开启智能体的记忆模式16 条评论 · 2025-06-26
- #1448 [Bug] 立创实战派S3调用视觉后台报错15 条评论 · 2025-06-02
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
04
适合谁
适合选它的情况
- 你有小智 ESP32 硬件,想自己托管后端,而不用共享服务。
- 需要 MQTT+UDP 或 WebSocket、MCP 接入点、声纹识别和知识库。
- 想在最小化(无数据库)安装和带网页控制台、多用户管理的完整安装之间选择。
建议换别的情况
- 你没有 ESP32 设备:没有兼容硬件它就没用。
- 你要用于生产环境:README 说明项目尚未完成,也未通过网络安全评估。
- 你看不了以中文为主的文档。
06
与同类的区别
Java 版服务端是另一套实现,带管理后台,需要 MySQL 8、Redis 7,约 1.8 GB 内存。xiaozhi-esp32-server 还提供不需要数据库的最小化安装。
07
兼容性
智谱
支持 (免费)
已通过文档验证
Ollama
支持
已通过文档验证
智谱ChatGLMVLLM
支持 (免费)
已通过文档验证
灵犀流式TTS
支持 (免费)
已通过文档验证
火山引擎
支持
已通过文档验证
FunASR
原生支持 (本地/免费)
已通过文档验证
08
快速开始
1
$ git clone https://github.com/xinnan-tech/xiaozhi-esp32-server.git
09
使用场景
↳为`xiaozhi-esp32`智能硬件独立搭建私有后端服务。
↳实现智能语音控制,用于家居自动化和家电管理。
↳开发高级智能助手,应用于医疗等专业场景。
10
同类工具
收录于以下清单
评论
登录后发表评论
暂无评论,来发表第一条吧