haystack

Haystack 是 deepset 的开源 AI 编排框架，用 Python 构建生产级大模型应用。它的模型是模块化流水线和智能体工作流，对信息如何被检索、排序、过滤、组合、路由和生成有明确控制。你用检索、索引、工具调用、记忆和评测等组件拼装，或自写组件，并可加入循环、分支和条件逻辑。

在智能体一侧，它提供生命周期钩子（before_llm、before_tool、on_exit）用于护栏，开箱即用地跟踪 step_count、token_usage 和工具调用，Agent Pack 里有现成智能体，并通过 SkillToolset 实现技能的渐进发现——技能描述只在需要时进入上下文。流水线可同步或异步运行、逐 token 流式输出，智能体可并发调用工具。

它模型与厂商无关，集成 OpenAI、Anthropic、Mistral、Cohere、Hugging Face、Google、Azure、Bedrock 以及本地模型和多种向量库。配套的 Hayhooks 可把流水线发布为 REST API 或 MCP 服务器，并提供 OpenAI 兼容的对话接口。Haystack 在生产中被广泛采用，Apache-2.0 核心之上另有付费企业版平台。