bifrost
Bifrost 是一个高性能 AI 网关,通过一个兼容 OpenAI 的 API 统一接入 23 个以上的提供商(OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cerebras、Cohere、Mistral、Ollama、Groq 等)。用 `npx -y @maximhq/bifrost` 或 `docker run -p 8080:8080 maximhq/bifrost` 启动,在 localhost:8080 的内置网页界面里配置提供商,然后照常调用 `/v1/chat/completions`。
README 把功能分为:核心基础设施(统一接口、多提供商支持、提供商和模型之间的自动故障转移、跨密钥和提供商的负载均衡);高级功能(用于工具调用的 MCP、语义缓存、多模态和流式支持、自定义插件、带用量统计、限速和访问控制的治理);企业与安全(带虚拟密钥、团队和客户的分级预算、Google 和 GitHub 的 SSO、Prometheus 指标、分布式追踪、密钥管理);以及开发体验(零配置启动、可直接替换 OpenAI、Anthropic 和 GenAI 的 API、SDK 集成、通过网页界面、API 或文件配置)。另有 Go SDK 用于直接集成,提供企业私有化部署,代码采用 Apache-2.0 许可证。
功能特性
为什么选择它
权衡点
维护状况检查
- 最近提交
- 2026-10-25
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 30
- 最新发布
- transports/v2.3.2 (2026-10-20)
- 未关闭 issue
- 1336
- 近期 issue 至少有一条评论的比例
- 1/7
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
适合谁
- 你在生产环境中运行高并发大模型应用,需要一个比 LiteLLM 快 50 倍、单节点在 5k RPS 下延迟开销低于 100µs 的极限性能 AI 网关。
- 需要统一访问 15+ 家模型提供商,具备自适应负载均衡、故障自动转移、集群模式与语义缓存机制。
- 只是个人本地偶尔开发调试的小项目(直接调用各大提供商官方 SDK 即可,不需要部署高性能网关集群)。
- 需要复杂的 LLM 可视化应用编排与对话界面(Bifrost 是纯底层基础设施网关,编排界面推荐 Dify 或 FastGPT)。
与同类的区别
Bifrost 处于底层网络传输与反向代理层,负责微秒级的请求路由与故障转移;Flowise 处于上层应用编排层,负责搭建 Agent 逻辑和拖拽式工作流。
Bifrost 主攻大模型 API 请求的极限吞吐、负载均衡与缓存;AgentGateway 专注于智能体身份验证、权限控制与工具执行拦截。
兼容性
快速开始
使用场景
同类工具
评论
暂无评论,来发表第一条吧