deltallm
★ 20
vs
tunnel-client
★ 589
deltallm vs tunnel-client
deltallm:DeltaLLM是一个自托管的AI网关,为100多个LLM提供商提供统一的OpenAI兼容API。它通过内置的路由、成本跟踪和安全防护等企业级功能,简化了LLM集成。;tunnel-client:`tunnel-client` 是一个客户运行的代理,它通过 OpenAI 托管的隧道,将私有或本地的 MCP(模型上下文协议)服务器安全地连接到 ChatGPT 和 Codex 等 OpenAI 产品。它使得 AI 模型能够在不将 MCP 服务器暴露于公共互联网的情况下进行安全访问,从而简化了受限网络环境中的部署。
01
简评
deltallmLLM Infra · ★ 20
集中式LLM访问管理:通过单一入口简化多个LLM提供商的API密钥管理和开发者集成。
tunnel-clientLLM Infra · ★ 589
在公共互联网访问受限时,将私有或本地的 MCP 服务器连接到 ChatGPT 等 OpenAI 托管产品。
02
并排对比
字段
分类
大模型基础设施
大模型基础设施
Stars
★ 20
★ 589
许可证
MIT
Apache-2.0
安装方式
MASTER_KEY=$(python3 -c 'import secrets; print("sk-" + secrets.token_hex(20) + "A1")') && SALT_KEY=$(python3 -c 'import secrets; print(secrets.token_hex(32))') && git clone https://github.com/deltawi/deltallm.git && cd deltallm && cp config.example.yaml config.yaml && echo "DELTALLM_MASTER_KEY=$MASTER_KEY" > .env && echo "DELTALLM_SALT_KEY=$SALT_KEY" >> .env && echo "OPENAI_API_KEY=sk-your-openai-key" >> .env && echo "[email protected]" >> .env && echo "PLATFORM_BOOTSTRAP_ADMIN_PASSWORD=ChangeMe123!" >> .env && docker compose --profile single up -d --build
make admin-ui && go build -o bin/tunnel-client ./cmd/client
更新时间
1天前
1天前
开源
是
是
标签
AI 网关, LLM 管理, OpenAI API 代理
安全隧道, API 代理, LLM 连接
03
功能特性
01统一的OpenAI兼容API,支持100多个LLM提供商。
02虚拟API密钥,具备预算、速率限制和模型限制等精细控制。
03先进的路由和故障转移策略,支持自动重试。
04内置安全防护措施,包括PII检测和提示注入保护。
05全面的开销跟踪,按密钥、团队和模型进行成本归属。
01安全地将私有或本地的 MCP 服务器连接到 ChatGPT 和 Codex 等 OpenAI 产品。
02作为守护程序运行,提供健康检查、指标和管理界面,用于操作可见性。
03通过可流式 HTTP、标准输入/输出或内存传输,支持灵活的 MCP 服务器集成。
04提供可嵌入的 Go SDK,用于直接集成到 Go 应用程序中。
04
使用场景
↳集中式LLM访问管理:通过单一入口简化多个LLM提供商的API密钥管理和开发者集成。
↳成本控制与优化:实施预算并跟踪开销,以优化团队和模型之间的LLM使用成本。
↳增强安全性和合规性:在LLM交互中应用PII检测和提示注入保护等安全防护。
↳多供应商LLM策略:根据性能、成本或可用性在不同LLM提供商之间路由请求,避免供应商锁定。
↳在公共互联网访问受限时,将私有或本地的 MCP 服务器连接到 ChatGPT 等 OpenAI 托管产品。
↳在将 MCP 服务器连接到外部 API 之前,部署一个操作员可见的守护程序,以确保其就绪性和可观察性。
↳使用 Go SDK 直接集成到 Go 应用程序中,将内存中的 MCP 服务器与 OpenAI 隧道连接起来。
05
适合场景
—
宝藏工具
FAQ
常见问题
deltallm 和 tunnel-client 有什么区别?
deltallm 和 tunnel-client 都属于 LLM Infra 类别。deltallm 有 20 Stars,tunnel-client 有 589 Stars。
deltallm 和 tunnel-client 哪个更好?
最佳选择取决于你的具体需求。集中式LLM访问管理:通过单一入口简化多个LLM提供商的API密钥管理和开发者集成。 时选 deltallm,在公共互联网访问受限时,将私有或本地的 MCP 服务器连接到 ChatGPT 等 OpenAI 托管产品。 时选 tunnel-client。
deltallm 是免费的吗?
是的,deltallm 在 GitHub 开源(MIT)。
tunnel-client 是免费的吗?
是的,tunnel-client 在 GitHub 开源(Apache-2.0)。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。
→