llmtrim
活跃·★ 255·AGPL-3.0·更新于 2026-10-20
llmtrim 是一个本地代理,位于你的 AI 工具(Claude Code、Codex、Cursor 或自己的应用)与 LLM 提供商之间。它会去掉每个请求中浪费的 token,例如 200 行构建日志里只有两行是错误、同一份工具模式被重复发送几十次、或包含近乎相同行的 JSON 数组,然后转发更小的请求,回复则原样返回。README 称在 112 组 A/B 测试中测得输入 token 减少 31%、输出 token 减少 74%,回答质量无变化。
它可以作为代理、命令行、MCP 服务,或 Python、Ruby、Swift、Kotlin 的库使用,可通过 npm、安装脚本、Homebrew、cargo、scoop 或 Docker 安装。每个压缩步骤都会用提供商的分词器重新测量,没有节省 token 就撤销;如果提供商拒绝压缩后的请求,就重新发送原始请求。安装时会生成一张仅限 LLM API 域名的私有证书,并修改 shell 代理设置和添加一个登录服务,`llmtrim uninstall` 可以全部还原,提示词不会写入磁盘。
#LLM代理#Token压缩#成本优化#上下文管理#提示优化#API优化#开发工具
01
功能特性
01通过本地代理透明压缩LLM API请求
02针对多种数据类型(日志、代码、上下文、JSON)的智能内容优化
03通过自动回滚无效压缩,确保响应质量和成本节省
04灵活的集成选项:命令行工具、多语言库(Python, Ruby, Swift, Kotlin)和MCP服务器
02
为什么选择它
+在发送前压缩提示词、历史、工具输出和代码,不需要额外模型。
+每个步骤都用提供商的分词器重新测量,没有节省 token 的步骤会被撤销。
+如果提供商拒绝压缩后的请求,会回退为发送原始请求。
+可作为代理、命令行、MCP 服务或库使用,并支持多种包管理器安装。
03
权衡点
!安装会部署本地 HTTPS 代理,包含私有 CA 证书、shell 代理设置和登录服务,部分用户会希望先审查。
!README 说明 Anthropic 和 Gemini 的 token 数是近似值,代理本身也不实时测量输出端的节省。
!默认模式是有质量把关的有损压缩,而非无损;需要逐字节一致时要使用 safe 预设。许可证为 AGPL-3.0。
04
维护状况检查
活跃检查日期: 2026-10-19
- 最近提交
- 2026-09-29
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 22
- 最新发布
- v0.13.7 (2026-09-16)
- 未关闭 issue
- 13
- 近期 issue 至少有一条评论的比例
- 9/13
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #273 feat: Codex localhost gateway without MITM proxy1 条评论 · 2026-08-28
- #156 feat: `sub` hot swapping1 条评论 · 2026-07-12
- #297 mcp install: add a DeepSeek Harness (DSH) target0 条评论 · 2026-09-16
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
05
兼容性
Python
语言
已通过文档验证
Ruby
语言
已通过文档验证
Swift
语言
已通过文档验证
Kotlin
语言
已通过文档验证
Rust
语言
已通过文档验证
CLI
接口
已通过文档验证
06
快速开始
1
$ npm install -g @llmtrim/cli@latest
2
$ llmtrim setup
07
使用场景
↳降低AI代理(如Claude Code, Cursor, Aider)的LLM API成本。
↳在自定义LLM应用程序和SDK中优化Token使用。
↳为RAG系统压缩长上下文窗口(例如,粘贴的文档、对话历史)。
↳缩减发送给LLM的冗长工具输出,如构建日志、差异或大型JSON数组。
08
同类工具
评论
登录后发表评论
暂无评论,来发表第一条吧