SkillSpector 评测:静态扫描能发现风险,也会误读警告
固定 2.12.0 源码实测正常文本、危险指令与禁止行为说明,验证 JSON、SARIF、失败退出码和人工审查后的基线抑制。
AgentIndex · 发布于 2026-11-05 · 更新于 2026-11-05
SkillSpector 用于在安装前检查 AI 智能体技能,帮助使用者定位提示注入、凭据访问和供应链等风险。对准备引入外部技能的团队,它提供了比只看星数和简介更具体的检查入口。我们的试用重点是静态模式:不用模型时能发现什么,以及报告需要怎样解释。
结果有两面。故意写入的危险指令触发了两条发现;明确禁止这些行为的警告说明,也触发了相同的两类发现。因此,这个版本的静态结果适合用来安排人工复核,不能仅凭分数判断文本的真实意图。
固定版本与输入
2026 年 11 月 5 日,我们测试提交 62c2fe8622f580ac292d4078c3b71f790194dbbd,其包版本为 2.12.0,采用 Apache-2.0。这里评测的是指定提交,不代表当前最新发行。运行环境是 macOS arm64、Python 3.12 的独立虚拟环境。固定包配置
测试只有三个手写 SKILL.md:正常的本地摘要任务、要求覆盖指令并读取私钥的危险文本,以及引用危险短语来说明禁止行为的文档。危险文本只作为扫描输入,未执行、未安装,使用的外部地址是保留域名 example.invalid。我们通过 --no-llm 运行扫描,不调用模型;输入没有依赖清单,也没有测试远程获取或漏洞数据库查询。复现记录
| 输入或功能 | 实测结果 |
|---|---|
| 正常本地摘要说明 | 0 条发现,风险分 0,退出码 0 |
| 故意危险的指令文本 | P1 指令覆盖、PE3 凭据访问,共 2 条 |
| 禁止行为的警告说明 | 同样触发 P1、PE3,共 2 条 |
| 后两者的风险汇总 | 均为 42、MEDIUM,单项最高 HIGH |
--fail-on-findings | 存在发现时退出码 1 |
| SARIF 输出 | 2.1.0 格式,包含 2 项结果 |
| 已审查警告的显式基线 | 抑制 2 条,活动发现 0,退出码 0 |
这些是小型合成样例的结果,没有统计意义,不能据此推算误报率或真实恶意技能的检出率。
报告定位比风险分更有用
危险样例中的覆盖既有指令短语被识别为 P1,私钥路径被识别为 PE3。JSON 中保留了规则、文件、行号、片段和解释,适合让审查者回到原文判断。这比单独保留“42 分”更有价值:相同分数可能来自完全不同的文本与上下文。
本例的总体严重程度为 MEDIUM,但最高单项为 HIGH。接入团队流程时,应明确使用活动发现、单项严重程度还是完整性作为门槛,避免只看一个汇总字段。--fail-on-findings 已验证能改变退出码;默认生成报告成功并不意味着没有风险。CLI 参数与退出处理
即使报告建议显示 SAFE,也应理解为本次扫描没有产生相关发现。我们没有验证所有规则、代码语言、压缩包输入或依赖检查,也没有让技能在真实宿主中运行。静态检查并不等于行为隔离,更不提供安装后的权限控制。
为什么警告文本也被标记
第三份样例明确写着不要遵循覆盖指令,也不要读取或传输凭据,但仍出现与危险样例相同的两类告警和分数。这表明本次静态路径没有充分区分引用、否定与实际命令。文档、安全培训材料和示例代码尤其需要回看原文,不能自动把命中内容认定为恶意意图。
项目还提供可选的语义分析路径,本次未启用,不能据此声称它会消除这类误报。采用模型分析需要另外考虑提供商配置、输入数据传递、费用与可复现性。我们的报告中 llm_requested 为 false,这个边界应随结果一起保存。项目功能说明
基线表示接受发现
人工确认警告样例只是描述禁止行为后,我们使用 baseline --no-llm 生成基线,记录了审查理由,再显式传给同一目录的扫描。结果显示两条被抑制,活动发现为零,带 --fail-on-findings 的扫描返回零。这验证的是抑制机制,并没有改变原文或修复问题。
不要对未知资源直接生成并接受全部基线,否则危险指令同样可能被隐藏。固定提交的 CLI 默认只报告技能自带的基线,只有明确选择后才应用;本次实测使用我们自己的显式基线,没有验证自带基线的整个路径。更新内容后仍应审查差异和剩余发现。
适合怎样接入
建议先扫描一个固定提交的技能,保留 JSON 给审查者看原文,需要接入支持 SARIF 的平台时再输出对应报告。对活动发现进行人工判断,记录接受理由,然后用小范围基线维护已确认情况。扫描失败、覆盖不完整与确有发现应在流水线中分别处理;本次只验证了发现门槛,没有测试全部完整性选项。
安装需要 Python 3.12 以上。即使只运行静态模式,当前包仍会安装正常扫描工作流的依赖,不能把 --no-llm 理解为轻量、无提供商库的独立发行包。依赖明细已随复现样例保留。
对技能来源审查、批量引入前的初筛和代码评审补充,它值得试用。若目标是证明技能绝对安全或自动判定文档意图,本次结果不足以支持。资源选择可继续看 Awesome Copilot 评测;实际设计技能的脚本验收,可参考 Taste Skill 浏览器评测。