GenAI_Agents 评测 从可复现教程走向自己的智能体

固定仓库版本,运行轨迹评估与人工审批两个教程,复查拒绝、非法金额和重复恢复,说明模拟指标、依赖与非商业许可。

AgentIndex · 发布于 2026-11-04 · 更新于 2026-11-04

GenAI_Agents 适合带着具体问题学习智能体:如何把工具调用纳入评估,或怎样让写操作先暂停,经过人工决定后再继续。它把不同模式放进 notebook,读者可以顺着状态和输出理解执行过程,再决定是否在自己的系统里实现相似设计。

我们的判断是,先挑一个有明确输入、输出和失败路径的教程,比一次性安装整套依赖更有价值。本次运行两个确定性教程:轨迹评估和人工审批。结果能说明这些示例的控制逻辑,没有证明模型完成真实任务的成功率。

核验版本与范围

2026-11-04,我们固定仓库提交 1024ee0d4ca47b2fe36eadd669c57ad2353242bb,使用 Python 3.12.13、LangGraph 1.2.19,在本地执行审阅过的代码单元。审批教程的安装单元被跳过,依赖预先安装在独立环境;没有调用模型、支付接口或个人账号。教程目录

该快照的目录中有 65 个 notebook 文件。文件数量不等于独立技术模式数量,也不能代表全部已运行。我们只对下述两个教程做了执行验证,对共享依赖和另两个 notebook 做了文本检查。

验证项目实际结果
轨迹评估原始断言通过
人为注入错误的基线完整通过率 0.50,工具名准确率 0.75
修正后的模拟轨迹两项均为 1.00,通过质量门槛
人工审批图暂停暂停状态中没有工具执行结果
把待审批金额从 240 修改为 80返回模拟金额 80
拒绝分支结束为 rejected,没有工具结果
未经授权直接调用执行函数抛出 PermissionError
0、负数、布尔值和 NaN 金额均被拒绝
同一份暂停状态重复恢复得到两次模拟执行回执

脚本、依赖版本、源文件指纹和结果见可复现核验记录。仓库里保留我们自己的检查代码,不再分发上游 notebook。

轨迹评估:看懂分数从哪里来

评估教程把工具名称、参数、证据和延迟分成四项等权检查。基线故意把一个城市改错,又把另一个案例的工具名换错;修正版则返回预先设定的正确轨迹。错误能被定位到参数或工具名,而不只是笼统地判断回答看起来不错。轨迹评估源文件

这个设计适合学习如何定义验收条件。比如客服工具答对了订单状态,但查询了错误订单,不能仅因最终文字相似就算通过。团队可以先冻结几条人工案例,记录预期工具、参数及证据,再接自己的实际执行器。

本次报告中的 p95 为 180 毫秒,但它来自预写的样本延迟,没有计时任何模型请求。0.50 到 1.00 的变化也只是模拟错误被移除,不是某个模型升级后的效果提升。把真实智能体接入时,需要重新采集轨迹、定义超时和核对证据来源,不能直接拿教程数字做选型排名。

人工审批:暂停与执行之间的边界

审批教程把订单查询列为低风险读取,把模拟退款列为需要审批的写操作。LangGraph 保存暂停状态,审批决定可以批准、拒绝或修改参数,再由后续逻辑执行。示例的退款函数只生成回执,没有实际转账。人工审批源文件

这让“有人点了批准”成为可检查的状态变化。我们除了运行原始演示,还补查了拒绝、直接绕过入口和非法金额。它们都呈现了预期行为,适合用来讲解为什么应先检查参数,再记录批准,最后才执行动作。

但恢复一份相同的暂停状态两次,会调用模拟工具两次。这个结果说明,示例本身没有替真实业务提供幂等保障;它不是对持久化检查点或真实支付系统的测试。落地时需要把请求标识、审核者身份、重复提交和业务写入规则放到自己的应用边界内验证,不能只复制状态字段。

依赖管理与学习路线

共享 requirements 使用版本范围而不是整棵依赖树的精确锁定,说明还指出部分教程会自行安装额外框架或重依赖。仅安装根目录 requirements,不足以证明所有 notebook 已具备相同环境。共享依赖说明

建议先复制一个学习环境,记录 Python 和主要框架版本,运行没有模型调用的控制流单元。随后只为选定教程补齐服务凭据和额外依赖,并用少量人工案例验证。若以后需要升级框架,先重跑那些能确定对错的断言,再判断模型输出是否有变化。

还应区分内存中的演示状态与真实系统的持久状态。重启后能否恢复、多个审核者是否互相影响、失败重试会不会重复写入,都需要另外的应用测试。本次没有验证这些生产环境问题。

采用前先看许可与交付目标

该提交使用自定义许可,正文限制商业使用,并为商业使用另设书面许可要求。这里仅报告原文件写明的条件,不把教程默认描述为 MIT 等宽松许可项目;商业采用前应核对对应版本原文。许可文件

作为学习材料,它最有价值的交付是一条解释清楚、能重复执行的状态路径。如果团队需要可部署的框架、统一运行接口或真实任务基准,还要另行选择和验证。找具体工具可先用 awesome-claude-code 资源筛选;把工具参数和结果变成可校验结构,可参考 datamodel-code-generator 评测。