verl-agent

verl-agent 扩展了 veRL，用强化学习训练大模型智能体。README 将其与拼接完整交互历史的做法作对比：它采用“与步骤无关”的多轮 rollout，因此每一步的输入结构、历史管理和记忆模块都可以自定义，据称这有利于长程任务。它对应 GiGPO（Group-in-Group Policy Optimization）论文，该论文已被 NeurIPS 2025 接收。

功能表列出多轮和逐步的智能体与环境交互、可自定义的记忆模块、并行的 Gym 环境、纯文本及文本加图像模态，以及 LoRA 训练。支持的模型有 Qwen3、Qwen3-VL、Qwen2.5、Qwen2.5-VL、LLaMA3.2 等。算法包括 GiGPO、GRPO、PPO、DAPO、GSPO、RLOO 和 REINFORCE++。环境包括 ALFWorld、WebShop、Search（工具调用）、Sokoban、Gym Cards 和 AppWorld，另有基于提示词的 GPT-4o 智能体。

安装属于研究级别：创建 Python 3.12 的 conda 环境，安装 `vllm==0.11.0` 和 `flash-attn==2.7.4.post1`，运行 `pip install -e .`，再分别安装各个环境，最好每个环境单独隔离。README 的动态提到 ROLL 和 OpenManus-RL 项目对其提供支持。许可证为 Apache 2.0，最近一次推送是 2026-06-09，README 动态更新到 2025-12。本评测基于 README 和仓库数据，我们没有实际运行过它。