AReaL

AReaL 是一个面向推理和 Agent 模型训练的大规模异步强化学习（RL）系统。它最初由清华大学交叉信息研究院（IIIS）和蚂蚁集团 AReaL 团队的研究人员与工程师共同开发，采用完全异步的训练范式，把生成和训练解耦，以提升效率和可扩展性。

它面向希望用强化学习训练或微调 Agent 模型的机器学习工程师和研究人员，适用场景包括数学、编程、搜索和客服 Agent，项目方称在这些任务上取得了领先的结果。一个值得注意的功能是针对黑盒 Agent 应用的在线强化学习：只需把现有 Agent 的模型 `base_url` 替换为 AReaL 的地址，就能对它进行训练。2026 年 7 月发布的 AReaL 2.0 把系统重构为独立的训练、推理、Agent 和权重更新服务，并加入了针对 Hermes Agent 的在线强化学习循环。

上手方式：AReaL 面向配备 NVIDIA GPU 的 Linux 机器。先安装 uv 和对应版本的 flash-attention，再执行 `uv sync --extra cuda`（默认推理后端为 SGLang），然后按照文档中的 Agentic RL 和在线 RL 教程操作。