【免费下载链接】axrlAxisRL is an agentic RL post-training framework built on SGLang rollout, Megatron training, and real-world agent workflows.项目地址https://gitcode.com/gh_mirrors/ax/axrl点击查看免费下载AxisRL 是一个面向 agentic RL 的 LLM 后训练框架post-training framework它用 SGLang 做高吞吐 rollout、用 Megatron 做大规模分布式训练并把多轮 agent 交互、reward 收集与权重同步串成一条完整闭环。本文带你从拉取 Docker 镜像开始一步步跑通第一条 GRPO 训练命令帮你快速完成 AxisRL 安装、数据准备和首次训练。 什么是 AxisRL传统 RLHF 大多围绕单轮问答展开而真实的 agent 场景里模型需要与环境多轮交互、调用工具最后才拿到 reward。AxisRL 就是为这类agentic 强化学习后训练设计的Rollout 侧SGLang worker 负责高吞吐推理生成训练侧Megatron worker 负责 PPO / GRPO 等大模型训练中间层AxisRL 的 driver 负责调度、环境交互、verifier 打分、样本构建和权重同步。从这张官方架构图中可以看到一个完整循环输入队列派发给 Rollout Actors → 与 Gym 风格环境交互 → SGLang Workers 生成 token → 打包样本送入 Output Queue → Megatron Workers 训练并更新权重 → 再同步回 rollout 侧进入下一轮迭代。✅ 开始前硬件与前置条件条件说明操作系统Linux NVIDIA GPU默认 GRPO 配置约需 4 张 GPUMegatron 侧 tp2 × pp2rollout 与训练 colocate 共享显存运行时已安装 Docker支持--gpus网络可访问 Hugging Face首次运行会自动拉取模型和数据集 显存不够别急后面会教你如何用命令行参数一键降低并行度、换更小的模型。 第一步获取代码启动 Docker 环境AxisRL 推荐直接使用项目提供的预构建镜像其中已包含 SGLang、Megatron Core、MagiAttention、Ray 和全部 CUDA 依赖不用自己折腾环境。1️⃣ 克隆代码镜像与代码需放在同一台机器git clone https://gitcode.com/gh_mirrors/ax/axrl cd axrl2️⃣ 拉取官方预构建镜像docker pull leejunjie/sglang-mcore:cu130-sgl0.5.14-mcore0.18-magi3️⃣ 启动容器并把仓库目录挂载进去镜像工作目录为/rootdocker run -it --name axrl \ --gpus all \ --nethost --ipchost \ -v /path/to/axrl:/root/axrl \ leejunjie/sglang-mcore:cu130-sgl0.5.14-mcore0.18-magi \ bash如果你需要自行构建镜像可以直接参考仓库中的 cu130-sgl0.5.14-mcore0.18-magi.Dockerfile。 第二步安装 AxisRL 并准备数据在容器内的/root/axrl目录下执行pip install -e .仓库里的 install.sh 做的就是这件事。然后是模型和数据。完整下载脚本 download_data.py 会拉取全部 recipe 用到的模型和数据集体量很大包含多 B 参数的模型。本教程的 GRPO 示例只需要两样东西首次运行训练时会自动按需下载无需提前手动下载模型Qwen/Qwen2.5-1.5B-Instruct数据集openai/gsm8ktrain test如果希望提前缓存也可以只运行一次完整下载python axrl/example/download_data.py 第三步认识 GRPO GSM8K 训练配置每个 recipe 都有自己的配置入口。GSM8K GRPO 的配置在 axis_recipe/grpo_gsm8k/pipeline_config.yaml几个关键字段如下配置项默认值含义megatron_worker.model.nameQwen/Qwen2.5-1.5B-Instruct训练 rollout 共用的模型train_datasetsopenai/gsm8k/train训练数据集grpo.loss_typegrpoGRPO 策略优化目标online_rl_train.num_rollouts_per_conversation8每条 prompt 采样 8 条 rollout组内对比计算 advantageonline_rl_train.model_sync_every_n_global_updates4每 4 次全局更新把新权重同步回 rollout 侧配置背后的任务逻辑实现在 train_pipeline.pyMathEnv驱动数学题的多轮解题过程GSM8KVerifier对最终答案打分产生 reward。 第四步运行第一条 GRPO 训练命令一切就绪直接执行官方示例命令来源axis_recipe/grpo_gsm8k/run_train.shAXRL_OUTPUT_DIR_NAMEgrpo_gsm8k \ bash axis_recipe/grpo_gsm8k/run_train.sh \ --online_rl_train.max_global_updates4逐行拆解这条命令部分作用AXRL_OUTPUT_DIR_NAMEgrpo_gsm8k指定输出目录名结果默认写入~/axrl-data/outputs/grpo_gsm8k/run_train.sh先由 generate_configs.py 生成 YAML再启动训练 pipeline--online_rl_train.max_global_updates4只跑 4 个全局更新就结束——一次 10 分钟级的小规模 smoke run先验证环境没问题脚本还会把完整日志 tee 到~/axrl-data/outputs/grpo_gsm8k/run-train-pipeline-grpo-GSM8K.log并用 TensorBoard 记录 loss、reward 等指标。启动后框架会先跑一次 GSM8K test 集的 baseline 评估eval_on_start: true然后进入 rollout → 训练 → 权重同步的循环。看到 reward 指标随更新推进就说明你的第一条 GRPO 训练命令跑通了 训练过程中发生了什么每一轮迭代大致如下Rollout8 个 rollout actor 从 GSM8K 采样 promptSGLang worker 生成模型回答打分verifier 按最终答案的正确性给每条轨迹计算 reward训练GRPO 以组内 reward 均值作为 baseline 计算 advantageMegatron 执行策略梯度更新同步每 4 次全局更新新权重同步回 SGLang下一轮 rollout 用新模型——如此循环。⚙️ 进阶不改 YAML用命令行覆盖参数AxisRL 的参数覆盖语法是--path.to.fieldvalue绝大多数配置项都能在命令行直接改优先级为YAML 命令行 环境变量详见 config-parsing.md。显存紧张时的最小化示例bash axis_recipe/grpo_gsm8k/run_train.sh \ --megatron_worker.model.nameQwen/Qwen3-0.6B-Base \ --megatron_worker.tp_size1 \ --megatron_worker.pp_size1 \ --online_rl_train.max_global_updates4跑通 GSM8K 后还可以换用其他 recipeRecipe入口脚本场景GSM8K PPOaxis_recipe/ppo_gsm8k/run_train.sh带 value worker 的 PPO 数学训练Search-R1axis_recipe/search_r1/run_train.sh检索增强的多轮搜索 RLBlack-Box RLaxis_recipe/blackbox_rl/README.md通过 OpenAI 兼容代理接入 OpenHands/E2B 黑盒 harness 进阶能力rollout / trainer 一致性分析大规模训练中最隐蔽的问题往往来自 rollout 与训练两侧执行路径的细微差异tokenization、routing、packing 等。AxisRL 内置了 mismatch analysis 与 spike replay对比两侧 token 级 KL 差异、在 loss 尖峰前自动保存快照用于重放复现。下图就是开启 R3 routing replay 前后KL mismatch 分布的对比——橙色曲线整体显著更平稳❓ 常见问题FAQQ1显存不足、GPU 数量不够怎么办用命令行参数降低并行度并换小模型如--megatron_worker.tp_size1 --megatron_worker.pp_size1 --megatron_worker.model.nameQwen/Qwen3-0.6B-Base。Q2结果和日志在哪里看默认输出目录为~/axrl-data/outputs/AXRL_OUTPUT_DIR_NAME/其中logs/存放 worker 日志根目录有 tee 出的完整运行日志与 TensorBoard 事件文件。Q3训练报错找不到模型或数据集确认机器能访问 Hugging Face或提前运行python axrl/example/download_data.py缓存再把 YAML 中的name字段指向本地路径。Q4只想快速验证环境不想跑完整训练加--online_rl_train.max_global_updates4即可把训练压缩到几个更新几分钟内结束。 下一步中文文档总览docs/README-cn.md技术博客深入架构与工程实践docs/axrl-blog-cn.md配置解析完整规则docs/config-parsing.md一致性测试与回归用例tests/至此你已经完成了 AxisRL 从 Docker 环境搭建到第一条 GRPO 训练命令的全部流程。接下来可以试着把max_global_updates调大、换用 PPO 或 Search-R1 recipe开始你自己的 agentic RL 实验吧赞分享【免费下载链接】axrlAxisRL is an agentic RL post-training framework built on SGLang rollout, Megatron training, and real-world agent workflows.项目地址https://gitcode.com/gh_mirrors/ax/axrl点击查看免费下载相关推荐如何 10 分钟上手 yome-agent安装、配置与第一条命令的完整新手指南如何 10 分钟上手 yome agent安装、配置与第一条命令的完整新手指南 yome agent 是一个开源的 AI Agent 命令行工具CLI 包名10分钟上手Pup从auth login到第一条监控命令新手避坑清单10分钟上手Pup从auth login到第一条监控命令新手避坑清单 Pup 是 Datadog 官方推出的开源 Datadog 监控命令行工具CLI如何10分钟上手ACE从环境安装到第一次训练的完整教程uv DeepSeek实战如何10分钟上手ACE从环境安装到第一次训练的完整教程uv DeepSeek实战 ACEAgentic Context Engineering智能人工智能大模型AI AgentRAG模型评测上一篇终极 Visual C 运行库 AIO 解决方案一键解决所有 DLL 错误问题下一篇Windows电脑内存清理终极指南如何快速释放内存提升性能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考