Skip to content

feat(agentic): add GraphGPO ALFWorld recipe - #280

Draft
huxy1225-cloud wants to merge 1 commit into
redai-studio:mainfrom
huxy1225-cloud:agent/task37-graphgpo-partial-reproduction
Draft

feat(agentic): add GraphGPO ALFWorld recipe#280
huxy1225-cloud wants to merge 1 commit into
redai-studio:mainfrom
huxy1225-cloud:agent/task37-graphgpo-partial-reproduction

Conversation

@huxy1225-cloud

Copy link
Copy Markdown
Contributor

改动内容

我在 Relax 中加入了 ALFWorld GraphGPO recipe,并补充了多轮轨迹使用 variable-row 和逐
turn 自定义 advantage 所需的框架支持。

主要改动包括:

  • 按同一任务的 8 条轨迹构建状态转移图并计算最短路 credit;
  • 支持 graph-level、episode-level 及组合 advantage;
  • 将每个 turn 的 advantage 只广播到对应 action token;
  • 在 reward、TransferQueue、controller 和 Megatron data/loss/actor 路径中传递
    variable-row 元数据;
  • 增加 ALFWorld 配置、训练脚本、评估、诊断和复现清单;
  • 增加 fixed oracle、GRPO one-step parity、乱序不等长轨迹和 variable-row 记账测试。

未启用 GraphGPO 时继续使用原有训练路径。

Related to #225.

验证情况

冻结候选的历史验证记录:

  • v7 focused suite:201 passed,1 skipped,0 failed;
  • 保存的重点 JUnit:9 passed,0 failed;
  • GraphGPO 双卡 smoke 和四路线 smoke 均完成 rollout、训练、checkpoint 和清理。

我已把改动合并到提交时最新的 main682d474e2b22325d5f63706af35f644e7a21ccc3)。
当前本机没有项目测试环境,因此没有在这个合并后的 commit 上重新运行 pytest 或
pre-commit;CI 结果以 PR 页面为准。

当前复现结果

目前保留了 5 条完整的 150-step、eval149、128-episode 最终评估:

配置 方法 Seed 成功率
reference_cross_steps GraphGPO 0 88.28%
reference_cross_steps GiGPO 0 78.91%
reference_cross_steps GRPO 0 49.22%
review-fix-v7 trajectory_once graph-only 0 89.84%
review-fix-v7 trajectory_once graph-only 1 78.91%

这两组配置不能组成严格的 12-run 横向矩阵。当前结果只能作为实现和部分复现证据,不能
声称已经完成 Task37 论文复现或通过验收。后续仍需补齐同一冻结配置下的 4 种方法 × 3
个 seed、完整测试输出和总训练时间开销比例。

变更类型

  • 新功能
  • 文档
  • 测试
  • 破坏性变更

@yuanlehome

Copy link
Copy Markdown
Contributor

你好,可以进一步精简一下代码结构、文件组织,使其达到可 review 状态,再补充更多的实验内容(复现指令、关键 metrics 图等)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants