混合CFG

[PlutoQyl]

目前本项目支持Qwen RL论文中提到的混合CFG策略吗？

[Jayce-Ping]

这里对算法的细节描述不够清楚，存在很多模糊的地方。实践如果按照字面意思实现的话，GRPO算法由于要求训推一致，直接应用会带来很大的off-policy；而DiffusionNFT实践上可行，但理论上推导时是不用CFG采样的。实践上修改一下NFT的采样逻辑，把rollout阶段和training阶段的guidance_scale拆开分别设置就可以了。