训练时采样的结果很差会有影响吗？

[linghuyuhangyuan]

非常感谢您完善的工作！
我们目前基于DiffusionNFT做图像编辑的RL，想请问训练时低分辨率+少采样步情况下，sample结果reward很低，效果很差，但是实际推理发现对于高分辨率+完整采样步下的效果也有长进，注意到了您之前说的“在图像上我发现low-resolution的收益可以转移到high-resolution”的说法，我有两个疑问：

1. 如果提高训练的分辨率/采样步，是否可以使得训练效果变好？
2. 考虑进一步的semi-hard样本筛选、off-policy注入等策略，需要建立在训练setting上还是推理的setting上？

[Jayce-Ping]

1. 我之前尝试过在高分辨率做训练，观察有二：(1) 高分辨率训练几乎不会给低分辨率任何收益；(2) 高分辨率训练收敛后的final performance和低分辨率下收敛后的模型在高分辨率下eval的performance差不多，有时甚至后者会更高。（我认为其中有很大hack的成分，但是hack本身其实还是来自于reward本身的不足）
2. 如果我没理解错的话，semi-hard筛选应该是在计算advantage时做的吧。此外DiffusionNFT本身就是off-policy的算法。其On-policy版本是AWM.

[linghuyuhangyuan]

非常感谢您的及时回复！
还有点疑问：

1. 训练时采样步多少有无影响？
2. 要表达的意思是数据筛选（我们发现训练样本不同对结果是有影响的），如果需要提前离线筛选一下数据，应该建立在哪种setting下会比较合理？

[Jayce-Ping]

1. 这个我认为可以减少步数/分辨率到一个值，该值下能生成有意义的图像来保证打分可靠即可。
2. 这个我没用过系统性研究，可能已经有相关文章（LLM那边可能比较多）有过研究了。我个人的直观感觉是(1) 模型在一个group内能拿到有效分数（不是几乎全0或全1）；（2）要保证prompt的多样性来防止对prompt pattern的过拟合。关于prompt pattern的过拟合可以参考这个Issue

[linghuyuhangyuan]

好的，感恩🥹
我们的project只需要在specific task场景下的prompt pattern下能work即可，所以好像没有您提到的过拟合问题。