Skip to content

FLUX.2 Klein训练求助 #192

Description

@HUXING8

我基于FLUX.2 Klein 9B Base进行了一版Image2Image的lora训练,有一个效果基本符合预期的lora。目前想基于这个lora基础上进行RL训练,提升生图结果人物躯干的合理性。
第一个问题是:我最后是想加载到官方蒸馏的dit上进行4 step推理的,那我在用Flow-Factory的时候加载的基模应该是FLUX.2 Klein 9B Base还是FLUX.2 Klein 9B。
第二个问题是:我加载lora启动后,计算KL的时候,是基于dit+lora还是原始的dit,这里会有影响吗。我尝试了一下默认的配置,打开了KL,设置的kl_beta: 1.0e-3,是不是关掉会好一些。

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    discussionDiscussion about experiment configs, phenomena and etc.

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions