关于测试数据与代码

[li-aolong]

是否能提供一下论文中各个数据集上的测试结果文件和代码，如果自己评测的话，复现结果可能和论文中的指标还会有一定差异

[chenjiawei30]

感谢关注！

目前该仓库主要提供合成 ConsistentChat 的源代码，数据集已在 HuggingFace 开源。

关于你提到的论文中各数据集的评测细节，可以参考以下资源：

1. 主题一致性指标： 使用 LIGHT 和 TopDial 数据集，评测代码参考自 Midi-Tuning/eval/eval_by_gpt。

   • 数据下载：LIGHT (Google Drive) | TopDial (GitHub)

2. 多轮对话能力： 统一采用 MT-Eval 开展评估。

3. 关于评测部署：

   • 本地裁判模型： 修改 api_base_url 即可接入。

   • GPT 评测： 配置 api_key 后即可运行。

由于部署方式差异及模型随机性，可以参考论文实验部分以获得最接近的结果。