spr/058-treeheap-lifting-mask-echo

[utterances-bot]

[SPR-058] TreeHeap 信息抽水机：先形成 H_state，再遮住 token，能否完整 Echo？ | GrepCode

区分三种完全不同的 mask 时序，并报告 TreeHeap lifting information pump 的真实结果：所有 leaf 被遮住后，仅凭训练形成的 root 与多层 detail，token 和 16-token block 均可 100% Echo。

https://www.grepcode.cn/spr/058-treeheap-lifting-mask-echo.html

[houming818]

1 我不是为了搞清楚意识在结构中的存在形式，所以，我觉得如果真的有私人笔记的思维方式，也是可以接受的。至少我希望TA成本低，且可以家庭化部署和教育。
2 抽水机的意思是，之前用mask的方式，强行推动信息流，所以改为这种抽水机可能更合理，具体的公式设计是GPT设计的。