feat: RAG experience library — retrieve successful flows as few-shot

[ckenkuo]

概述

为 manus-gui 新增 RAG 经验库：把跑通的任务流程沉淀为高层经验，新任务用「用户提示词」检索最相似的成功经验，作为 few-shot 注入 prompt，让 agent 少绕圈、用更少步数完成。整套特性是可配置、可干净下线的旁路增益，关掉开关后对主流程零侵入。

本 PR 含两个提交：

• feat: RAG 经验库实现（app/experience/ 五件套 + 集成点 + 单测）
• docs: 验证指南 docs/rag-experience-verification.md

架构

模块	职责
app/experience/embedding.py	DashScope text-embedding-v4 向量化，L2 归一化
app/experience/store.py	Recipe + RecipeStore：内存权威列表 + jsonl 原子重写 + 重建 Faiss/BM25，asyncio 锁串行化写
app/experience/retriever.py	dense（Faiss/numpy）+ sparse（BM25/jieba）→ RRF 融合 → 相关性闸门
app/experience/recorder.py	把成功轨迹压缩转录，LLM 提炼成高层步骤（去噪、抹掉易过期的 DOM index/坐标）
app/experience/__init__.py	is_enabled / retrieve_recipes / distill_recipe / format_injection / store 单例

集成接缝：注入在 Manus.run()（agent 层，非交互，跑完恢复 system_prompt 防累积）；确认 + 落库在 main.py（CLI 层，交互 [y/N]）—— agent 保持纯净不耦合 console。

降级：faiss / rank-bm25 / jieba 任一缺失都不中断，对应通路 best-effort 降级（缺 faiss → numpy 点积；缺 jieba/bm25 → 仅 dense）。

关键设计决策

• 经验存高层步骤而非原始动作（DOM index/坐标易过期，照搬反误导）。
• 向量检索 Faiss IndexFlatIP（归一化＝余弦）；关键词 BM25 + jieba 中文分词；融合 RRF（rrf_k=60，无需归一化/调参）。
• 相关性下限闸 min_score=0.35，防止给无关任务硬塞经验。
• 去重：同任务（余弦 > 0.95）留 step_count 更少的那条。
• 删除难题绕法：IndexFlatIP 不支持 remove_ids，故 C/U/D 全走「整文件重写 + 重建索引」，从不原地删。
• 写入入口仅「跑完交互确认」；非交互（stdin 非 TTY）跳过保存；日常增删＝手编 jsonl（人类可读、可 git diff）。

测试

单元测试（16 例，离线，monkeypatch embed/LLM）：

pytest tests/test_experience_store.py tests/test_experience_retriever.py tests/test_experience_recorder.py -v

覆盖 CRUD / 去重 / RRF 融合 / 相关性闸门 / 降级 / 提炼 JSON 解析。

真实端到端验证（2026-06-30 已实跑印证，详见 docs/rag-experience-verification.md）：

• 跑「打开 baidu.com 读标题」→ success → [y/N] 确认 → ✅ 经验已保存
• 落库 recipe 带 1024 维真实向量（证明 dense 通路通，非 BM25 兜底）
• 重启再跑相似任务「打开 1688.com」→ 经验库已加载：1 条 + 🧠 已注入 1 条历史成功经验
• 关闭开关（enabled=false）后既不注入也不弹保存询问、无报错 —— 可干净下线

关闭方式

[experience]
enabled = false

运行时数据 experience/recipes.jsonl 已被 .gitignore 忽略，不入库。