Skip to content

feat: 批量采集管道(Temu→1688 选品比价)与桌面级 computer_use#8

Merged
ckenkuo merged 1 commit into
mainfrom
feature/batch-collect
Jul 4, 2026
Merged

feat: 批量采集管道(Temu→1688 选品比价)与桌面级 computer_use#8
ckenkuo merged 1 commit into
mainfrom
feature/batch-collect

Conversation

@ckenkuo

@ckenkuo ckenkuo commented Jul 4, 2026

Copy link
Copy Markdown
Owner

围绕"把 Temu 已发布商品批量采集到 WPS 成本核算表"的完整能力,含支撑设施与
Windows/跨平台健壮性修复。

新增能力:

  • app/collect/:确定性两段式采集管道。pipeline.py 把第二段 agent 自由循环 换成逐商品确定性例程 + 2 次单发大模型(视觉挑同款 + 文本读价),单商品 token 从十万级压到两次小输入;image_extract.py 用生图模型把营销拼图重绘成 白底单品图仅作图搜查询图(判同款仍用原图,误差只影响 recall 不影响精度)。
  • app/tool/wps_excel_tool.py:WPS DISPIMG 表安全写入。全程 zip/XML 增量改, 绝不用 openpyxl(其 save 会删 cellimages.xml 毁掉所有嵌入商品图)。
  • app/tool/computer_use_tool.py:系统桌面级 computer use(整屏截图 + 鼠标/键盘/ 窗口控制),与 browser_use 互补处理浏览器够不到的原生对话框/桌面应用。
  • batch_collect.py:两段式批量驱动。第一段命中 Temu 列表接口 0-LLM 枚举全量 SPU;第二段对每个未入库 SPU 清空记忆独立跑,幂等可断点续跑。
  • browser_use_tool.py:paste_image(剪贴板 + 真实 Ctrl+V 以图搜图,绕开会冻死 自动化的原生文件对话框)、close_tabs、execute_js 批量读字段等。
  • 提示词红线:WPS 表操作、1688 采购价/重量采集、computer_use 与 browser_use 分工、桌面输出目录约定。
  • config:桌面产物分类输出目录(MANUS_OUTPUT_DIR 可覆盖)、浏览器视口尺寸配置。
  • tests/test_computer_use.py:接线/降级纯逻辑 + importorskip 守卫的真机截图。

健壮性修复:

  • app/init.py:预设 KMP_DUPLICATE_LIB_OK 规避 faiss/MKL 与 LLVM OpenMP 双运行时在 Windows 上触发 OMP Error #15 中止。
  • llm.py:qwen3.7-plus 标记为多模态(实测可看图),并仅在确有图片时才告警。
  • python_execute.py:改用 python -c 子进程执行(避开 Windows spawn 重导入 整个 app 包导致启动即超时),强制 UTF-8,默认超时 5→30s。
  • str_replace_editor.py:本地目录列举改跨平台 Python 遍历,不再依赖 Windows 上不存在的 Unix find。
  • file_operators.py:子进程输出 decode(errors="replace") 防中文 Windows 解码崩溃。
  • gui_agent.py:修复 Qwen-VL 偶发畸形坐标 JSON;支持系统提示词覆盖。

文档:docs/batch-collect-refactor-plan.md、docs/computer-use-and-isolation.md、 README_批量采集.md。

本机一次性调试产物(probe_upload.json、repair_pawly.py,含硬编码本地路径) 已加入 .gitignore,不入库。

Features

  • Feature 1
  • Feature 2

Feature Docs

Influence

Result

Other

围绕"把 Temu 已发布商品批量采集到 WPS 成本核算表"的完整能力,含支撑设施与
Windows/跨平台健壮性修复。

新增能力:
- app/collect/:确定性两段式采集管道。pipeline.py 把第二段 agent 自由循环
  换成逐商品确定性例程 + 2 次单发大模型(视觉挑同款 + 文本读价),单商品
  token 从十万级压到两次小输入;image_extract.py 用生图模型把营销拼图重绘成
  白底单品图仅作图搜查询图(判同款仍用原图,误差只影响 recall 不影响精度)。
- app/tool/wps_excel_tool.py:WPS DISPIMG 表安全写入。全程 zip/XML 增量改,
  绝不用 openpyxl(其 save 会删 cellimages.xml 毁掉所有嵌入商品图)。
- app/tool/computer_use_tool.py:系统桌面级 computer use(整屏截图 + 鼠标/键盘/
  窗口控制),与 browser_use 互补处理浏览器够不到的原生对话框/桌面应用。
- batch_collect.py:两段式批量驱动。第一段命中 Temu 列表接口 0-LLM 枚举全量
  SPU;第二段对每个未入库 SPU 清空记忆独立跑,幂等可断点续跑。
- browser_use_tool.py:paste_image(剪贴板 + 真实 Ctrl+V 以图搜图,绕开会冻死
  自动化的原生文件对话框)、close_tabs、execute_js 批量读字段等。
- 提示词红线:WPS 表操作、1688 采购价/重量采集、computer_use 与 browser_use
  分工、桌面输出目录约定。
- config:桌面产物分类输出目录(MANUS_OUTPUT_DIR 可覆盖)、浏览器视口尺寸配置。
- tests/test_computer_use.py:接线/降级纯逻辑 + importorskip 守卫的真机截图。

健壮性修复:
- app/__init__.py:预设 KMP_DUPLICATE_LIB_OK 规避 faiss/MKL 与 LLVM OpenMP
  双运行时在 Windows 上触发 OMP Error #15 中止。
- llm.py:qwen3.7-plus 标记为多模态(实测可看图),并仅在确有图片时才告警。
- python_execute.py:改用 python -c 子进程执行(避开 Windows spawn 重导入
  整个 app 包导致启动即超时),强制 UTF-8,默认超时 5→30s。
- str_replace_editor.py:本地目录列举改跨平台 Python 遍历,不再依赖 Windows
  上不存在的 Unix find。
- file_operators.py:子进程输出 decode(errors="replace") 防中文 Windows 解码崩溃。
- gui_agent.py:修复 Qwen-VL 偶发畸形坐标 JSON;支持系统提示词覆盖。

文档:docs/batch-collect-refactor-plan.md、docs/computer-use-and-isolation.md、
README_批量采集.md。

本机一次性调试产物(probe_upload.json、repair_pawly.py,含硬编码本地路径)
已加入 .gitignore,不入库。
@ckenkuo
ckenkuo merged commit 7bcead7 into main Jul 4, 2026
2 of 5 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant