frame-fab 是一款桌面端 AI 漫剧创作平台,基于 Tauri 2.1 + Rust 构建,集成多模型 AI(智谱 GLM-5 / MiniMax M2.5 / 月之暗面 Kimi / 字节 Seedream / 快手 Kling / Edge TTS)实现从小说/剧本到漫剧成片的端到端自动化。提供:
- 🎬 Manual 模式:七步半自动工作流(导入→分析→脚本→分镜→角色→渲染→导出),逐步审批
- 🤖 Autonomous 模式:5 步 Pipeline(script-generation → storyboard → material-matching → voice-synthesis → keyframe)+ Self-Review Loop + Quality Gate
- 🔄 Checkpoint 断点续传:30 秒自动保存,崩溃后可恢复
- 🧠 ProviderRegistry:Strategy 模式 + Fallback Chain,6+ 文字模型 / 4+ 图像模型 / 3+ TTS 自动切换
让创作者专注于故事本身,把繁琐的工程化交给 AI。
| 🎬 双模式工作流 | 🧠 多模型编排 | 🎙️ 一站式音视频 |
|---|---|---|
| Manual 七步半自动 + Autonomous 五步 Pipeline | Strategy ProviderRegistry + 完整 Fallback Chain | Edge TTS + 唇形同步 + 字幕嵌入 + FFmpeg 合成 |
| 🦀 Rust 高性能 | 🔄 断点续传 | 🏗️ 桌面优先 |
| Tauri 2.1 + FFmpeg 子进程 · 30MB 包体积 · 冷启动 < 1s | 30s 自动 Checkpoint · 自审循环自动修复 | 全局快捷键 / 系统托盘 / 原生菜单 / 三端一致 |
| 平台 | 架构 | 下载 |
|---|---|---|
| macOS | Apple Silicon (M1/M2/M3/M4) | frame-fab_x.x.x_aarch64.dmg |
| macOS | Intel | frame-fab_x.x.x_x64.dmg |
| Windows | x64 | frame-fab_x.x.x_x64-setup.exe |
| Linux | AppImage | frame-fab_x.x.x_amd64.AppImage |
git clone https://github.com/Agions/frame-fab.git
cd frame-fab
pnpm install
pnpm tauri dev # 同时启动 Vite + Tauri配置 .env.local(至少一个文字模型):
VITE_ALIBABA_API_KEY=your_key_here # 阿里 Qwen
VITE_ZHIPU_API_KEY=your_key_here # 智谱 GLM
VITE_MINIMAX_API_KEY=your_key_here # MiniMax M2.5
VITE_SEEDDREAM_API_KEY=your_key_here # 字节 Seedream(图像,可选)
VITE_KLING_API_KEY=your_key_here # 快手 Kling(图像,可选)访问 http://localhost:1420 即可看到开发版 UI。
完整指引 → 快速开始 (5 分钟)
┌──────────────────────────────────────────────────────────────┐
│ Frontend (Web UI — React 18 + TypeScript 5 + Vite) │
│ ┌─────────────┐ ┌──────────────┐ ┌───────────────────┐ │
│ │ 14 features │ │ 5 global │ │ shadcn/ui (Radix │ │
│ │ (DDD 风格) │ │ Zustand │ │ + Tailwind CSS) │ │
│ └─────────────┘ └──────────────┘ └───────────────────┘ │
└──────────────────────┬───────────────────────────────────────┘
│ tauri::invoke() IPC
┌──────────────────────┴───────────────────────────────────────┐
│ Desktop Container (Tauri 2.1 — Rust) │
│ ┌────── src-tauri/commands/ (22) ──┐ ┌─── src-tauri/ ───┐ │
│ │ video · app · file · shortcuts │ │ services/ │ │
│ │ 22 Tauri Commands 按域路由 │ │ models/ · utils/ │ │
│ └──────────────────────────────────┘ └────────────────────┘ │
│ ┌────── 5 步 Pipeline (Autonomous) ──────────────────────┐ │
│ │ step1-script → step2-storyboard → step3-material → │ │
│ │ step4-voice → step5-keyframe │ │
│ └────────────────────────────────────────────────────────┘ │
│ ┌────── Autonomous Layer ───────────────────────────────┐ │
│ │ AutoPipelineEngine · QualityGate · SelfReviewLoop · │ │
│ │ Checkpoint (30s auto-save) │ │
│ └────────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────────────────────┐
│ External AI Providers (via HTTPS) │
│ 智谱 GLM-5 · MiniMax M2.5 · 月之暗面 Kimi · 字节 Seedream 5.0│
│ 快手 Kling · 生数 Vidu · 阿里 CosyVoice · 微软 Edge TTS │
└──────────────────────────────────────────────────────────────┘
详细架构决策见 docs/adr/ (Tauri 桌面优先 + Monorepo DDD 分层)。
frame-fab/
├── src/ # 前端 UI 层(React + Tauri API 包装)
│ ├── features/ # 14 个 Feature 模块(DDD 风格)
│ ├── shared/ # 跨域共享(components/hooks/stores/utils/constants)
│ ├── core/ # 核心服务(pipeline + services 21 个)
│ └── pages/ # 路由级页面
├── packages/ # Monorepo 子包
│ ├── core/ # 领域核心(pipeline/autonomous/types)
│ └── common/ # 基础类型/工具(无副作用)
├── src-tauri/ # Tauri 桌面端(Rust 第一公民)
│ ├── src/commands/ # 22 个 Tauri Commands(按域路由)
│ ├── src/services/ # FFmpeg/视频/配置业务逻辑
│ ├── src/utils/ # 路径验证/ID 生成/FFPS 解析
│ └── src/models/ # 领域模型(app_settings/video_metadata/shortcut)
├── docs/ # VitePress 文档站
│ ├── adr/ # 架构决策记录(6 篇)
│ ├── api/ # API 参考
│ ├── performance/ # 性能基准报告
│ ├── developer-guide/ # 架构/项目结构/服务
│ └── getting-started/ # 5 分钟启动/配置
├── public/ # Vite 静态资源(logo/favicon/og-image)
├── docs/BRAND_GUIDELINES.md # 品牌设计规范
└── scripts/ # 构建脚本
| 类别 | 技术 |
|---|---|
| 前端框架 | React 18 · TypeScript 5 · Vite 5 |
| UI 组件 | shadcn/ui (Radix UI + Tailwind CSS) |
| 状态管理 | Zustand(5 个全局 Store + feature 级 Store) |
| 桌面端 | Tauri 2.1 (Rust) |
| 动画 | Framer Motion |
| 国际化 | i18next |
| 测试 | Jest · React Testing Library · 80 suites / 1381 tests |
| CI/CD | GitHub Actions(lint + typecheck + test + e2e + build + docs deploy) |
| 模态 | 模型 |
|---|---|
| 文字生成 | GLM-5(智谱)· M2.5(MiniMax)· Kimi K2.5(月之暗面)· Doubao 2.0(字节)· Qwen 2.5(阿里)· ERNIE 4.0(百度) |
| 图像生成 | Seedream 5.0(字节,推荐)· Kling 1.6(快手)· Vidu 2.0(生数) |
| 视频生成 | Seedance 2.0(字节)· 配合 Image-to-Video 工作流 |
| 语音合成 | Edge TTS(免费)· CosyVoice 2.0(阿里) |
| 分类 | 文档 | 说明 |
|---|---|---|
| 上手 | 快速开始 (5 分钟) | 立即体验 |
| 上手 | 安装指南 | 桌面端/源码安装 |
| 上手 | 配置说明 | AI API Key 配置 |
| 开发 | 架构设计 | 系统架构总览 |
| 开发 | 项目结构 | 目录说明 |
| 开发 | 模块系统 | DDD 分层 |
| 开发 | 平台适配层 | Web/Desktop 抽象 |
| 开发 | 服务清单 | 21 个核心服务 |
| API | 服务参考 | AI/图像/视频/TTS/字幕/流水线 |
| 决策 | ADR 索引 | 6 篇架构决策记录 |
| 品牌 | 品牌设计指南 | Logo/色彩/字体规范 |
| 性能 | v2.2.0 基准 | bundle/流水线/UI LCP |
- v2.0:基础七步工作流(Manual 模式)
- v2.1:8-Phase 架构重构 + Rust 模块化 + 服务重组 + 5 个 Store 收敛
- v2.2:仓库改名 frame-fab · 描述中文化 · 自主流水线正式化 · ADR 决策记录 · 性能基准
- v2.3:manga-pipeline 测试提速(11s → 4s)· 44 个大文件拆分重构(195+ 子模块)
- v2.4:性能优化(terser → esbuild,30.1s → 14.6s)· 沙箱化与安全强化(Tauri Capability 11 个 permission 移除 + CSP 收紧 + 3 套安全测试)
- v3.0:代码审查(ESLint 0 + Zustand 5 slice 类型收窄 + 清 12 处误导性 TODO)+ 死代码清理(-282 行跨 14 文件)
- v3.4:多模态融合(音乐 AI / 音效 AI / 视频背景音乐智能匹配)+ 移动端预览 App
- v4.0:全自动漫剧工坊(Agent 化 / 风格迁移 / 国际化 2.0 / 数据看板)
完整路线图 → ROADMAP.md
欢迎 PR 和 Issue!开发流程:
- Fork 仓库
- 创建特性分支:
git checkout -b feat/your-feature - 提交代码:
git commit -m "feat(scope): description" - 推送分支:
git push origin feat/your-feature - 创建 PR,CI 全绿后合并
feat: 新功能
fix: Bug 修复
docs: 文档变更
style: 代码格式化(无逻辑变更)
refactor: 重构
perf: 性能改进
test: 测试
chore: 构建/工具链变更完整开发规范见 CONTRIBUTING.md。
- Tauri — Rust 桌面容器
- shadcn/ui — 组件设计系统
- Zustand — 状态管理
- FFmpeg — 视频处理
- 智谱 / MiniMax / 月之暗面 / 字节 / 阿里 / 百度 — AI 模型支持
MIT License · © 2024-2026 Agions
如果你觉得 frame-fab 有帮助,请给我们一个 ⭐