技術架構規劃書精華 8 頁
01 / 08
ComfyUI

本機端 AI 影像生成工作流

從硬體部署、模型選型到 MCP 全自動化生產線

方向鍵 ← → 可切換
資料不外流
零點數成本
完全客製化
模組化
工作流
部署架構
02 / 08

本機 vs 雲端

把算力與資產握在自己手上,AI 創作才會從隨機摸索變成穩定的生產線。

資料隱私

商業資產、圖像與提示詞完全留在本機。

成本可控

沒有按次點數計費,只需負擔設備與電力。

彈性客製

不受平台規則限制,可自由組裝工作流。

本機 GPU 獨立運算雲端 / 遠端 API
算圖速度視本地 GPU 與顯存而定,NVIDIA(CUDA)最佳視雲端算力而定,不佔本地資源
成本架構零點數邊際成本儲值扣點制,與秒數、解析度成正比
數據安全極高,資產不外流需上傳第三方,須評估保密協議
離線可用完全支援離網執行需持續連網與 API 驗證
適用場景SD 1.5、SDXL、LoRA、Flux Schnell 等開源模型非開源或高門檻模型,如 MiniMax H3 圖生影片

Mac(Apple Silicon)可跑本機算圖,但超大模型受 Unified Memory 頻寬與 Metal 算力限制。ComfyUI Desktop 安裝後自動配置環境,首次啟動引導下載 SD 1.5。

資產管理
03 / 08

模型目錄結構

所有外掛資產依標準路徑放進 ComfyUI/models/,引擎才能精準調用。

ComfyUI / models /
├─ checkpoints/ SD 1.5、Juggernaut XL、Animagine XL 4.0、Flux Schnell ├─ loras/ 微調模型,如 Stickers Redmond ├─ controlnet/ ControlNet ProMax / Controlnet++ ├─ diffusion_models/ 獨立擴散模型,如 Flux Fill ├─ clip/ clip_l、T5 文本模型 └─ vae/ 獨立解碼器,如 Flux VAE

按 R 即可重新整理

新模型複製進資料夾或下載完成後,不用重啟,Load Checkpoint、LoRA Loader 的選單就會更新。

Model Manager 自動安裝

在 ComfyUI Manager 搜尋關鍵字(如 SDXL)按 Install,系統自動下載並歸檔到正確路徑。

輸出集中在 Output/

可從「資源」面板檢視歷史作品,大型檔案清理與備份都在這個資料夾進行。

核心引擎
04 / 08

Checkpoint 三位一體

一個完整 Checkpoint 封裝三個組件,再用 LoRA 疊加風格。

Model・畫家

主導構圖,在潛在空間中執行去噪與特徵演算。

Clip・提示詞翻譯員

把自然語言轉成模型能理解的數學向量與概念編碼。

VAE・後製設計師

把潛在空間的草稿解碼成色彩鮮明的實際像素圖像。

社群模型怎麼選

  • Stable Diffusion 1.5:通用、資源開銷低,適合快速概念驗證
  • Juggernaut XL:細節豐富、電影級寫實光影(SDXL 架構)
  • Animagine XL 4.0:高品質動漫角色與場景

LoRA 微調疊加

  • 檔案小、算力佔用低,放進 models/loras/
  • 加入 LoRA Loader 節點,插在 Checkpoint 與提示詞 / KSampler 之間
  • 需配合觸發關鍵字,例如貼紙風格要在 Positive 加入 Sticker
FLUX 架構
05 / 08

Flux 雙引擎

Schnell 負責極速出圖,Fill 專職修圖與擴圖,兩者的節點配置完全不同。

Flux Schnell・精簡版

Steps 4CFG 1.0免 Negative
  • 硬體需求友善,對圖形特徵理解力強
  • Negative Prompt 可省略(相容性可複製空節點)
  • 用 Dual Clip Loader 同時載入 clip_l 與 T5 語言模型
  • 搭配獨立的 Flux VAE(Load VAE 節點)
  • 參數:Euler + Normal、Denoise 1.0

Flux Fill・修圖擴圖版

Steps 20–30CFG 1.0Inpaint / Outpaint
  • 專為局部修補與邊界擴展訓練
  • 不含 Clip 與 VAE,放在 models/diffusion_models/
  • 用 Load Diffusion Model 節點呼叫
  • 需搭配 Differential Diffusion 與 Flux Guidance 處理邊界
  • 參數:Steps 25、Euler + Normal、Denoise 1.0
節點拓撲
06 / 08

節點與 KSampler

Load Checkpoint→ PositiveNegative→ KSampler→ VAE Decode→ Save Image Empty Latent 接入 KSampler
情境StepsCFGSampler / Scheduler
A SDXL / Juggernaut 寫實25–307.0DPM++ 2M + Karras
B Flux Schnell 極速41.0Euler + Normal
C Animagine XL 動漫287.0DPM++ 2M + Karras
D Flux Fill 修補 / 擴圖251.0Euler + Normal

Denoise:純文生圖 1.0;圖生圖或局部修圖低於 1.0 以保留原圖結構。

Seed 控制

Randomize 抽卡 → 滿意後切 Fixed 鎖構圖。要「當下」鎖住,須把控制模式從 After 改成 Before。

Latent 尺寸

SD 1.5 用 512×512,SDXL 與 Flux 用 1024×1024,寬螢幕用 1280×720,避免結構崩壞。

精確控制
07 / 08

控圖・放大・修補

商業專案需要指定構圖、高解析度與可延展的畫面,三個工具各管一段。

ControlNet

  • Openpose 鎖人物姿態;Depth Map 鎖景深
  • 插在正面提示詞與 KSampler 之間,Negative 直連 KSampler
  • 必須連 Checkpoint 的 VAE
  • Strength 控制約束力;Start / End 設 0 與 0.5,後半段交給 AI 發揮
  • 裝完 ControlNet Aux 要完整重啟

Upscale 放大

  • 傳統插值只是補像素,畫面模糊
  • RealESRGAN(2 倍 / 4 倍)能重建邊界與材質
  • 建立「圖片生成」與「放大影像」雙群組,放大群組平時設為 Never
  • SOP:Randomize 抽卡 → Seed 設 Fixed(Before)→ 放大群組改 Always 再執行

Inpaint / Outpaint

  • MaskEditor 塗抹要修補的區域,經 Inpaint Model Conditioning 送入 KSampler
  • Outpaint 用 Pad Image for Outpainting,例如 Left 400、Right 400,空白區自動變遮罩
  • Flux Fill 鏈:Load Diffusion Model → Differential Diffusion → KSampler,Prompt 經 Flux Guidance
MCP 自動化
08 / 08

LLM 驅動生產線

Claude 或 ChatGPT 擔任編排代理人,用自然語言調度整座 ComfyUI 工坊。

編排代理人能做什麼

  • 多風格平行渲染:同步輸出寫實照片、向量插畫、3D 動畫三種風格
  • 分鏡規劃:把劇本拆成分鏡,為每格寫出運鏡、構圖與光影 Prompt
  • 音訊:ACE-Step 指定曲風、調性、BPM、長度與 50+ 語言歌詞
  • 影片:首影格送 MiniMax H3 遠端 API,最長 15 秒,可開 2K upscale
PNGWAVMP4

Comfy MCP 安裝三步

① 官網點「安裝 MCP」選本地安裝並複製指令 ② LLM 桌面端指定 ComfyUI 資料夾並「信任工作區」 ③ 貼上指令執行,重啟 LLM 應用程式。

團隊協同與還原

匯出 .json 做版本控制;PNG 內嵌 Metadata,拖進畫布即可還原節點。缺模型按「全部下載」;缺節點走 Manager → Install Missing Custom Nodes,裝完務必完整重啟。

1 / 8