开篇 · 一条链路，把生成模型送上 GPU

拿单机会：帮客户把训练成本压到可控（LoRA）、推理吞吐/延迟做达标（加速栈+MIG）、给一份公平的机型 benchmark。

全景 · 从原理到落地的六层地图

今天分三大板块

• ① 多模态生成模型简介 —— 原理（image / video / audio）：为什么这类模型在 GPU 上有用武之地
• ② 多模态生成模型 GPU 训练 —— LoRA 微调（90% 客户）+ 全量训练与 6D 并行
• ③ 多模态生成模型 GPU 推理 —— 加速栈 · 框架 · 机型 · MIG · Benchmark · 数字人落地

全程带真实客户项目的填坑经历与实践总结，目标：让一线少走弯路、抓住拿单机会。

原理 · 扩散模型 = 加噪 → 降噪

CFG 每步跑两次前向（正向+负向）—— 这是后面 ComfyUI "CFG Split 多卡" 能拆两卡并行的原理来源。

原理 · U-Net → DiT 架构升级

DiT（Peebles & Xie, ICCV 2023）：Gflops↑→FID↓，干净 scaling law。现在的视频图像模型基本都是 DiT —— 这是"上 GPU"的架构前提。

原理 · adaLN-Zero：唯一必要的改动

h = x + α₁·Attn(LN(x)·(1+γ₁)+β₁)
y = h + α₂·MLP(LN(h)·(1+γ₂)+β₂)
(γ,β,α) = MLP(emb(t)+emb(c))

这也解释了为什么 DiT 能干净地 scale —— 稳定的初始化 + 全局 attention。

原理 · Rectified Flow 为何能少步

SD3 贡献：logit-normal 采样 timestep（t≈0.5 最难多练它）—— 正是 LoRA 参数 weighting_scheme=logit_normal 的由来；MM-DiT 图文各一套权重双向交换（Qwen-Image = 20B MMDiT）。

压缩 · Video VAE 时空压缩 4×8×8

总压缩比 4×8×8×(3/16) = 48×。主流开源（Hunyuan/CogVideoX/Wan2.1）普遍 4×8×8、16ch；Wan2.2 VAE 做到 4×16×16。

压缩 · CausalConv3D 因果卷积

三大优势：① 首帧独立编码 → 图像=单帧视频 → 文生图/图生视频统一；② 支持流式生成降显存；③ 类似 LLM causal mask。混元把首帧单独作 group，两条链路就此统一。

压缩 · Patchify + Token 爆炸

patch=2（WanVideo 省算力）vs patch=1（LTXV 无损）。空间边长×2 → attention 成本×16；时长×2 → ×4。这是视频 DiT 最陡的成本墙。

模型 · 图像双雄：Qwen-Image-Edit vs FLUX.2

文本编码器全面转向 VLM/LLM —— T5/原始 CLIP 已成过去式，但具体用哪个 LLM 各模型有别，客户面前要说准。

模型 · Qwen-Image-Edit 言出法随

低阶 vs 高阶语义编辑

• 低阶（外观）：换背景、抠图、增删改元素，其余区域完全不变
• 高阶（语义）：保持人物一致换姿势/姿态、IP 创作、物体旋转、风格迁移（吉卜力/新海诚）
• 保留字体/字号/风格直接改图中文字

Appearance Anchor：源参考图 → 保持面部/发型/服装一致 + 商品带货

通用编辑解决大部分需求；高保真风格/IP 与复杂动作姿态仍需 LoRA（见 Act 4）。

模型 · Wan-VACE 视频定制能力矩阵

原理：DiT token 层面通过 latent reference 拼接 / cross-attention 注入额外参考，组合出多任务。Wan 全系 Apache 2.0；开源 T2V/I2V 输出静音视频。

模型 · LTX-2 音画同步双流 DiT

把"先生视频再单独配口型/音频"的两段式，压成一次原生生成 —— 数字人/短视频的关键跃迁。

模型 · 文本编码器全面转向 VLM / LLM

演讲口误勘误：并非"klein 都配 Qwen-VL" —— 只有 klein 9B 用 Qwen3 8B；[dev] 用 Mistral-3。趋势对（转 LLM），细节要精确。

模型 · 选型总表 + 许可证陷阱

给客户选型第一关是许可证：Qwen/Wan 全系 + klein 4B = 真 Apache；FLUX.2 dev/9B 非商用；Hunyuan 有地域限制。

训练 · 两类客户

LoRA 的价值：垂域高保真风格/IP + 复杂动作姿态 —— 通用编辑模型解决不了的那部分。

训练 · 两个真实客户案例

一句话：通用编辑解决"大部分"；高保真风格/IP + 复杂动作姿态这两类垂域需求，仍需 LoRA。

训练 · 数据打标黄金法则

⭐ 最重要：训练风格/IP 时，除了触发词（trigger），你不希望模型记死的东西都别打标！否则抽帧的同质 caption 会被当 trigger 记死，泛化就废了。

训练 · 数据增强与分桶

这些主要针对泛化 —— 让有限的垂域数据覆盖更多分辨率与变化。

训练 · LoRA 两条路线

文生视频可用图像或视频训练；图生视频建议用视频数据集训练。

训练 · 核心参数调优

网络维度 dim/alpha 视任务；视频模型经 timestep_sampling=shift + discrete_flow_shift 控制。

训练 · GPU 资源开销（真实数据）

"成本可控"的量化含义：客户不需要集群，一张专业卡就能训出垂域效果。可视化用 TensorBoard 加载输出目录 events。

并行 · 两类显存：先分清敌人

16 bytes/param = bf16 参数2 + bf16 梯度2 + fp32 master4 + Adam m4 + Adam v4；优化器三件套 12Ψ 是最大头。

并行 · 6D 并行维度全表

模型状态：FSDP/TP/PP/EP；激活：DP(间接)/CP/SP。CP 是长视频 DiT 主战场。

并行 · ZeRO 三阶段逐层去冗余

Megatron Distributed Optimizer ≈ ZeRO-1/2；FSDP/FSDP2 = ZeRO-3。ZeRO 只降模型状态显存，与梯度检查点（激活重算）正交可叠加。

并行 · Ulysses vs Ring（长视频刚需）

Ulysses：AllToAll 通信高效但受 head 数限制；Ring：K/V 环形 P2P + online softmax，不受 head 限制、适合超长序列。Megatron CP 是工程化 Ring 变体。

并行 · Megatron-Bridge vs DiffSynth

互补：DiffSynth 快速验证 → Megatron-Bridge 大规模扩展，权重经 HF 格式互转。同类消费级：diffusion-pipe(PP) / musubi-tuner(block swap) / ai-toolkit(24GB)。

并行 · 训练框架决策树

16 GPU 4D 切分实例：TP=2×CP=4×FSDP=2。TP 切 hidden（需 NVLink），CP 切 seq（Ring K/V），FSDP 切参数/优化器，SP 随 TP。

并行 · 三模型起手配置

⚠️ 激活爆（长视频）≠ 参数爆 → CP / Activation Recompute / CPU Offload 才是解药，FSDP 不管激活。

推理 · 加速栈全景

各技术大体正交、可叠加；但缓存跳步与少步蒸馏收益互相稀释（步数已很少时缓存意义小）。

推理 · SageAttention 即插即用

SageAttention2 更激进（INT4+FP8），SageAttention3 用 Blackwell FP4 达 4~5×。实战 Wan2.1 单用约 30% 提速。

推理 · TeaCache / First-Block-Cache

FBC 用第一个 Transformer 块残差作缓存指标，差异 < 阈值就复用、跳过后续所有块。~2× 且保持精度。

推理 · LightX2V 少步蒸馏

LCM/DMD2 蒸馏，即插即用（和普通 LoRA 一样加载）。适用 Flux/Kontext/Qwen-Image/Wan2.1/2.2（Wan2.2 用高低降噪两个 LightX LoRA）。

推理 · ComfyUI CFG Split 多卡

CFG 并行/序列并行 = 降单张延迟；数据并行（ComfyUI-Distributed）= 提吞吐。多卡受互连带宽约束（NVLink>>PCIe）。

推理 · vLLM-Omni / Diffusers / ComfyUI

ComfyUI = 定制/生态事实标准（客户最爱）；Diffusers = 研究/benchmark；vLLM-Omni/SGLang(2025-11新出) = 生产高并发。ComfyUI 单实例内部串行排队，高并发靠多实例。

机型 · AWS GPU 全家谱

⚠️ 关键勘误（演讲者当场承认）：PPT benchmark 页标的 "g7e (L40S 48GB)" 全是错的 —— L40S = G6e；真正 G7e = RTX PRO 6000（96GB，支持 MIG）。B300 芯片 288GB / AWS 云实例 268GB 两个口径都对。

机型 · MIG vs Time-Slicing vs MPS

整卡开 4 进程 = CUDA 时间片轮转 = 抢占式串行：单条 24s→93s（≈4×），总吞吐几乎不变（开 4 个 ≈ 白开 3 个）。MIG 才是硬件隔离真并行。

Benchmark · 先控质量变量，再比性能

现场争论的结论：光比吞吐提升倍数不行 —— 若每张图慢 1 秒突破延迟约束，"6× 吞吐"就是虚的。MLPerf v6.0 视频用 SingleStream 取代 Server 正是此理。技术出数据，价格权衡归 BD。

Benchmark · Qwen-Edit / WAN2.2 实测

MIG vs 整卡 = 2.43×（延迟换吞吐）；B300 vs G6e 整机吞吐 6.6×。避免 Sticky Session：直连 least-busy(6.08) > 网关 sticky(3.61)，+68%。

部署 · MIG on HyperPod EKS

MIG 4 切片是生产推荐路径：延迟仅升到 36s，吞吐 ▲2.43×。HyperPod 已原生支持 MIG（Managed 预装 GPU Operator+MIG Manager，或 Helm 自装）。

落地 · 数字人工厂 + 内容 Pipeline

🚗 Eva 汽车销售（中文）· 🌾 Kleiv 旅游博主（德语）· LTX-i2v 唇形同步

工厂模式：create-digital-human 元技能运行时生成 persona SKILL.md（name+personality 两字段），ComfyUI skills 上传新工作流自动识别 T2I/edit/T2V/I2V。仓库 qingyuan18/microclaw。

落地 · ComfyUI on SageMaker

仓库 qingyuan18/Comfyui-on_Sagemaker：把 ComfyUI 从本地工具变成云上可编排的生产 API。