Z-Image Turbo ControlNet Union 2.1 多控点组合工作流完全指南

摘要：Z-Image Turbo ControlNet Union 2.1 是阿里巴巴 PAI 团队开源的统一控制网络模型，支持深度、边缘、法线、语义分割、灰度等多种控制条件。本文从基础概念到高级组合工作流，手把手教你掌握 Z-Image 的多控点组合生成技巧。

引言

ControlNet 是 AI 图像生成领域中实现精准空间控制的核心技术。2026 年初，阿里巴巴 PAI 团队正式开源了 Z-Image-Turbo-Fun-ControlNet-Union 2.1，这是一个为 Z-Image Turbo 专门训练的统一 ControlNet 模型。

与传统需要为每种控制条件单独下载不同 ControlNet 模型不同，ControlNet Union 将所有控制条件整合到一个模型文件中，大幅简化了工作流并提高了灵活性。

一、什么是 ControlNet Union？

1.1 基本概念

ControlNet Union 是一个统一的 ControlNet 模型，支持以下控制条件：

控制类型	说明	适用场景
Depth（深度）	基于深度图控制空间结构	建筑、场景构图
Canny（边缘）	基于 Canny 边缘检测控制轮廓	线稿转彩色、草图细化
Normal（法线）	基于法线图控制表面朝向	3D 渲染、材质替换
Seg（语义分割）	基于语义分割控制区域	场景编辑、物体替换
Gray（灰度）	基于灰度图控制明暗	B&W 转彩色、色调控制
Pose（姿态）	基于人体姿态控制人物	人像生成、动作控制
Tile（分块）	基于分块图控制局部	图片扩展、细节增强

1.2 技术背景

模型大小：单文件 ~2GB（比多个独立 ControlNet 更小）
训练数据：100 万张高质量图像
训练步数：10,000 步
架构：在 Z-Image Turbo 的 6 个 DiT 块上添加 ControlNet
下载：HuggingFace - alibaba-pai/Z-Image-Turbo-Fun-Controlnet-Union

二、ComfyUI 环境配置

2.1 安装 ComfyUI 及扩展

# 安装 ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt

# 安装 ComfyUI Manager
cd custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

2.2 下载模型文件

Z-Image Turbo 主模型（放置到 models/unet/）：

z-image-turbo-fp8-e4m3fn.safetensors

ControlNet Union 2.1（放置到 models/controlnet/）：

Z-Image-Turbo-Fun-Controlnet-Union.safetensors

CLIP 文本编码器（放置到 models/clip/）：

qwen3-4b-fp8-scaled.safetensors

2.3 最低硬件要求

配置	VRAM	说明
入门	8GB	FP8 量化 + 基础分辨率
推荐	12GB	FP8 + 高分辨率 + 多 ControlNet
理想	16GB+	BF16 精度 + 高分辨率

三、基础工作流

3.1 单控制条件工作流

最基础的 ControlNet 工作流包含以下节点：

Load Checkpoint (Z-Image-Turbo)
  → ControlNet Loader (Union 2.1)
  → ControlNet Preprocessor (选择控制类型)
  → Apply ControlNet
  → KSampler (8 steps)
  → Save Image

Canny 边缘检测示例：

控制类型选择：canny
ControlNet 强度：0.8-1.0
适用于：线稿上色、草图细化

3.2 深度图控制工作流

深度控制是最常用的场景之一：

输入：深度图（可以从 RGB 图自动生成）
控制类型：depth
应用：保持空间结构的同时改变风格

# ComfyUI 工作流关键参数
{
    "control_net_name": "Z-Image-Turbo-Fun-Controlnet-Union.safetensors",
    "control_net_type": "depth",
    "strength": 0.9,
    "start_percent": 0.0,
    "end_percent": 1.0,
    "num_inference_steps": 8,
    "guidance_scale": 7.5
}

四、多控点组合工作流（核心亮点）

ControlNet Union 2.1 最大的优势在于同时使用多种控制条件。这是本文的核心内容。

4.1 深度 + 边缘组合

应用场景：精确控制空间结构的同时保持轮廓细节。

ControlNet 1: Depth (强度 0.8)
ControlNet 2: Canny (强度 0.6)
  ↓ 组合应用
KSampler (8 steps)
  ↓
输出：结构精准 + 细节丰富的图像

使用技巧：

Depth 控制空间结构（放在前面，强度更高）
Canny 控制边缘细节（放在后面，强度较低）
两个 ControlNet 的强度之和保持在 1.2-1.4 之间

4.2 语义分割 + 深度组合

应用场景：场景编辑、物体替换、风格迁移。

ControlNet 1: Seg (语义分割，强度 0.7)
  → 控制哪些区域是什么内容
ControlNet 2: Depth (深度，强度 0.7)
  → 控制空间结构
  ↓ 组合应用
Prompt: "在草地上添加一只奔跑的猎犬"
  ↓
输出：语义正确的场景编辑结果

4.3 姿态 + 边缘组合

应用场景：人物生成、服装更换、动作控制。

ControlNet 1: Pose (姿态，强度 0.9)
  → 控制人物姿势
ControlNet 2: Canny (边缘，强度 0.5)
  → 控制服装/外观轮廓
  ↓ 组合应用
Prompt: "穿红色西装的商务人士，站在办公室"
  ↓
输出：姿势准确 + 服装符合描述的人物

五、高级技巧

5.1 多分辨率策略

# 两阶段高分辨率策略
第一阶段：512×512 + ControlNet（结构控制）
  → 使用 Hires.Fix / Latent Upscale
第二阶段：1024×1024（无 ControlNet，细节增强）
  → 使用 Z-Image Turbo 原生 8 步推理

5.2 灰度转彩色工作流

ControlNet Union 的 Gray 模式在黑白照片上色方面表现优异：

输入黑白照片
控制类型选择 gray
Prompt 描述目标色彩风格
输出彩色图像

技巧：

灰度模式强度设为 0.7-0.8
配合 depth 控制可保持结构不变
适合老照片修复、素描上色

5.3 ControlNet 强度调节技巧

场景	推荐强度	说明
结构控制（Depth）	0.8-1.0	高强度保持空间结构
边缘控制（Canny）	0.5-0.8	中强度保留细节灵活性
语义控制（Seg）	0.6-0.9	根据编辑幅度调整
姿态控制（Pose）	0.8-1.0	高强度确保姿势准确
灰度控制（Gray）	0.6-0.8	平衡明暗和色彩
多控制组合	各 0.4-0.7	总和不超过 1.5

六、常见应用场景

6.1 建筑设计

ControlNet 组合：Depth + Normal
Prompt: "现代玻璃幕墙建筑，日落光线，反射天空"
效果：保持建筑结构不变，改变材质和光照

6.2 电商产品图

ControlNet 组合：Canny + Tile
Prompt: "专业产品摄影，大理石台面，柔和工作室灯光，白色背景"
效果：基于产品草图生成专业产品图

6.3 角色设计

ControlNet 组合：Pose + Canny + Seg
Prompt: "穿赛博朋克风格服装的角色，霓虹灯城市背景"
效果：精确控制角色姿势、服装轮廓和场景元素

6.4 图片扩展（Uncrop）

ControlNet 组合：Tile + Depth
Prompt: "扩展画面，展示更广阔的城市天际线"
效果：智能扩展图片边界，保持风格一致

七、故障排查

7.1 VRAM 不足

# 解决方案 1：使用 FP8 量化模型
# 解决方案 2：降低分辨率
# 解决方案 3：启用 --lowvram 模式
python main.py --lowvram

7.2 控制效果不明显

检查 ControlNet 强度是否过低
确认控制类型选择正确
验证预处理图（深度图、边缘图等）质量
尝试增加 start_percent（从 0.0 改为 0.1-0.2）

7.3 控制过度导致画面僵硬

降低 ControlNet 强度
设置 end_percent < 1.0（让模型在最后几步自由发挥）
减少同时使用的 ControlNet 数量

八、完整工作流 JSON 模板

以下是 ComfyUI 可用的多控点组合工作流模板的关键节点配置：

{
  "controlnet_depth": {
    "model": "Z-Image-Turbo-Fun-Controlnet-Union.safetensors",
    "type": "depth",
    "strength": 0.8,
    "start_percent": 0.0,
    "end_percent": 0.9
  },
  "controlnet_canny": {
    "model": "Z-Image-Turbo-Fun-Controlnet-Union.safetensors",
    "type": "canny",
    "strength": 0.6,
    "start_percent": 0.0,
    "end_percent": 0.8
  },
  "sampler": {
    "steps": 8,
    "cfg": 7.5,
    "scheduler": "euler",
    "model": "z-image-turbo-fp8-e4m3fn.safetensors"
  }
}

九、总结

Z-Image Turbo ControlNet Union 2.1 是 Z-Image 生态中最强大的控制工具之一。其统一架构、多控点组合能力和开源特性，使其成为专业图像生成工作流的首选。

关键要点：

统一模型：一个模型支持所有控制类型
多控点组合：同时使用多个 ControlNet 实现精准控制
强度调节：合理分配各 ControlNet 的强度
场景适配：不同场景选择不同的控制组合
FP8 部署：低 VRAM 环境下也能运行

掌握 ControlNet Union 2.1，你就掌握了 Z-Image Turbo 的核心竞争力。

相关文章：

ZI-072：Z-Image ComfyUI Power Nodes 进阶工作流
ZI-058：Z-Image ControlNet Union 2.1 多控点组合实战
ZI-080：Z-Image 批量生成与性能调优实战

Z-Image Turbo ControlNet Union 2.1 多控点组合工作流完全指南

Table of Contents

Z-Image Turbo ControlNet Union 2.1 多控点组合工作流完全指南

引言

一、什么是 ControlNet Union？

1.1 基本概念

1.2 技术背景

二、ComfyUI 环境配置

2.1 安装 ComfyUI 及扩展

2.2 下载模型文件

2.3 最低硬件要求

三、基础工作流

3.1 单控制条件工作流

3.2 深度图控制工作流

四、多控点组合工作流（核心亮点）

4.1 深度 + 边缘组合

4.2 语义分割 + 深度组合

4.3 姿态 + 边缘组合

五、高级技巧

5.1 多分辨率策略

5.2 灰度转彩色工作流

5.3 ControlNet 强度调节技巧

六、常见应用场景

6.1 建筑设计

6.2 电商产品图

6.3 角色设计

6.4 图片扩展（Uncrop）

七、故障排查

7.1 VRAM 不足

7.2 控制效果不明显

7.3 控制过度导致画面僵硬

八、完整工作流 JSON 模板

九、总结