Midjourney+Stable Diffusion组合工作流：AI绘画工具的互补实战

我入行做AIGC相关的创作也有段时间了最近听到最多的问题反而不是“这个工具怎么用”而是“这么多AI绘画工具我到底该主攻哪一个”。答案可能和你想的不一样不是二选一而是把两类主流工具结合起来用一套组合工作流来干活。今天这篇就是这个思路的完整版标题里提到的Midjourney和Stable Diffusion一个是网页端出图神器一个是本地显卡上的开源生态它们各有优势但真正顺手的用法是把它们当成流水线上的两道工序来配合。全文没有炫技只有我自己反复跑过之后整理出来的步骤、参数和避坑点从零基础到能自己出全套图照着做就行。很多新手最容易踩的第一个坑是我那段“把工具当对手”的时期。今天换工具明天删模型后天觉得某个软件太难就放弃。实际上任何单款工具都做不了全流程的好活。商业在线工具审美在线但可控性差本地开源引擎自由度极高但很容易跑出一堆歪瓜裂枣。这两者一旦串联起来就等于既有了快速试错的能力又有了精修交付的底气。下面我把这套组合玩法的底层逻辑、准备清单、完整实操和踩坑记录全部摊开讲。1. 组合创作的核心思路为什么主流工具要搭配着用1.1 网页端工具的强项恰恰是本地工具的短板先聊聊“在线出图”这一类。它最吸引人的地方就是零门槛打开网页、输入描述、按生成几十秒后出来四张风格统一的图。对于大多数创意方向验证来说这是效率极高的阶段。你想做一张“赛博朋克风格的街角面馆”在网页端输入这句话马上能拿到一套氛围参考不需要折腾显卡驱动、不涉及模型匹配、也不会遭遇内存溢出。这类工具最擅长的是风格探索和情绪板生成它的模型训练数据量庞大审美参数调得比一般玩家细腻出图平均质量相当高。但它有一个绕不开的瓶颈不可控。同一个描述词多生成几次虽然风格稳定但构图、细节、元素摆放都有随机性。你想让画面里的主体往左移一点想把手部姿势改一下想把背景里某个多余的招牌去掉网页端能做的只有重新抽卡或者依赖局部重绘这种有限功能。一旦作品进入精修阶段比如需要统一的角色外观、需要连续构图它就开始力不从心。说白了它是很好的“创意前锋”但不是一个合格的“后期工程队”。1.2 本地开源引擎的自由度决定它的精修上限再来看“本地部署”这一脉。它最大的特点是自由模型随便换、参数自己调、插件随便加可以精确控制画面的每一个区域。刚才说的“把背景里的招牌去掉”放到本地流程里这就是一次精准的局部涂抹重绘前后几乎无损你想让双手姿势调得自然可以临时加载一个手部修复专用模型来处理而不必整张推翻重来。但伴随自由而来的是极高的上手成本。很多新手第一次打开这类工具面对几十个大模型选择器和密密麻麻的参数栏第一反应就是懵。采样器、步数、CFG、种子、LORA、ControlNet光术语表就能劝退一批人。而且它对硬件有一定要求显存不够的时候生成一张1080p级别的图都能卡到怀疑人生。所以在组合工作流里我通常不把本地引擎当成第一出图入口而是作为精修和落地工具专门处理网页端已经定好方向的那批图。1.3 组合链路怎么串起来我实际跑通的流程是四步链概念定调 → 批量试探 → 精修落地 → 后处理输出。第一步先在网页端用少量提示词试出三到五套风格方向把有大感觉的那张锁定。第二步在本地端用锁定图做二次构图、局部重绘、面部修正和清晰度提升。第三步把修好的图导入常规图像处理软件统一调色加字排版。第四步按交付规范批量导出不同尺寸。这套链路的价值在于每一步都只用最擅长做这件事的工具不浪费时间在短板环节上。我比较过纯用网页端连续生成二十个版本和这套组合链路只精修两条路线最终质量和时间成本完全不在一个数量级上。下面是两类工具在几个关键维度上的直观对比对比维度网页端出图工具本地开源引擎学习成本低打开就会用高需要理解模型和参数可控性中等靠描述词控制高局部修、姿态、构图都能管局部重绘能力有限重绘范围粗强大蒙版涂抹精细批量产出速度快适合大量试错中等受显卡性能限制硬件依赖基本无吃显卡显存风格质量下限高不容易太丑低模型和参数不当很容易崩经过这段时间的实践我越来越觉得这两类工具不是竞争关系而是典型的互补关系。抓住这个认知后面所有实操才有价值。2. 启动前的准备工作账号、硬件、提示词三件套2.1 硬件与软件准备清单网页端没什么好准备的注册账号、能联网就行。关键在本地环境。我建议按自己的实际情况分两档准备。第一档是入门配置显卡显存在8G到12G之间比如常见的甜品级卡。这个配置跑离线模型的最小版本生成1024乘1024图片没有问题但要注意不要同时开太多模型。第二档是主流配置显存在16G以上可以流畅跑大模型、同时加载多个控制模型出图速度和生产效率明显提升。如果你暂时没有独立显卡也不要直接放弃现在有很多平台提供云端部署方案按时租用也算方便适合不想在硬件上一次性投入的新朋友。软件方面我不推荐手动从零搭建运行环境这对新手确实不友好。直接用整合包反而更快只要确认整合包自带两个关键能力第一是支持文生图和图生图第二是支持插件生态比如常见的局部重绘、姿势控制、参考图约束这类组件。检查是否支持插件的方法也很简单安装好后看界面上有没有对应的功能标签页没有的话先在启动参数里加上允许外部扩展的配置项。2.2 提示词的基础结构很多人觉得写提示词是玄学其实拆开看就一句话描述清楚你要的主体、环境、氛围和画质。我习惯用五个板块来组织分别是主体、场景、镜头构图、光影材质、风格后缀。举个例子你想做一张“海边日落餐馆”的图可以先写一对情侣坐在海边露台餐桌旁远处夕阳暖色灯光海面反光35mm镜头浅景深电影感高细节。如果你只是堆一堆漂亮的形容词比如“极美”“奇幻”“大片”模型接收到的有效信息反而很少。每次生成时建议把场景和风格写具体比如傍晚的蓝调时刻、元素材质的灯光反射这些词对结果的影响远比“高级感”三个字来得更明确。2.3 负面提示词和风格补充词本地引擎里负面提示词是保证出图下限的重要工具。刚开始跑图的人最常遇到的问题就是出一堆糊图、畸形图、多余的手指、乱飞的物件。写好负面提示词就能很大程度上规避掉这些情况。我有一套比较通用的负面词底稿低分辨率、模糊、扭曲、多余的手指、异常比例、多余的肢体、水印、文字、低质量、噪点、变形、鬼影。每次开新图默认带上这套词再根据场景追加一些特殊的比如人物图就加“脸部变形”“大小眼”场景图就加“透视错误”“建筑扭曲”。别小看这个动作它能帮你省下大量重新抽卡的时间。3. 从概念到出图的完整操作步骤照着做就能跑通3.1 第一步在网页端出方向图操作前先明确要做什么。假设我的目标是做一张“雨天街角的红伞老人”插画。先在网页端输入描述词older man holding a red umbrella, standing at a rainy street corner, reflections on wet asphalt, moody atmosphere, cinematic lighting, detailed illustration。为了保证方向不跑偏同一描述我会让工具多出几批图比如连续生成十到二十张重点关注构图、色彩风格和画面情绪。这时候不是挑最好看的一张而是挑构图结构最合理、氛围最接近预期、方便后续精修的那张。有时候看起来特别惊艳但主体只占了画面十分之一这种图反而不好修。我通常会从二十张里挑出三张候选分别代表三种不同构图方向再统一放到本地端去比较。网页端出来的图通常分辨率不高。没关系这一步只求方向不求精修。你可以把满意的三张图打包下载文件名前面加上对应的提示词编号方便后面追溯。3.2 第二步在本地端做局部重绘和结构修正拿到参考图后切换到本地引擎。先打开图生图功能把参考图拖进去这一步通常会把整体画面重绘一遍但我用得更多的其实是局部重绘模块。重点是先把图上结构不合理的地方圈出来修掉。比如雨伞倾斜角度不对我就在伞的位置涂抹蒙版然后重新输入描述red umbrella tilted to the right重绘幅度控制在0.4到0.5之间这样只改伞的结构雨滴和背景基本不动。如果说重绘是外科手术那图生图就是整体换血。比如我觉得原图整体色调太冷想改成黄昏雨景就可以把描述改成暖黄色路灯下的雨夜同时把重绘幅度调高到0.55到0.65让模型在保留原构图的前提下重新着色。这里有个关键参数叫“重绘幅度”数值越高越偏离原图数值越低越接近原图。一般修局部用0.3到0.5改风格用0.5到0.7超过0.7基本就可以当成新图看了。3.3 第三步细节补全和画质放大结构修完接下来就是细节处理。先说脸。如果画面里有人物脸是重灾区眼睛一大一小、五官位置偏移都常见。办法是打开面部修复功能专门的修复模型会对脸部区域自动优化一次不过就再修一次。手部是另一个重灾区。我见过不少本地模型生成的手手指数量完全随机。修手部最有效的方式还是局部重绘把手的区域涂抹掉在提示词里明确写清楚手的姿势比如hand holding umbrella handle, natural fingers同时把重绘幅度降到0.35附近多跑几张挑姿势正常的。最后是放大。把一张1024左右的图放大到2048甚至更高直接拉伸肯定糊。正确做法是用放大模型配合重绘实现高清化把放大倍数设为2倍放大算法的选择上图画插画类优先用重视细节的算法写实照片类用另一类保纹理的算法。放大之后可以再开低强度重绘让细节过度更自然。3.4 第四步同组图风格统一与批量交付一组作品里往往要保证风格稳定比如系列插画里的角色是同一个色调是同一种。要做到这点我会在本地端固定三个东西。第一统一使用同一个基础模型这个很关键模型不同等于画手不同。第二固定种子编号和提示词里的核心描述只改每张图的具体元素名称。第三用好参考图控制功能把一张已经满意的成图作为风格锚点之后每张新图都会向它对齐构图和大色调。可靠程度很高至少能保证一组十张图看着像同一个创作者画的。批量出一组图后我会先输出小尺寸预览图整体过一遍色调和构图把问题和对应文件名记录在案再统一精修。到这一步无论是个人发作品集还是交给客户看方向都已经是能交付的层级了。4. 实战翻车问题清单与省时经验4.1 两个最容易翻车的环节第一翻车点是手。写实类模型容易崩手插画风模型也时好时坏。我的习惯是不把手的修整寄托在整图重绘上而是固定的局部重绘处理多画一个独立的“手部参考图”贴在旁边让模型照着那个方向修。意思很直白模型修手没有脑子你给它一个样例它的成功率会高很多。第二翻车点是过度锐化。很多人在最后放大那一步用力过猛锐化拉得特别高结果边缘出现白边皮肤变成塑料感。放大算法不是万能的建议放大两倍封顶如果还要更大的尺寸可以分两次放大每次配一次轻微重绘效果比一次放大四倍要干净很多。4.2 本地跑图常见问题速查问题现象大概率原因解决思路生成一张图就报显存不足显存见底或参数过高降低分辨率关掉多余模型增加启动参数出图速度特别慢显卡性能有限或模型太大换小规格模型或使用云端方案人脸明显崩坏基础模型不适配人物换人物向微调模型或开启面部修复提示词写得很详细但结果差描述词堆砌导致歧义精简到核心描述把修饰词拆分重写局部重绘边缘生硬蒙版羽化不够羽化值调到30到40适当增加过渡区域同一提示词多次结果差异大种子未固定固定种子编号关闭随机生成4.3 省时工作流背后的三个小经验第一文件夹命名规约。我在本地出图的文件夹命名格式统一是“日期_项目名_版本号”。比如0427_红伞老人_v3。这样回看图时找得到参考关系而不是面对一片随机数字的混乱现场。第二善用提示词模板。把常用的五段式结构存成模板只改主体和场景部分。这样既不会漏掉光线、构图这些容易忘的细节也保证了整组图的用词习惯一致。第三参数记录胜于记忆。每次跑出特别满意的图我会顺便把完整的参数组合截图保存包括模型名、种子、CFG、采样器和重绘幅度。隔了半个月再想复现一张废掉的图没有记录几乎不可能靠记忆找回来。5. 最近项目里偷师到的新扩展5.1 从单张图到成体系工作流实际操作中我还发现这套组合玩法能继续往外延伸。不再只停留在出单张图而是把整套流程沉淀成自己的可复用工作流。比如同一批参数记录打包成一个预设组下次想生成风格类似的新主题直接改描述词反复套用新手上手速度会快到不可思议。扩展的方向还有商用成图。以前我总觉得AI出的图只能做壁纸玩后来发现搭配上排版和整合设计完全可以做海报底图、详情页配图、自媒体封面。网页端出氛围图本地端精修出可编辑素材这个逻辑套到商品宣传、短视频封面、系列插画上都能跑得通。5.2 网络素材使用的红线多说一句素材规范。如今生成一张好看的图越来越容易但真正拉开差距的是原创性和合规性。使用参考图时尽量选在合规平台授权范围内获取的素材别直接拿他人作品跑局部重绘。涉及特定风格或角色的图商用前要仔细确认平台规则和版权条款这是自己保护自己不是小题大做。5.3 我的心态转变这套流程我跑了一个多月最深刻的感受是工具多寡不重要能不能把工具当成一条可以连续协作的流水线才重要。以前我喜欢只用一个工具硬磕到底后来发现时间成本高得离谱。现在遇到新需求我第一反应不是“打开某个软件开干”而是先想清楚这个需求拆分出来是哪些环节每一环适合丢给哪种能力去处理。你在实操过程中不用一上来就追求完美流程可以先从网页端确定一张构图再丢进本地端重绘一个局部跑通这两个动作整条链路就已经建立起来了。后续所有细节优化都是在这个骨架上添砖加瓦。