干货长文：一文读懂13个VLM的核心技术脉络

写在前面

欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～

Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章：深入浅出完整解析AI Agent（AI智能体）的核心基础知识

AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群（涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0

大家好，我是Rocky。

核心导读：理解 VLM，先看监督目标与输出空间

同样输入一张图片和一句话，不同视觉语言模型可能返回完全不同的东西：一个相似度、一段解释、若干坐标，或者一张像素掩码。这些输出并非产品界面上的小差异，它们决定了模型需要保留什么信息、训练时接受什么监督，以及最后能进入哪一种业务流程。

CLIP、BLIP、Flamingo、BLIP-2、LLaVA、InternVL、Qwen-VL、Qwen2.5-VL、Qwen3-VL、Qwen3-VL-Seg、LocateAnything、Grounding DINO 和 SAM 3，共同构成了一条重要的技术演进脉络。但如果仅把它们按时间排成名单，或严格分成“生成式”和“判别式”两列，就容易混淆基础表征、语言生成与空间预测之间的关系。

Rocky认为，VLM 的核心进展，是让语言语义越来越直接地约束视觉证据，同时让视觉证据以更精细的形式进入推理与执行。学习这些模型，应当反复追问三个问题：训练目标在奖励什么，视觉与语言在哪里交互，输出是否达到任务所需要的空间精度。

这里讨论初代论文或明确命名的模型版本。一个系列后续加入的新组件，不能倒推成初代模型的设计；参数规模、推理配置和评测条件不同，也不能直接用分数排列“技术先进性”。

一、用三条轴重新理解这 13 个模型

第一条轴是训练目标。图文对比学习奖励匹配样本在表示空间中接近；语言生成训练奖励正确答案 token 的概率；检测和分割训练则直接约束对象位置、类别或区域范围。一个模型可以同时接受多种目标，因此这些类别并不互斥。

第二条轴是交互位置。图像和文本可以分别编码后只比较最终向量，也可以通过查询压缩、跨层交叉注意力、前缀 token 或多层特征注入进行融合。交互方式决定了模型如何利用细节，也决定了计算成本与信息瓶颈。

第三条轴是输出表示。自然语言适合表达开放语义；坐标适合定位；像素掩码适合边界选择；视频轨迹还需要跨帧关联。它们之间可以连接，但不能简单等同。

图 1：本文建立的架构坐标系。CLIP 是对比学习双编码器；BLIP 同时包含理解与生成目标；Qwen3-VL-Seg 和 LocateAnything 则说明，语言模型路线也可以专门优化空间输出。

二、CLIP 与 BLIP：先建立对齐，再处理数据质量

1. CLIP：相似度接口打开了开放词表迁移

CLIP 将图像与文本分别送入编码器，再投影到共同空间。训练时，一个 batch 的图像与文本形成两两相似度矩阵，真实配对是正例，其他配对构成对比候选。优化同时包含图到文和文到图两个方向。

令归一化图像向量为v i v_ivi​，文本向量为t j t_jtj​，温度为τ \tauτ，图到文方向可以写成：

L I → T = − 1 N ∑ i = 1 N log ⁡ exp ⁡ ( v i ⊤ t i / τ ) ∑ j = 1 N exp ⁡ ( v i ⊤ t j / τ ) . \mathcal L_{I\to T}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(v_i^\top t_i/\tau)}{\sum_{j=1}^{N}\exp(v_i^\top t_j/\tau)}.LI→T​=−N1​i=1∑N​log∑j=1N​exp(vi⊤​tj​/τ)exp(vi⊤​ti​/τ)​.

对称项将图文角色交换。推理时，可以把候选类别写成文本提示，比较图像向量与这些文本向量的相似度；也可以建立向量索引进行图文检索。候选集合在一次推理中是有限的，但它不必固定为训练时的标签集合，这正是开放词表迁移的意义。

CLIP 本身不自回归生成答案，所以不能直接归为生成式 VLM。官方实现的文本上下文长度为 77，包含特殊 token；不宜把这个值写成不带说明的 76。其互联网图文监督降低了对固定类别人工标签的依赖，却不意味着训练过程完全没有人类贡献的数据或人工整理。

全局向量相似度也不是逐区域证据约束。模型能够判断一张图与“桌上有红杯子”较匹配，未必能可靠输出杯子的边界、准确计数或区分复杂关系。因此，CLIP 是很有价值的表征基础，却不能用检索能力代替精细空间理解。

2. BLIP：数据生成与过滤进入训练闭环

BLIP 的 MED 架构在单模态编码、图像条件文本编码和图像条件文本解码之间切换，联合使用图文对比、图文匹配与语言建模目标。对比目标建立整体对齐，匹配目标进一步判断图文是否对应，生成目标学习根据视觉信息写出文本。

CapFilt 则针对互联网文本与图片不完全匹配的问题：captioner 生成候选描述，filter 检查原有文本与合成文本，留下更有用的图文对，再用改善后的数据训练模型。生成与过滤模块承担不同职责，有助于控制噪声和描述覆盖。

这一思路对今天仍然有启发：训练数据的质量取决于监督是否覆盖真实视觉内容，而不仅是文本是否通顺。合成描述可以补充信息，也可能引入对象、数量或属性幻觉。过滤器必须在独立样本上评估，不能把自动筛选后的数据直接称为无噪声真值。

三、Flamingo、BLIP-2 与 LLaVA：桥接设计和数据范式相互影响

图 2：代表性跨模态交互方式。查询压缩、跨层注入和输入投影解决不同问题，连接器的复杂程度不能单独决定最终性能。

3. Flamingo：让冻结模型学会读交错图文上下文

Flamingo 使用冻结视觉编码器与冻结语言模型，中间通过 Perceiver Resampler 将可变长度视觉特征变为固定数量的视觉 token，再在语言模型层间插入可训练的门控交叉注意力模块。门控从较温和的状态开始，让新视觉路径逐步进入已有语言计算。

其关键不仅是“冻结两个大模型”，还包括训练数据的交错形式。网页中的图像与文本具有连续上下文关系，模型通过这类序列学习在推理时利用给定示例。一个用户可以在提示中先给出若干图像与答案，再提供新图像，完成不更新权重的少样本适配。

固定视觉 token 数量降低了跨模态交互开销，也形成压缩瓶颈。交错示例越多，输入和注意力开销仍会上升。视觉冻结又限制了针对新任务重塑底层特征的空间。因此，Flamingo 证明了强模块复用与交错训练的可行性，不能概括成“冻结模型就不丢细节、成本恒定”。

4. BLIP-2：Q-Former 先学提取，再学交给语言模型

BLIP-2 同样复用冻结视觉编码器和冻结大语言模型，但将主要桥接工作交给 Q-Former。可学习查询通过交叉注意力读取图像特征，再输出紧凑的视觉表示。

两阶段预训练对应两种适配：第一阶段让查询表征在图文对比、匹配与图像条件生成中学习提取有语言意义的信息；第二阶段把这些查询投影为语言模型可以消费的视觉前缀，训练视觉到语言的生成路径。

查询压缩是一种任务相关的信息选择机制。它避免让全部图像 patch 都进入语言模型，却也可能在密集 OCR、多个小目标或高空间精度任务中成为瓶颈。不能仅依据桥接参数少，就推导完整推理服务一定比另一种架构更快；视觉编码、语言解码、输入长度和 batch 配置都需要共同计量。

5. LLaVA：视觉指令数据决定模型怎样使用图像

初代 LLaVA 将 CLIP ViT 的视觉网格特征经过线性投影，接入 Vicuna。第一阶段冻结视觉与语言模型，训练投影以完成特征对齐；第二阶段保持视觉编码器冻结，更新连接层与语言模型，学习视觉指令响应。

它利用图像描述和目标框等符号信息，让纯文本 GPT-4 合成对话、细节描述与复杂推理指令。这里并不是 GPT-4 在该数据构建流程中直接看图，而是依据已有图像标注生成训练问题与回答。标注能覆盖什么，便会影响合成指令能够可靠表达什么。

LLaVA 的意义在于展示了视觉指令微调的价值：已有视觉表示与语言能力结合后，还需要教会模型如何响应用户的视觉意图。简单连接器为数据迭代提供了清晰的实验基础。不过，“线性层足够取得有效结果”不意味着线性连接在所有任务中都最优，也不意味着后续版本都沿用初代配置。

四、InternVL：视觉侧容量成为独立研究变量

6. InternVL：不要只扩展语言模型

初代 InternVL 将视觉骨干扩展为 InternViT-6B，并通过从语言模型初始化的 QLLaMA 中间件逐步对齐视觉与语言。其训练先建立大规模图文对比表征，再引入生成式对齐，最终接入语言解码器进行多模态指令学习。

这一选择把一个问题摆到台面上：当语言模型越来越强时，视觉编码器是否已经成为感知瓶颈？如果文本解码器只看到了缺少小字、局部关系或细粒度属性的特征，继续增加语言推理未必能恢复已经丢失的信息。

但视觉模型变大，也会增加图像编码的计算、显存和训练门槛。对于高频在线任务，视觉编码成本可能占据相当比例。初代 InternVL 的组件与后续 InternVL 系列的动态高分辨率、连接方式和训练策略不能混写，应根据具体版本确认。

更可迁移的结论是：多模态系统至少存在视觉表征、跨模态接口和语言计算三个容量瓶颈。评估扩展方向时，可以固定其他部分，观察增加视觉分辨率、视觉容量或语言容量分别改善了哪些错误，而不是默认大语言模型规模就是唯一决定因素。

五、Qwen-VL 三代：从细节感知到长时间跨度

7. Qwen-VL：空间信息进入适配器与训练任务

初代 Qwen-VL 使用位置感知的视觉语言适配器，通过可学习查询与交叉注意力压缩视觉特征，并保留二维位置信息。训练采用图文预训练、多任务预训练与指令微调，逐步加入 OCR、定位、视觉问答和多图交互。

与只要求生成整体描述相比，OCR 和定位监督要求模型关注更局部的视觉证据。较高输入分辨率能够保留更多细节，位置编码与框输出则为“语言提到的对象究竟在哪里”提供了学习路径。

这仍然受到缩放和查询压缩的限制。一张报表如果被缩小到无法辨认小数点，文本模型可能给出合理但错误的数值。工程中应区分视觉采样不足与推理错误，必要时采用区域裁剪、重新读取或专门的文档流水线，而不是仅增加回答长度。

8. Qwen2.5-VL：动态分辨率与绝对时间各解决一类失真

Qwen2.5-VL 的视觉编码器处理动态分辨率，使用窗口注意力降低大部分视觉层的计算开销，同时保留少量全局注意力层。对于固定窗口大小，局部注意力部分随 patch 数量近似线性增长；由于仍有全局层，不能把整个模型复杂度都写成线性。

动态分辨率让模型根据输入形状与像素预算保留更合适的视觉信息，减少统一方形裁剪对文档和极端宽高比图像的破坏。但“原生动态分辨率”不等于无限制处理原始像素，推理时仍需明确 min/max pixels、视觉 token 数和显存预算。

视频的另一个问题是时间。相同的帧序号，在不同采样率下对应不同物理时间。Qwen2.5-VL 将 MRoPE 时间分量与绝对时间对齐，并用动态 FPS 训练，使模型更好地区分事件顺序、时长和发生位置。它改善了时间表示，仍不能弥补没有采到的瞬间事件。

因此，视频评测应同时记录采样帧率、总帧数、输入 token 数、是否提供字幕和定位误差。只说“支持一小时视频”，不足以说明模型是否能找出某个只出现几帧的小动作。

9. Qwen3-VL：多层视觉融合与更明确的时间接口

Qwen3-VL 进一步引入 DeepStack，将视觉编码器多个层级的特征注入语言模型的较早层，以利用不同抽象层次的视觉信息；交错 MRoPE 更均衡地分配时间与空间维度的频率；视频输入还通过显式文本时间戳建立更直接的事件时间关联。

这些变化各自对应一个信息问题：只取最后一层可能损失局部细节，位置维度分配影响长序列建模，而帧序号与真实时间之间需要稳定联系。它们并不自动保证模型在所有分辨率、全部长度和每个空间任务上都可靠。

官方将 256K 列为原生上下文，并给出使用 YaRN 向 1M 扩展的配置。因此，原生 256K、外推到 1M，以及能否在长视频里稳定检索特定事件，是三个不同问题。不能用“超长视频依赖外推”否认原生 256K，也不能用配置文件允许的长度证明所有长上下文任务已经通过验证。

同样，Thinking 与非 Thinking 版本、稠密与 MoE 版本、不同规模和量化方式应独立评估。没有任务、版本和运行条件支撑的“量化后格式全部崩溃”“中文文档落后一倍”等结论，不适合当成系列模型的统一能力描述。

六、Grounding DINO 与 SAM 3：让语言直接选择空间对象

图 3：同一目标可以用语言、框或掩码表达。视觉任务需要什么输出，就应采用相应监督和验收指标；从位置预测到执行动作，还需要额外的坐标映射与状态验证。

10. Grounding DINO：文本条件进入检测的多个环节

Grounding DINO 将 DINO 检测器与语言监督结合，在特征增强、语言引导查询选择和跨模态解码等阶段融入文本信息。给定类别或短语，模型在图像中产生相应目标框，而不是仅从固定训练类别中分类。

这里的语言作用主要是指定检测对象。它不需要先写一段长答案再解析坐标，因此天然契合批量框预测。官方报告的 COCO 零样本 52.5 AP 对应其特定模型与评测设置，不能直接与任意 VLM 的 RefCOCO 准确率比较，两个指标衡量的任务并不相同。

开放词汇也不意味着无限语义可靠。复杂关系表达、罕见对象、遮挡和同类密集目标，仍可能导致漏检或选错对象。将 Grounding DINO 接到分割模型后，要分别检查检测框是否选对对象、分割头是否恢复正确边界，避免只看最终可视化。

11. SAM 3：概念级分割与视频实例传播

SAM 3 把文本概念、视觉示例和几何提示纳入可提示分割，能够检测、分割并跟踪指定概念的实例。它包含共享视觉编码器的检测器与跟踪器；检测器以文本、几何和图像示例为条件，跟踪器延续 SAM 2 风格的编码解码与视频传播能力。

相较于围绕一个给定点或框恢复掩码，概念提示需要模型先识别有哪些实例属于目标，再为这些实例恢复像素区域。presence token 用于改善概念是否出现及相关判别，检测与跟踪解耦则有助于减少任务干扰。

分析时应区分单图和视频路径。静态图像概念分割并不需要完整的跨帧记忆链路，不能把视频 memory bank 的全部流程机械套入每一次图像推理。反过来，单帧掩码质量高，也不能保证视频中长期遮挡、目标再出现或身份保持都正确。

SAM 3 提供的是强空间预测接口。遇到“找出能用来完成某种复杂目的的物体”这类依赖长链语义的指令时，仍应检验概念分割与专门指令式 VLM 的差异，而不能因为两者都支持文本输入就认定功能等价。

七、Qwen3-VL-Seg 与 LocateAnything：语言模型开始适应空间输出

12. Qwen3-VL-Seg：把框变成掩码解码的先验

Qwen3-VL-Seg 利用 MLLM 已有的框定位能力，将预测框作为结构先验，结合指令语义与视觉特征生成掩码。新增的 Box-Guided Mask Decoder 约 17M 参数，约占所用 4B 基座的 0.4%，包括多尺度特征注入、空间语义查询、框引导高分辨率融合和迭代掩码细化。

其高分辨率路径还利用浅层 CNN 细节，因此“不依赖外部 SAM”不等于“不增加任何图像处理分支”。准确的理解是：它避免耦合一个额外的大型分割基础模型，用相对轻量的组件复用 MLLM 定位与表征。

数据上，SA1B-ORS 将 SA-1B 的无语言掩码转为两类监督：类别导向的 SA1B-CoRS 约 105 万条，描述导向的 SA1B-DeRS 约 194 万条。前者可包含同类多个实例，后者强调通过属性与关系选中特定实例。它们对应不同语言表达要求，不能仅用总量概括数据价值。

训练先强化分割相关能力，再混入通用多模态数据恢复能力平衡。因为框参与掩码解码，评估应同时测试真实预测框和理想框，观察错误究竟来自对象选择还是边界恢复。小目标、无目标、相邻同类实例和域外图像，也应单独检查。

13. LocateAnything：以框为单位提高生成效率

通用语言模型若用多个文本 token 表示每个坐标，密集场景中的定位会产生很长输出。LocateAnything 将空间结果组织成结构化 block，通过 Parallel Box Decoding 并行预测一个框块的内容，联合训练 next-token prediction 与 multi-token prediction。

官方 3B 版本使用 MoonViT 视觉编码器、Qwen2.5-3B-Instruct 语言模型和 MLP 投影。训练数据规模为约 1,200 万图像、1.38 亿以上查询与 7.85 亿框，覆盖多种视觉定位任务。这些是图像、查询、框三个层级的计数，不能相加为“训练样本总数”。

推理支持 Slow、Fast 与 Hybrid：Slow 按自回归方式生成，Fast 使用并行块预测，Hybrid 在检测到格式异常或空间歧义时回退到自回归。这里的研究问题是如何在结构化输出的效率与可靠性之间切换；平均吞吐提高，并不意味着每个困难样本都获得同样加速。

官方效率口径使用单张 H100、batch size 1 的 boxes per second。评估时还需记录每图对象数、回退比例、漏检和误检；更多框并不天然代表更好的检测。当前公开权重采用 NVIDIA 的非商业研究许可，不能因为可下载就假设可以直接用于商业服务。

八、这些路线为什么会接近，又为什么不会完全合并

语言生成路线提供了强开放语义和指令理解，但细粒度边界与密集输出需要额外设计。检测分割路线擅长结构化空间预测，却需要更好的语言接口来处理复杂指代。Qwen3-VL-Seg 与 LocateAnything 正是在输出端补足语言模型路线的空间能力，Grounding DINO 与 SAM 3 则在空间模型中加强语言条件。

它们的接近，不意味着所有任务最终都应由同一张计算图处理。固定目标检测、实时工业相机、高精度图像编辑和长视频问答，对延迟、输出密度和错误类型的要求不同。一个成熟产品可能使用通用 VLM 理解请求，再通过专门空间模块完成定位或分割；也可能在单个模型中联合学习这些能力。

更关键的是监督是否真正作用于共享表征。如果分割头只调用完全独立的外部编码器，掩码质量提升未必会改善语言模型的细粒度感知；如果像素监督直接进入共享视觉特征，则有可能改变问答与推理所使用的证据。两种设计都可以成立，但需要相应消融实验区分收益来源。

九、如何为真实任务选择 VLM

先定义输出，再选择候选模型。图文检索主要关心向量空间与召回；文档问答需要小字读取、版面和结构；GUI 操作需要精确坐标以及动作后状态；交互式图像编辑需要可靠目标选择与像素边界；视频任务还要考虑采样、时间定位与实例一致性。

评测时至少固定输入像素预算、提示格式、模型版本、精度、推理长度和硬件。对定位模型，还要固定坐标协议：归一化到 0—1000、原图像素坐标、缩放后像素坐标，是不同表示。坐标解释错误会把一个正常预测变成严重偏移，不能将接口错误误判为模型能力不足。

指标也要与任务匹配。分类与检索使用准确率、Recall@K 等；生成问答关注答案正确性与证据支持；检测关注精确率、召回率及 IoU 阈值；掩码分割需要看区域重合与边界；交互系统最终应测量闭环完成率，而不只检查第一次点击的位置。

错误分析应沿链路进行：是否看到了足够像素，是否选对目标，是否生成了正确结构，后处理是否解释正确，执行后是否达到目标。这样才能知道该提高分辨率、补充数据、改变输出头，还是修复工具接口。

十、值得持续投入的研究问题

一是视觉 token 的分配。对整页文档均匀提高分辨率，可能大量计算落在空白处；任务相关裁剪和自适应采样可以提高效率，但又可能漏掉初始阶段没有被注意到的证据。如何用可验证的策略分配视觉计算，仍有很大空间。

二是语言语义与空间粒度的协同。类别、属性、关系、功能性描述对应不同的目标选择方式。训练集中“所有杯子”和“左边那个装水的杯子”需要不同的实例监督，否则模型可能语义听懂了，输出目标集合却不正确。

三是结构化输出与通用能力的平衡。定位和分割适配可能改善空间任务，也可能影响 OCR、知识问答或推理。应同时报告专用能力增益与通用能力变化，并研究数据配比、共享层和训练阶段的影响。

Rocky认为，VLM 的跨周期能力，是把语言意图与可验证视觉证据联系起来。从 CLIP 的相似度，到 LLaVA 的视觉指令，再到框、掩码和视频轨迹，输出正在变得越来越具体。研究者需要解释监督如何塑造表征，工程师需要证明输出如何进入可靠流程；这比记住一份不断增长的模型名单更有价值。

推荐阅读

1. 深入浅出完整解析AI Agent（AI智能体）的核心基础知识

2025年可以说是AI Agent全面落地应用的元年，因此Rocky在持续撰写对AI Agent的全维度解析文章：

深入浅出完整解析AI Agent（AI智能体）的核心基础知识

2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识

Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解，同时不断跟进补充扩散模型的最新技术发展，希望能给大家带来帮助：

深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识

3. 入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识

Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解，力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值：

入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识

4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识

Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识

5. 深入浅出完整解析DeepSeek系列核心基础知识

Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析DeepSeek系列核心基础知识

6. 深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识

Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识

7. 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识

Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析：

深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识

8. 深入浅出完整解析Stable Diffusion（SD）核心基础知识

Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析：

深入浅出完整解析Stable Diffusion（SD）核心基础知识

9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识

Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析，包括其在传统深度学习中的价值和在AIGC中的价值：

深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识

10. 深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识

对于AIGC时代中的“ResNet”——LoRA模型，Rocky进行了深入浅出的全面讲解：

深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识

11. 深入浅出完整解析ControlNet核心基础知识

AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心，ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。

ControlNet正是让AI图像创作社区无比繁荣的关键一环，它让AIGC图像创作过程更加的可控，更有助于广泛地将AIGC算法解决方案应用到各行各业中：

深入浅出完整解析ControlNet核心基础知识

12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识

AI绘画和AI视频是两个互相促进、相互交融的领域，2024年无疑是AI视频领域的爆发之年，Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析：

深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识

13. 深入浅出完整解析AIGC时代Transformer核心基础知识

在AIGC时代中，Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向，成为AI技术架构大一统与多模态整合的关键核心基座，大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析：

深入浅出完整解析AIGC时代Transformer核心基础知识

14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识

AIGC创作框架正是AIGC算法工作流的运行载体，目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代，PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架，到了AIGC时代，Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”：

深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识

15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识

在AIGC时代中，如何快速转身，入局AIGC产业？如何成为AIGC/LLM/AI Agent算法/开发工程师？如何在学校中系统性学习AIGC/LLM/AI Agent知识，斩获心仪的AIGC/LLM/AI Agent算法/开发offer？

Don‘t worry，Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍，为大家答疑解惑，希望能给大家带来帮助：

手把手教你成为AIGC/LLM/AI Agent算法/开发工程师，斩获AIGC/LLM/AI Agent算法/开发offer！

16. AIGC产业的深度思考与分析

2023年3月21日，微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示，自从1980年首次看到图形用户界面（graphical user interface）以来，以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。

Rocky也认为，AIGC及其生态，会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期，未来随着AIGC的全面落地和深度商用，会深刻改变我们的工作、生活、学习以及交流方式，各行各业都将被重新定义，过程会非常有趣。

那么，在此基础上，我们该如何更好的审视AIGC的未来？我们该如何更好地拥抱AIGC引领的革新？Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点，希望能帮助各位读者对AIGC有一个全面的了解：

深入浅出全面解析AIGC时代核心价值与发展趋势（2025年版）

17. AI算法工程师的独孤九剑秘籍

为了方便大家实习、校招以及社招的面试准备，同时帮助大家提升扩展技术基本面，Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:

【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍（持续更新中）

18. 深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识

GAN系列模型作为传统深度学习时代的最热门生成式Al模型，在AIGC时代继续繁荣，作为Stable Diffusion/FLUX系列大模型的“得力助手”，广泛活跃于AlGC图像创作的产品与工作流中：

深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识