AI本地部署：从大模型参数到R1强化学习与工程避坑

简介：这份图解PDF面向大模型初学者、技术爱好者及希望本地部署应用的研发人员，围绕DeepSeek本地运行、基础原理与推理模型训练展开。资源共1个PDF文件，约2.64MB，以图文教程和操作界面截图呈现，便于边看边对照，降低初次部署门槛。内容先说明本地部署在隐私保护、离线运行和定制优化方面的价值，再给出借助工具完成模型下载、启动与对话的三个步骤，并梳理大语言模型参数、Transformer架构、预训练、监督微调与强化学习的基础脉络，对常见概念和训练方法作出通俗解释。重点图解DeepSeek-R1的完整训练过程，包括含R1-Zero的中间推理模型和通用强化学习两项创新，结合案例展示推理导向与通用能力。已有2202人学习，适合零基础快速上手，也可供研究工作者参考前沿训练思路。 ). I'll write it as 开头标记与结束标记，avoid exact chars issues. Use 开始标记/结束标记. In code I can use "thinking" marker. I'll keep generic:start_marker = "thinking",end_marker = "end_thinking". Hmm confusing. I'll just describe with generic markers and note the actual marker is the opening/closing think tag. Use code with markers as variables. Fine.

For cons@16 small python:

from collections import Counter def cons_at_n(answers, n=16): # 同一道题采样 n 次，取出现次数最多的最终答案 return Counter(answers).most_common(1)[0][0]

Maybe skip to save space; or include in ch4.6 briefly. I'll include a tiny one — it's mechanism-revealing. OK but keep code blocks limited (3 total plus this = 4). Fine.

Now write the full text.## 1. 本地能不能跑，先别急着查显卡

多数人第一次尝试 AI本地部署，第一反应是查显卡型号、算显存，然后被“大模型起步七十亿参数”之类的说法劝退。这里有个反直觉的点：决定你能不能跑起来的，往往不是模型聪不聪明，而是你选的是哪一档参数量，以及你是否清楚“1.5b”里的 b 说的是十亿个可训练浮点数，不是十亿条知识。一个 1.5B 的大型语言模型，量化之后权重只占一两 GB，普通笔记本的内存装得下，跑起来出字还挺快。这条链路上真正值得搞懂的是三件事：参数量怎么换算成体积、Transformer 架构凭什么能并行放大、训练方法（尤其是强化学习那一段）为什么让模型看上去“会思考”。把这三层拆开，再回头看部署时踩的坑，很多玄学就变成了可以解释的现象。

2. 参数量的经济学：1.5b 与 70b 差的到底是什么

2.1 b 是十亿个浮点数，不是十亿条知识

大模型的“参数”指所有可训练权重（weight）与偏置（bias）的总和，1.5b 就是 15 亿个，7b 就是 70 亿个。这些数字不是拍脑袋标的，它约等于：层数 × 每层（自注意力 + 前馈网络）的矩阵尺寸累加，最后再加上词嵌入和输出层。参数量之所以直接决定“能不能跑”，是因为推理时每个参数都要占内存或被搬进显存，而磁盘占用、加载时间、每 token 的计算量，基本都跟它成正比。

粗略估算：fp16 精度下每参数约 2 字节，7B 模型光权重就 14GB 左右；换成 4bit 量化，每参数压到 0.5～0.6 字节，7B 降到 4GB 上下，1.5B 只要 1GB 出头。但权重只是底座，真正让“看着够用却爆内存”的是另外两块：KV cache 和运行时开销。上下文越长、并发越高，KV cache 增长越快，这也是同一个小模型有人跑得很顺、有人一动就卡死的原因。

提示：估显存时别只算权重，先按“权重量 + KV cache + 框架开销”三项相加，再留出 20% 余量。

2.2 Scaling Laws：为什么掺了噪声的数据反而喂出通用模型

扩展规律说的是三条曲线的关系：参数量、数据规模、训练算力同时增大时，模型的损失按幂律下降。它不是定理，是从大量实验里拟合出来的经验规律，但足够稳定，稳定到工程上可以拿它做预算——想让效果上一个台阶，参数、数据、算力得一起加，只加一项收益会很快变平。更反直觉的一点是，训练语料里混着大量噪声、口水话、重复内容，模型依然能学出通用能力，因为规模足够大时，它拟合的不是某条样本，而是语言背后的统计共性。

这也解释了一个常见困惑：为什么小模型也会“偶尔很聪明”。扩展规律给的是平均意义上的能力下界，具体到某道题、某个格式，小模型完全可能表现超预期；反过来，大模型在冷门知识上也会翻车。所以拿单个 case 去评判参数量档位，基本等于抛硬币。

2.3 通用与专精的取舍：单数据集训出来的模型为什么不能聊天

拿单一数据集（比如某个图像分类集、某个新闻分组语料）训出来的模型，知识边界就是数据集边界，它在这个领域里可以很准，出了这个领域什么都不会。大模型走的是另一条路：语料覆盖书籍、新闻、代码、论坛，学的不是“某一类任务的判别边界”，而是“下一个词该是什么”的通用分布，于是具备了迁移能力和多任务能力。

代价是它在任何单点上都不一定最优。一个 1.5B 的通用模型写行业术语，往往不如一个拿内部知识库微调过的小模型；但后者换个问题就废了。所以“本地部署一个大模型”和“微调一个小模型”不是替代关系，前者解决通用性与隐私，后者解决垂直精度。搞清这一层，才不会指望拿 1.5B 去顶替业务系统里的规则模块。

2.4 参数量是预算，不是能力刻度

同一个 1.5B 档位，不同训练配方出来的模型差距可以很大：数据质量、训练轮次、是否做过指令微调、是否做过推理导向的强化学习，都会改变它在具体任务上的手感。这也是为什么本地跑起来之后，第一件事不该是问它“你有多强”，而是固定几道自己的题，看它在你的场景里稳不稳定。档位决定的是成本上限，配方决定的是能力分布，两者别混为一谈。

3. Transformer 架构：自注意力凭什么把循环结构挤出去

3.1 自注意力：一次矩阵乘法算清“谁该看谁”

循环神经网络处理一句话是一个词一个词往前推的，第 t 步依赖第 t-1 步的结果；Transformer 把整句话一次性铺开，用自注意力直接算出序列内任意两个位置的相关性。核心就是 Q、K、V 三组线性投影：Q 代表“我在找什么”，K 代表“我有什么可供匹配”，V 代表“匹配上之后我贡献什么信息”。

import numpy as np def attention(Q, K, V, mask=None): d_k = Q.shape[-1] # QK^T 得到 n×n 的相关性矩阵，n 是序列长度 scores = Q @ K.T / np.sqrt(d_k) # 除以 sqrt(d_k) 压住点积方差 if mask is not None: scores = scores + mask # 因果掩码：每个位置只能看它前面 weights = softmax(scores, axis=-1) return weights @ V # 加权求和，得到融合上下文的新表示

这里有两个容易忽略的细节。除以sqrt(d_k)不是装饰：维度越高，点积的方差越大，softmax 会被推成近似 one-hot，梯度几乎消失，训练直接僵住。因果掩码也不是可选项：生成式模型在预测第 t 个词时不能偷看第 t+1 个词，掩码把“未来”位置的分数压到负无穷，训练和推理的目标才一致。

3.2 多头与位置编码：并行之后顺序信息从哪来

单套注意力只能学到一种“相关性视角”，多头注意力的做法是把 Q、K、V 投影到多组低维子空间里并行算，再拼回去。不同的头容易分化出不同偏好——有的盯紧邻词，有的盯长距离指代，有的盯标点与句式边界。这不是设计上的浪漫，而是让模型用同一层参数覆盖多种依赖模式，性价比比堆层数高。

麻烦在于，整句并行之后，模型根本不知道谁在前谁在后。位置编码就是为这件事补的：早期用正弦函数生成固定位置向量，后来普遍改成把位置信息以旋转方式注入 Q、K 的可学习方案，好处是相对位置关系更稳定，长度外推也更友好。没有这一步，自注意力对词序是完全无序的，“狗咬人”和“人咬狗”在它眼里没有区别。

3.3 并行度、显存墙与 FFN：这套结构为什么天生适合放大

Transformer 干掉了时间步上的串行依赖，一整句话可以同时进 GPU，训练吞吐直接起飞，这是它能吃下扩展规律的前提。但代价也写在结构里：注意力矩阵是 O(n²)，上下文翻倍，这部分计算和显存翻四倍；同时每个 token 的 KV 都得缓存下来供后续步骤复用，长上下文场景下 KV cache 会成为新的显存黑洞。

另一个常被忽略的事实是参数分布。一个 Transformer 层里，自注意力的投影矩阵只占小头，真正的大头在前馈网络（FFN），通常占到总参数的三分之二左右。这解释了为什么“换更小的注意力头”省不了多少显存，而“砍层数”或“降 FFN 宽度”才是真正的减重手段。也解释了为什么量化对小模型更友好：权重分散在大量 FFN 矩阵里，低比特压缩的收益直接。

3.4 架构只是地基，行为是训练喂出来的

到这里能得出一个关键判断：架构决定的是“能不能训得动、能扩到多大”，不决定“模型会不会一步步推理”。同一个 Transformer 结构，喂纯预训练数据是一个只会续写的模型，加监督微调变成会答话的助手，再加强化学习才可能出现长篇的思考过程。三者共用一套骨架，行为差异全部来自训练阶段的目标函数与数据分布。

4. 三段式训练到 R1：预训练、SFT、强化学习各修哪种偏差

4.1 预训练：唯一的监督信号是“下一个词”

预训练做的事情非常朴素：给一段文本，遮住后面，让模型预测下一个 token，用交叉熵算误差，反向传播更新参数。海量语料反复灌进去，模型学到的是词与词的共现概率、句法结构、事实关联，甚至一部分推理模式。它的优点是监督信号免费——文本本身就是标签，不需要人工标注；缺点是目标太底层，模型只对“接下来像什么”负责，不对“回答得对不对、有没有用”负责。

预训练出来的基座模型有个典型特征：你问它一个问题，它可能接着往下续写更多问题，因为在它的训练分布里，提问后面跟着提问也很常见。这就是为什么必须进入第二阶段。

4.2 SFT：把“会续写”掰成“会回答”

监督微调用的是人工整理的（提问，回答）成对数据，目标函数还是预测下一个词，但数据分布变了——现在它见到的都是“问句 + 规范答案”的形态。参数一个没多，模型的输出风格、格式、语气却被整体拽了过去。这件事的本质是分布对齐，不是知识注入：SFT 几乎不教模型新知识，它教的是“什么时候该用哪种方式说话”。

这也埋下了一个隐患。SFT 的上限就是标注数据的质量与覆盖度，想让模型在数学、代码、逻辑这类需要多步推演的任务上变强，光靠“抄优秀答案”很难，因为标注者自己写不出足够长、足够正确的思考过程，而且成本极高。

4.3 RLHF：把“像人写的”变成可以优化的标量

强化学习阶段换了一套目标：不再比对标准答案算误差，而是让模型自己生成，再由一个奖励模型（通常也是从人类偏好数据里学出来的）打分，模型按分数高低调整策略。为了不让模型为了拿高分而胡说，实现上一般会加一个 KL 约束，限制新策略别离 SFT 后的模型太远——这个约束相当于一条保险绳，防止模型跑偏成“专门骗奖励模型”的形态。

RLHF 解决的是“答得像人希望的样子”，但它优化的是偏好，不是正确性。偏好模型自己会犯错，于是模型可能学会迎合评分习惯，而不是真的把题做对。这个结构性缺陷，正是后来“用可验证奖励取代偏好奖励”这条路线能成立的原因。

4.4 R1-Zero：跳过 SFT 的纯强化学习为什么没有崩掉

DeepSeek-R1 的训练起点是基础模型，第一个关键动作是做推理导向的强化学习，而 R1-Zero 这条支线更极端：完全跳过监督微调，直接从基础模型上开训。它没崩掉的核心原因不在算法多花哨，而在奖励怎么给——数学题、代码题这类任务有可验证的结果，答案对不对、格式符不符合要求，可以用规则直接判，不需要奖励模型去猜人类喜好。奖励信号干净，模型就没机会去钻“讨好评分器”的空子。

训练过程中模型自发长出了长链式思维：先展开、再自我检查、再回头修正，这些行为没有人教，是被“答对才给分”这个目标逼出来的。这一步的意义在于证明了一件事——推理能力可以不完全依赖人工标注的思考过程来获得。它也顺手解决了 SFT 数据贵的死结：既然模型自己能生成大量带思考过程的样本，那这些样本就能反过来喂给下一阶段。

4.5 中间推理模型与通用强化学习：自产数据和语言混合问题

纯强化学习练出来的模型有明显短板：回复里中英混杂、格式散乱、非推理类任务表现下滑。原因不难理解，探索阶段模型只被“答对”这个目标牵引，没人管它说得好不好看、是不是在用一个统一语言。于是训练流程里加了两个动作：一是用少量冷启动数据做 SFT，再接着做强化学习，得到中间推理模型，它负责批量生产高质量的思考过程样本；二是基于 SFT 检查点做通用强化学习，除了任务正确性，还引入帮助性与安全性奖励模型，把“能不能好好说话”也纳入优化目标。

这两步的分工值得记一下：中间推理模型解决“推理数据从哪来”，通用强化学习解决“模型能不能在推理之外的场景里正常干活”。前者是自产自销的数据飞轮，后者是给能力做边界约束。

4.6 pass@1 与 cons@16：一致性采样到底在测什么

看 R1-Zero 的能力曲线时会遇到两个指标。pass@1 是单次采样的准确率，代表“一把过的概率”；cons@16 是同一道题采样 16 次，取出现次数最多的答案，再看它对不对。后者能超过前者，原因很朴素：推理题的正确答案唯一，而错误答案是发散的，多次采样后错误会分散到不同选项上，正确选项反而堆出票数优势。

from collections import Counter def cons_at_n(answers, n=16): # answers 是同一道题采样 n 次得到的最终答案列表 # 正确答案唯一、错误答案发散，所以多数票往往比单次采样更准 return Counter(answers).most_common(1)[0][0]

这个机制解释了为什么“多想几遍”在推理任务上有效，也解释了它为什么不能滥用：开放写作、创意类任务根本没有唯一答案，多数投票只会把输出拽向最平庸的那个。cons@N 是推理任务的专用放大镜，不是通用提分按钮。

5. 避坑与排查：AI本地部署里最容易翻车的五个点

5.1 标签、量化与显存：同一个 1.5b 为什么有人跑得动有人跑不动

模型名后面的标签不是装饰，它通常绑定量化方式和权重版本，不同标签的磁盘占用、内存占用、输出质量都不一样。另外，上下文窗口是有代价的，长度翻倍，KV cache 也跟着涨，很多人是在“聊了十几轮之后”才炸的，而不是一开始就炸。

# 拉取指定档位的模型，标签不同占用差异很大 ollama pull deepseek-r1:1.5b # 交互式对话，退出用 /bye ollama run deepseek-r1:1.5b # 非交互单次调用，适合脚本化验证输出格式是否稳定 ollama run deepseek-r1:1.5b "用一句话解释自注意力"

跑之前先看两个数：模型文件大小，以及你机器的可用内存/显存。前者决定加载能不能过，后者决定多轮对话能撑多久。如果只是验证链路和输出格式，用小档位完全够；如果要做真实任务，别指望靠调参数把小档位救成大档位。

5.2 输出解析：think 标签是流式处理的边界

推理模型会把思考过程和正式回答分开输出，思考段落被包在一对标签里。一次性拿到完整文本时用正则抠掉就行，但流式场景下标签很可能被切在两个增量分片之间，直接对每个分片跑正则，就会出现“标签残留”或者“前端一直转圈不结束”的情况。正确做法是维护一个缓冲区，只在缓冲区里出现完整结束标记之后，才把前面那段判定为思考内容。

import re START, END = "think_start", "think_end" # 实际用模型输出的开始/结束标记替换 def split_output(full_text: str): # 一次性文本用非贪婪匹配，注意开启 re.S 让 . 能跨行 thinking = re.search(rf"{START}(.*?){END}", full_text, re.S) answer = re.sub(rf"{START}.*?{END}", "", full_text, flags=re.S) return (thinking.group(1).strip() if thinking else ""), answer.strip()

流式版本要在这段逻辑外面再包一层状态机：没见到开始标记之前的内容按普通回答处理，进入思考态后先缓存不渲染，见到结束标记再一次性切分。这套处理不做，前端要么把思考过程当正文展示，要么永远等不到结束信号。

5.3 五条翻车记录

一、拉完模型直接跑，报内存不足。现象是加载阶段就退出，日志里能看到分配失败。原因通常不是模型太大，而是同时开了其他吃内存的进程，或者默认上下文长度开得太长，KV cache 提前把余量吃干净。解决方式是先关掉无关进程，再把上下文长度调小一档，确认能起来之后再逐步加回去。

二、回复中英混杂、逻辑跳。现象是回答到一半突然换语言，或者反复自我否定。原因跟模型档位和训练配方都有关——纯强化学习路线的模型在探索阶段容易出现语言不一致，小参数量会把这个特征放大。解决方式是换更大的标签、在提示里明确要求输出语言，并把采样温度调低，让分布收窄。

三、思考过程没有结束标记，界面卡住。现象是文字一直在出，但永远进不了“正式回答”状态。原因是流式分片把结束标记切开了，前端没匹配到。解决方式是按上一节的状态机处理，别在每个分片上做整段正则匹配；同时给一个最大等待时长兜底，超时就当作思考结束。

四、同一个问题两次答案差很多。现象是同一提示词跑两遍，结论相反。原因是采样本身有随机性，温度、top_p 这些参数没调，模型每次走的都是不同分支。解决方式是把温度压到接近 0，或者干脆按 cons@N 的思路多跑几次取多数，但要清楚这只在答案唯一时才有意义。

五、拿小档位硬啃复杂推理。现象是简单题很顺，稍微绕两步就崩。原因是参数量决定的能力上限摆在那里，强化学习能提升的是这条曲线上的斜率，不是把 1.5B 抬成几十 B。解决方式是先判断任务类型：格式转换、信息抽取、简单问答用小档位性价比最高；多步数学、长链逻辑，要么换档，要么把问题拆成多轮。

6. 取舍：纯强化学习的天花板与工程落地的地板

R1-Zero 最容易被误读的地方，是把“跳过 SFT 也能训出推理能力”直接当成通用配方。仔细看它的成立条件就会发现，这套方法吃的是可验证奖励——数学、代码这类任务能自动判对错，奖励信号干净得像实验室环境。换成开放域问答、客服对话、内容生成，正确答案没法用规则判，只能靠奖励模型去近似人类偏好，而奖励模型一旦不完美，纯强化学习就会开始钻空子：输出变得冗长、格式套路化、看起来很有道理但经不起核对。

这就是为什么最终成型的训练流程还是回到了“少量 SFT 冷启动 + 强化学习 + 通用强化学习”的组合。取舍点在三处：一是可读性，纯探索出来的思考过程语言混乱，产品里没法直接展示；二是任务覆盖面，只优化推理会让非推理场景退化，必须用帮助性与安全性奖励把它拉回来；三是可控性，SFT 提供的是一个稳定的起点，能让后续强化学习不至于从太远的分布出发。换句话说，纯强化学习证明了能力上限可以更高，SFT 与通用强化学习保证的是下限别塌。

想自己验证这套取舍是否成立，我一般会做三件事：固定一组有确定答案的题，分别跑单次采样和多次一致性采样，看差距有多大；再看思考过程的长度分布，如果长度暴涨但正确率没涨，基本就是奖励被钻了空子；最后拿一组非推理任务（改写、摘要、格式转换）测一遍，确认模型没有为了推理能力牺牲掉正常说话的能力。

我自己踩过最贵的一次坑，是拿一个小档位模型在开放任务上开了很高的探索自由度，结果输出越来越长、越来越像模像样，正确率却纹丝不动，白烧了两天机器时间。从那以后我每次调训练或推理参数，都强制先跑那三组对照再动别的。希望帮到你。

本文还有配套的精品资源，点击获取