MATLAB中基于DDQN算法的深浅基坑开挖顺序优化研究

简介：MATLAB中基于DDQN算法的深浅基坑优化开挖顺序研究资源包，面向土木工程施工管理人员、AI开发者及具备MATLAB与数学建模基础的工程师。内容聚焦两个基坑（深27米分八次开挖、浅12米分四次开挖）在特定地质与地下水条件下的开挖顺序优化，以控制地连墙位移和地表沉降并缩短工期。资源系统展示了从环境定义、智能体创建、训练配置到测试评估的完整DDQN建模流程，并给出简化但可扩展的代码示例；同时针对实际项目中的地下水变化、奖励机制设计、历史实测数据校准等关键问题提供了注意事项与调整思路，便于将算法迁移到类似工程决策场景。全包共1个文件，格式为docx，压缩包大小357KB，内容集中便于按章节阅读和对照实践。目前已有133人学习下载，适合希望用深度强化学习解决传统工程问题的技术人员作为入门参考。

1. 深浅基坑开挖顺序优化：为什么最后要交给DDQN来算

今天拆一个偏研究的题目：MATLAB中基于DDQN算法的深浅基坑优化开挖顺序研究。把这个名字翻译成人话，就是用强化学习里的DDQN算法，帮工程决策回答一个问题——同一片基坑里，深坑区浅坑区交错着开挖，先动哪里、后动哪里，围护结构位移和支撑轴力才最小。这个问题的难点在于组合爆炸：分区分得越细，可行顺序越多，靠试算和经验根本覆盖不完。DDQN算法刚好擅长这种时序决策任务，MATLAB里又能把深度学习、数值计算和简单的平面应变模型串在一起，所以我们能在PC上把优化流程跑通，再把最优顺序交给专业有限元复核。这篇笔记适合两类人：做土木加算法交叉课题的研究生，和想给基坑方案比选加一点自动化判断的现场工程师。

2. 把开挖顺序变成强化学习问题：状态、动作与奖励建模

要让DDQN跑起来，第一步不是写网络，而是把施工过程改写成马尔可夫决策过程。基坑开挖顺序优化，本质上是一个序列决策问题；站在智能体的视角，它每次只需要回答：当前状态下，下一步开挖哪个区域。

2.1 深浅基坑的交错开挖为什么是一个序列决策问题

施工顺序在岩土工程里一向靠经验法则。“先深后浅”是教科书和现场都爱挂在嘴边的原则，这句话在不少工况下成立，但不是定理。深浅基坑交错布置时，深区开挖卸载量大，坑底隆起和墙后土压力传递都更剧烈；如果浅区还没形成支撑，深区的变形会顺着围护结构往浅区传。反过来，先挖浅区、先加支撑，对深区是个约束，但深区最后开挖时，浅区支撑轴力可能被顶到很高，甚至超限。所以“先深后浅”和“先浅后深”各有代价，最优解取决于土层参数、支护刚度和开挖深度差。

再从组合角度看。一个中等基坑，如果施工组织上允许不同分区独立开挖，现场通常分成6个甚至更多个开挖段。6个段全排列只有720种，但10个段就是360万种以上。如果每一步还要考虑“一次挖多少深度”这种粒度，可行方案的量级会继续爆炸。人工枚举不现实，直接有限元试算更不现实——单次开挖仿真按分钟级别算，360万种方案几乎没有工程可接受的时间窗口。所以这类问题天生适合用替代模型加序列决策算法来逼近，这就是把开挖顺序建模成强化学习问题的动机。

2.2 状态空间：用“进度+响应”描述每个开挖阶段

MDP状态怎么定，关键看决策信息够不够。只记录“谁挖完谁没挖完”是不够的。两个状态可能都有三个区挖完，但一个最大位移15mm，另一个已经28mm，后续动作的风险完全不同。状态至少分两块：进度变量和响应变量。进度变量描述每个分区当前已开挖深度比例、是否已经封闭；响应变量描述当前围护结构最大侧移、最大支撑轴力和坑底隆起指标。

% 状态编码：6个分区，每个区用2个进度量，整体再加3个全局响应量 numRegions = 6; progressDepthRatio = zeros(1, numRegions); % 已开挖深度 / 总开挖深度 progressFinished = zeros(1, numRegions); % 是否开挖完成，0或1 uMaxNorm = 0; % 当前最大侧移 / 容许侧移 nMaxNorm = 0; % 当前最大支撑轴力 / 支撑承载力 heaveNorm = 0; % 当前坑底隆起指标归一化值 state = [progressDepthRatio, progressFinished, uMaxNorm, nMaxNorm, heaveNorm];

这段代码定义了送入Q网络的状态向量，维度是2 * numRegions + 3。注意所有物理量都做了归一化：位移不要直接用毫米，轴力不要直接用千牛，否则数值范围差几个量级，梯度会被大数值特征带走。第一版我没归一化，把原始毫米值和千牛值直接拼进状态，训练时loss一直抖，后来全部除以各自的容许值之后问题才消失。

2.3 动作空间与不可行行为：从全排列变成逐区域决策

动作定义为“下一步开挖哪个分区”，动作数量等于分区数。已经挖完的区域在决策时要屏蔽，不能让智能体反复选同一个区域。屏蔽有两种做法：硬屏蔽和软惩罚。硬屏蔽更直接，在探索和利用阶段都从合法动作里采样：

% 只在未开挖完成的区域里选动作 legalActions = find(progressFinished == 0); action = legalActions(randi(length(legalActions)));

如果你的工况要求“一次挖一个整区”粒度太粗，可以把每个区按深度分成浅层段和深层段，动作变成“区域编号+段号”，这样DDQN能一步决策挖哪个区的哪一段。代价是动作数量变多，训练难度非线性上升。常见做法是先用整区粒度跑通，确认奖励和网络结构没问题，再细化分段。

这里还有一个仿真耦合层面的布局问题。训练一个episode要跑6到15步仿真，2000个episode就是上万次调用；如果每一步都调ABAQUS或PLAXIS，时间完全不可接受。我一般会在训练阶段用简化平面应变模型或代理模型逼近响应的相对趋势，把完整土体本构留给最后的验证阶段。简化模型不求绝对值准确，只求“不同开挖顺序之间的优劣排序”和真实有限元一致，这个问题第5章还会遇到。

3. MATLAB中DDQN的实现：网络结构、目标网络与训练主循环

MATLAB里做这个小课题，只需要深度学习工具箱，不需要专门装强化学习工具箱。手写训练主循环反而有个好处：每一步在算什么、梯度往哪传，你都看得见，后面改损失函数、加约束都方便。

3.1 为什么用DDQN而不是DQN：Q值过估计与决策偏差

DDQN和DQN的区别只有一行公式，但这一行很关键。标准DQN的目标值写作：

y = r + γ * max(Q_target(s', a'))

问题出在max操作上：只要Q估计带噪声，max就会倾向于选中被高估的动作。基坑场景里奖励函数稀疏、量纲敏感，这种过估计会被放大，策略容易偏向一些“看起来划算”实则位移超限的动作。DDQN把动作选择和价值估计拆开：

y = r + γ * Q_target(s', argmax(Q_online(s')))

在线网络负责选动作，目标网络负责给这个动作估值。两个网络各管一段，过估计明显缓解。很多人直接把DQN代码搬过来换成自己的环境，结果训练曲线一直抖，大概率就是没做这一步拆解。

3.2 MATLAB中的网络搭建与目标网络同步

网络结构不需要太深，基坑开挖的状态维度不高，两层全连接加ReLU足够。隐藏层宽度取128，如果分区多、状态维度高，再考虑加宽到256，不要一开始就上三层以上的深度网络，深度增加对RL训练稳定性是负贡献。

% 状态维度：6分区，每区2个进度量，加3个全局响应量 numRegions = 6; stateDim = numRegions * 2 + 3; numActions = numRegions; net = [ featureInputLayer(stateDim, 'Normalization', 'none') fullyConnectedLayer(128) reluLayer fullyConnectedLayer(128) reluLayer fullyConnectedLayer(numActions) ]; qNetwork = dlnetwork(net); targetNetwork = qNetwork; % 初始时目标网络复制在线网络

注意featureInputLayer的归一化我设成none，原因是在状态编码阶段已经归一化过，网络里不需要再做一次。目标网络这里采用硬拷贝，每隔固定步数把在线网络的参数整体复制过去，这种简单做法在开挖顺序这类中小规模问题上比软更新更稳。

3.3 训练主循环：经验回放、DDQN目标值与梯度更新

训练循环分三段：探索与经验存储、小批量采样与目标值计算、参数更新。我先把框架写出来，再单独解释模型损失函数。

bufferSize = 50000; buffer = cell(bufferSize, 5); bufferCount = 0; ptr = 1; epsilon = 1.0; epsilonMin = 0.05; epsilonDecay = 0.995; gamma = 0.95; lr = 1e-3; batchSize = 64; targetUpdateFreq = 300; iter = 0; avg1 = []; avg2 = []; for episode = 1:2000 state = resetEnv(); % 见2.2，返回行向量状态 done = false; while ~done % epsilon-贪心：探索还是利用 if rand() < epsilon action = randi(numActions); else qv = predict(qNetwork, dlarray(state, 'CB')); [~, action] = max(qv); end [nextState, reward, done] = stepEnv(state, action); bufferCount = min(bufferCount + 1, bufferSize); buffer(ptr, :) = {state, action, reward, nextState, done}; ptr = mod(ptr, bufferSize) + 1; state = nextState; iter = iter + 1; % 攒够一批才训练，避免早期样本太稀疏 if bufferCount >= batchSize idx = randperm(bufferCount, batchSize); mb = buffer(idx, :); states = cat(2, mb{:, 1}); actions = cell2mat(mb(:, 2)); rewards = cell2mat(mb(:, 3)); nextStates = cat(2, mb{:, 4}); dones = cell2mat(mb(:, 5)); [loss, grads] = dlfeval(@modelLoss, qNetwork, targetNetwork, ... states, actions, nextStates, rewards, dones, gamma); [qNetwork, avg1, avg2] = adamupdate(qNetwork, grads, avg1, avg2, iter, lr); % 每隔固定步数同步一次目标网络 if mod(iter, targetUpdateFreq) == 0 targetNetwork = qNetwork; end end end epsilon = max(epsilonMin, epsilon * epsilonDecay); end

这里有个工程细节要注意：randi(numActions)探索时可能选到已完成区域。严格做法是像2.3那样先从legalActions里采样，这段简化代码只是展示训练框架，落地时一定要把合法动作过滤加上，否则学习过程会被大量无效动作干扰。

模型的损失函数单独写成一个函数，用dlfeval包住，因为MATLAB的自动微分要求梯度计算发生在可追踪的环境中：

function [loss, grads] = modelLoss(qNet, targetNet, states, actions, nextStates, rewards, dones, gamma) states = dlarray(states, 'CB'); nextStates = dlarray(nextStates, 'CB'); % 在线网络预测当前状态所有动作的Q值 qAll = forward(qNet, states); batchSize = size(qAll, 2); qPred = qAll(sub2ind(size(qAll), actions, 1:batchSize)); % DDQN关键：在线网络选下一个动作 qNextAll = forward(qNet, nextStates); [~, nextActions] = max(qNextAll, [], 1); % 目标网络给这个动作估值 qTargetAll = forward(targetNet, nextStates); qTarget = qTargetAll(sub2ind(size(qTargetAll), nextActions, 1:batchSize)); % 目标Q值，done为真时不留未来奖励 y = rewards + gamma .* (1 - dones) .* qTarget; loss = mean((qPred - y) .^ 2); grads = dlgradient(loss, qNet.Learnables); end

几个参数说明：gamma=0.95意味着滞后10步的奖励价值会衰减到原来的0.6左右，适合开挖步数在10到20步的短决策序列；如果分区更多、序列更长，再往0.99调。targetUpdateFreq=300是全局步数，不是episode数，这是最容易写错的地方。还有一个MATLAB专属的坑：在dlfeval里不能调用predict，要求梯度的前向计算必须用forward，否则会报错。

提示：如果你用强化学习工具箱里的rlDQNAgent，这些细节都被封装掉了，调参数方便，但一旦训练不收敛，你连从哪里排查都不知道。自己写训练循环虽然多花半天时间，但能让你清楚每一步在算什么。

4. 奖励函数与三个关键参数：调参顺序比想象中更敏感

基坑开挖顺序优化的奖励函数，直接决定策略最后长什么样。同一个环境，奖励权重变一下，最优顺序可能就从“先浅后深”变成“先深后浅”。这一章把奖励设计方法和参数调整顺序讲透。

4.1 奖励函数设计：分阶段奖励与稀疏奖励的权衡

很多人第一次写这个课题，会在整个序列结束时才给奖励：位移达标给正分，超限给负分。这是典型的稀疏奖励，对DDQN来说学习效率极低。开挖步数只有10多步，终局奖励要回传给前面的每一步，信号衰减严重，智能体很难判断哪一步导致了最终超限。

常见做法是每一步都给即时惩罚，把岩土响应拆成增量：

r_t = -α * Δu / uAllow - β * ΔN / NAllow - γ

Δu是当前步最大侧移增量，ΔN是当前步支撑轴力增量，γ是每步时间成本。把响应增量除以容许值，保证每项在0到1量级，α和β才好调。最后终局再给一次性奖励：如果最大位移和轴力都在控制值以内，加100，否则减100。

这个设计里最容易被忽略的是α和β的比值。我第一版把α设成10、β设成1，结果智能体学会了一味避开位移大的分区，支撑轴力项几乎不起作用。后来改成α和β同量级，甚至让β稍大一点，策略才平衡。如果两个指标重要性不同，用比值表达，不要让数值范围替你决定。

4.2 三个关键参数：学习率、折扣因子与探索率衰减

学习率在RL里比在监督学习里更娇气。基坑环境的状态转移没有分类任务那么平稳，梯度方向方差大，学习率太高Q值会震荡。我习惯从1e-3起步，如果loss发散立即降到3e-4，一般都能稳住。

折扣因子gamma控制的是“远期代价”的权重。开挖顺序这个任务有个特点：第1步的选择会通过围护结构受力路径影响后面所有步，但强化学习每一步只奖励当前增量。gamma太小，智能体只看眼前几步，学不到全局最优；gamma太大，目标值的方差被放大，训练不稳。10到20步的决策序列，0.95是比较舒服的中间值；分区超过8个、序列变长，再考虑0.99，但目标网络更新频率要同步降下来，否则TD误差会累积爆炸。这块调参多少有点玄学，但总的方向是：先定gamma，再动学习率，最后动网络结构，顺序反了，你会同时面对两个变量在打架。

探索率epsilon从1.0开始，逐渐衰减到0.05。注意不要从0.1开始，前期探索不足，策略很容易陷进“先深后浅”这种局部最优。epsilonDecay要按总episode数反推：2000个episode、衰减系数0.995，最终探索率接近下限；如果你把episode数加到5000，衰减系数要改成0.999，否则后半程几乎没有探索、只有利用。

4.3 一套可复现的初始参数配置

下面的参数是我把上述思路落到代码里的起点，适合6分区、10到15步以内的开挖决策问题。按这套起步，曲线有问题的可能性最小。

调参顺序比参数本身更重要。我一般先固定gamma和缓冲区大小，只动学习率；loss稳定之后，再观察策略行为；如果策略总是同一个顺序，去动奖励函数的α、β权重，而不是盲目加训练轮数。最后才调整gamma。这套顺序帮我省掉大量无效实验。

5. 训练路上的五个典型翻车现场与排查清单

这节写几条血泪经验，全是踩过之后才明白的。每条都按“现象、原因、解决”展开，训练里遇到类似情况可以直接对照排查。

5.1 Loss振荡不降：奖励没归一化

现象：训练前200个episode还像个样子，后面loss在0.05到0.5之间来回跳，奖励曲线没有任何上升趋势。

原因：第一版代码里把位移增量（单位mm）和轴力增量（单位kN）直接拼进奖励，数值范围差几个数量级，TD目标的尺度本身就在漂移。再叠加1e-3的学习率，梯度更新方向被大数值项主导，小数值项完全学不到。

解决：把位移增量除以容许位移，轴力增量除以支撑承载力，保证每一项都在0到1量级；学习率降到3e-4。如果还有波动，给梯度做裁剪，对grads里的每一个值做阈值截断，比如限制在[-1, 1]区间。裁剪之后loss的稳定性会明显改善。

5.2 策略锁死在“先深后浅”：局部最优与奖励权重失衡

现象：不管怎么初始化环境，智能体永远把深区放在第一、二步，后面浅区随便排，训练到后期也没有变化。

原因：这不是算法没学会，而是奖励函数把“深区后挖”路径上的惩罚设得太高。深区开挖的卸载量大，位移增量自然偏大，如果α权重过高，智能体找到一个能规避高惩罚的路径就会死守，不再探索其他顺序。

解决：降低α和β之间的差距，把绝对惩罚改成相对奖励。具体做法是每一步只比较“当前响应增量”与“相同开挖比例下的历史平均响应增量”的差，差为负说明这一步优于平均水平，给正奖励。这种相对化处理能显著缓解局部收敛，策略会更愿意尝试非直觉顺序。

5.3 Q值中段发散：目标网络更新过频或γ偏大

现象：训练到800个episode附近，loss突然从0.08跳成NaN或者1e10，Q值越来越大，完全不可控。

原因：DDQN虽然缓解了过估计，但目标网络更新太频繁时，在线网络刚学到的波动会很快被复制到目标网络，TD目标里带上了当前网络的误差。另一个推手是gamma设成0.99但episode长度超过20步，远期奖励的指数累积被放大，最终发散。

解决：把目标网络硬拷贝频率从100步改成300到500步，gamma降到0.93到0.95。改完先检查Q值量级，正常应该在±10以内，再继续训练。如果已经发散到NaN，最稳的办法是从checkpoint回退到500个episode时的模型再调参。我给每个项目都留了checkpoint，这就是后悔药，比重新训练便宜太多。

5.4 内存增长与训练变慢：回放池和临时变量的管理

现象：训练到1000个episode之后，每步耗时从0.05秒涨到1秒多，内存占用一路涨到几十个GB，电脑风扇开始狂转。

原因：经验回放buffer用了动态增长写法，比如buffer(end+1,:) = {...}，MATLAB会在每步复制整个cell数组，几万步之后这个复制成本非常恐怖。另一个嫌疑是dlarray的中间结果被留在工作区，导致内存只增不减。

解决：提前分配cell(bufferSize, 5)并循环覆盖，这是标准做法；minibatch采样之后立刻clear临时变量；把modelLoss写成独立函数，让临时变量在函数栈上释放而不是堆积在主脚本里。如果内存仍然紧张，把buffer从5万条降到2万条，训练速度会立刻恢复正常。

5.5 训练收敛但有限元复核超限：代理模型偏差

现象：训练出来的最优顺序，在简化环境里最大位移40mm，但放到ABAQUS复核变成55mm，超过控制值，方案不敢用。

原因：训练阶段用的简化模型只抓住了响应的相对趋势，没抓住深层开挖的坑底隆起和时空效应。这不是RL算法的问题，是训练环境保真度不够。简化模型对“顺序A优于顺序B”的排序可能正确，但对绝对位移的预测会整体偏小。

解决：不要试图在训练阶段做高保真有限元，这会拖垮训练速度。正确做法是先在简化模型里收敛策略，再用专业有限元复核；如果复核超限，把奖励函数里的容许值按仿真偏差打折，比如把uAllow设为设计值的0.8倍，再重新训练一轮。这样得到的顺序在真实模型里更稳。

6. 把训练结果落成施工方案：验证与顺序表导出的技巧

训练完成只是第一步。我最后习惯做两件事：把策略导出成一张可打印的开挖顺序表，再用有限元和敏感性分析做一次交叉验证。

6.1 用贪婪策略生成开挖顺序决策表

评估模式下探索率为零，每一步都选Q值最大的动作，这样生成的就是确定性的施工顺序：

% 评估模式：epsilon归零，直接选最大Q state = resetEnv(); done = false; schedule = []; predictedReward = []; while ~done qv = predict(qNetwork, dlarray(state, 'CB')); [~, action] = max(qv); schedule = [schedule; action]; [state, reward, done] = stepEnv(state, action); predictedReward = [predictedReward; reward]; end for k = 1:length(schedule) fprintf('开挖步 %d -> 分区 %d\n', k, schedule(k)); end

这里有个验证小技巧：在同一初始状态下重复5次贪婪决策，看是否生成同一顺序。如果每次都不一样，说明策略没有充分收敛，回去加训练轮次，不要拿着不稳定的输出写方案。我还会做一次敏感性测试，人为把顺序里第2步和第3步对调，压在简化环境里观察响应增量变化。对调后位移猛增，说明最优顺序在“谷底”，方案可靠；对调后变化很小，说明顺序选择不敏感，现场施工时可以根据机械调度灵活调整。

6.2 与有限元数值模拟做交叉验证

交叉验证的流程我已经固定下来：第一步把决策表翻译成有限元模型的施工阶段顺序；第二步按步激活或钝化土体单元、添加或拆除支撑；第三步提取每一步的围护结构侧移、支撑轴力和坑底隆起曲线；第四步和训练时预测的响应做对比。

如果两条曲线的最大位移误差超过15%，不要急着去调RL超参，问题几乎可以肯定出在简化环境上。我会回源头修正仿真校准，让简化模型的关键响应和有限元在几个基准顺序下对齐，再重新训练。这些年跑下来，我养成一个习惯：强化学习优化出的顺序永远只当候选方案，必须经过专业有限元复核才敢写进方案里。算法在找趋势上比人快，但基坑的最终判定还是要交给力学。希望帮到你。

本文还有配套的精品资源，点击获取