前期论文阅读
1.GIT-BO: High-Dimensional Bayesian Optimization Using Tabular Foundation Models
降维操作
利用TabPFN对所有候选点进行计算目标函数的预测均值U和方差，利用TabPFN的预测均值构建预测均值梯度的二阶矩阵H()，算法选择 H 的前 r 个特征向量作为梯度引导的活跃子空间(GI 子空间)，在子空间中进行超立方均匀抽样m个点，然后映射回原始的空间，进行采集函数的评估，将真实评估的数据加入观测数据集中，更新上下文，重复上述操作。
GIT-BO 的核心创新是利用 TabPFN 的预测梯度指导搜索空间降维，再利用 TabPFN 的预测均值和不确定性（方差）指导候选解选择。
启发:1.可以尝试自适应子空间维度的选择。2.将算法扩展到有约束的多目标优化。（platemo平台上问题有约束吗？）
2.FIRE: Multi-fidelity Regression with Distribution-conditioned In-context Learning using Tabular Foundation Models注意下低保真数据哪里来的
利用TabPFN为FIRE建立两个基础模型，低保真基础模型（学习各个低保真数据中的信息，得到预测分布），高保真残差模型（根据少量高保真数据学习修正量）。利用大量的低保真数据和少量的高保真数据训练模型，（其实低保真模型是离线训练好的，只是用大量的低保真数据作为上下文进行预测，残差模型利用增强的残差数据集作为上下文进行预测）进而来预测一个给定的未知X的函数值Y,使其尽量的逼近真实的仿真结果，节约成本。
启发：1.可以利用TabPFN作为昂贵优化问题中的多保真代理模型，进而利用低成本来生成更多的保真数据。2.TabPFN预测输出的不只有预测均值，还有方差，和分位数，看是不是都能用的上。3.不应仅将代理模型预测分布中的方差用于探索与利用，还可以将均值、方差和分位数作为新的输入特征，进一步提高其他代理模型的预测能力。
这篇论文对你的启发不在于“没有真实评价就能生成大量高保真数据”，而在于“利用廉价但有用的低保真评价，减少对昂贵高保真评价的依赖”。
3.Surrogate-assisted evolutionary algorithm with adaptive local region search for high-dimensional expensive multi-objective optimization problems
创新：自适应局部区域搜索、多采集函数协同优化（通过HVKG和MAB选择进行真实评估的候选解）。
针对现有的基于划分的进化方法受到局部区域对环境变化适应性不足的限制，提出此算法。
初始的候选区域，是根据初始样本中的非支配解、HV贡献和样本间距离确定的。对于每个区域内分别构建目标数M个代理模型，训练用对应区域的样本。通过五个采集函数把原来的一个昂贵多目标问题替换为5个（因为5个采集函数）不同的近似多目标优化问题，然后通过多目标进化算法NSGA-II来优化这五个问题，获得五组候选非支配解，然后利用选择机制算法4AMB选择最值得真实评估（累计奖励最高的）的一组，将结果加入局部数据集和全局数据集，更新局部区域的CMA搜索分布（决定搜索方向），包括均值向量和协方差矩阵等参数。接着判断是否重新生成新的局部区域。同时，将获得的非支配解加入外部档案，直到达到迭代次数。
启发：1.针对代理模型使用过多2.局部区域的数量是认为设定的3.没有考虑约束比较复杂情况，可以利用约束减少真实的评估
4.Rank-Based Learning and Local Model Based Evolutionary Algorithm for High-Dimensional Expensive Multi-Objective Problems
由分类器辅助的基于等级学习预筛选（Classifier-Assisted Rank-Based Learning Pre-screening）
基于超体积的非支配搜索（Hypervolume-Based Non-Dominated Search）、稀疏目标空间中的局部搜索组成算法框架。
提出分类器辅助的基于等级学习机制（生成有潜力的解），使分类模型不仅参与候选解筛选，还直接指导具有较高潜力的子代生成。在分类器辅助等级学习阶段，算法采用决策空间中的最近邻欧氏距离衡量候选解的不确定性。选择不确定性最高的个体进行真实函数评价。在基于超体积的非支配搜索阶段（主要是加快收敛），利用径向基函数（RBF）建立目标函数代理模型，并通过超体积改善指标指导真实评价样本选择（计算候选解相对于当前 Pareto 前沿的超体积改善量，选择改善量最大的）。在稀疏目标空间局部搜索阶段（增加多样性），在目标空间的稀疏区域（使用拥挤距离来找）建立RBF模型，算法利用目标空间中的稀疏性与不确定性选择值得进行真实评价的解。不确定性是：从候选解对应目标函数的向量和档案中目标函数的向量的距离最小值中选择最大值，表示不确定性最大。
启发：1.决策空间距离和目标空间距离可以衡量候选解的不确定性2.判断相对优劣，有时候比精确预测值更加有效。从预测目标函数转向学习解的相对优劣。3.高维空间中找值得建模的局部区域增加多样性
算法1的5-9行，既然目标函数的最优点未知，作者究竟如何计算 \(\arg\min f_i(x)\)要看源码。
5.REMO/FUSE
更改REMO代理模型的输入，将输入进行了“降维”，代理模型不是预测目标函数值，预测输出的关系概率（两个解的关系支配、被支配、非支配。和REMO那篇论文输出一样）。
首先，利用 FMI（模糊互信息）引导种群初始化（计算每个特征与类别标签之间的相关性，使重要特征具有更高的初始选择概率），并对初始种群进行真实目标函数评估；然后，利用 Jaccard 距离和 DBSCAN 对当前种群进行聚类（根据候选解在决策空间中的特征选择模式，将相似的解划分到同一个簇），再采用自适应 PBI 方法划分优势样本集 (P_n) 和劣势样本集 (P_d)（在各簇中确定参考方向，通过二分搜索调整惩罚系数，并根据 PBI 评价结果划分样本，PBI值越小越好）；接着，构造候选解对并训练 CNN 关系代理模型（将两个候选解的差分向量作为输入，以它们的优势、劣势或非支配关系作为分类标签，使 CNN 学习候选解之间的相对优劣关系）；随后，从当前种群中选择父代，利用FMI 引导的非对称变异算子生成大量候选子代（根据特征重要性设置不同的添加和删除概率，并使删除特征的基础概率高于添加概率）；之后，利用 CNN 代理模型和投票机制对候选子代进行预测评分（将子代分别与优势、劣势参考样本进行比较，综合三种关系的预测概率计算得分 \(s(u)=s_{pos}(u)-s_{neg}(u)\)），选取得分最高的前 \(k\) 个候选解进行真实目标函数评估；最后，将新评估的候选解与已有解档案合并，通过 NSGA-II 环境选择更新种群（利用非支配排序和拥挤距离保留优质解），并重复上述代理训练、候选解生成、筛选和真实评估过程，直到真实函数评估预算耗尽，最终输出近似 Pareto 最优特征子集集合（兼顾分类错误率和选中特征数量两个优化目标）。
启发：暂时没有，此论文的方法迁移暂时没有想法
6.PRSALEs---A surrogate-assisted evolutionary algorithm based on problem reconstruction and feature extraction for high-dimensional expensive multi-objective optimization problems和r2rea第一阶段有区别吗
文章算法主要由两个阶段构成：第一阶段问题重构（比如原来有500个决策变量的问题，可以通过几个参考解构建的少量权重变量进行优化。和R2REA第一阶段有点相似），主要是提高种群收敛速度（通过变量分组、参考解选择和问题重构，将原始高维昂贵多目标优化问题转化为低维昂贵单目标优化问题（最大化HV值））。第二阶段分解与特征提取，主要是改善种群多样性，同时维持代理模型的预测精度（通过 MOEA/D 分解策略、自适应拉普拉斯特征映射和 Kriging 代理模型，在低维特征空间中开展辅助优化）。
PRSALEs算法过程首先利用 LHS 初始化真实评价样本，然后在第一阶段使用 RBF 代理模型辅助问题重构，通过参考解构建搜索方向（参考解的选择很重要），将高维多目标优化问题转化为低维权重变量的单目标 HV 优化问题，同时通过变量分组（伪代码有说怎么分组，对主要子空间进行重构，同时保留另一子空间的独立优化能力。）和另一子空间的 SAEMO 搜索（使用决策变量少的变量分组）增强候选解的多样性；将两个子空间的候选解集进行组合（笛卡尔积组合，决策变量的索引和分组前一致），获得较好收敛解后。第二阶段采用 MOEA/D（就是那篇论文所说的方法）将多目标问题分解成多个子问题（用权重向量中参数表示侧重哪个子问题），通过邻域交叉与变异生成高维子代，再使用 ALE 提取低维特征（ALE 不是选择16个重要的原始决策变量，而是通过样本之间的相似关系，构造16个新的低维特征坐标。）并训练 Kriging 代理模型（用的低维父代），筛选候选解进行真实评价，最终获得兼顾收敛性与多样性的解集。
启发：1.借鉴论文问题重构思想，改变搜索空间，重构的是对应搜索空间的降维，把原来在高维决策变量中的搜索，改为在权重优化决策变量中的搜索。2.论文也使用了特征提取降维，不同平常，使用自适应拉普拉斯特征映射(ALE)算法，可以学习他的思路，考虑用自适应改进现有的方法。3.算法中每次循环都要重新训练，带来了高的开销，考虑使用TabPFN
7.Conditional diffusion with gradient guidance for high-dimensional expensive multi-objective optimization
新概念：前向加噪，反向去噪。Transformer 学习预测其中添加的噪声。训练完成后，便可以从随机噪声出发，反复使用噪声预测结果进行去噪，最终生成一个新的决策向量。扩散：通过学习加噪和去噪过程生成候选解。条件：通过偏好向量控制生成候选解的目标权衡区域。两者结合，就是本文的条件扩散模型。
创新：1.之前研究已经出现的梯度引导采样、基于熵的采集和偏好条件化，作者将它们统一在一个可以扩展到高维决策空间的框架中。2.将高维 Pareto 最优解搜索转化为条件生成问题（本文用基于transform的扩散模型生成高质量候选解，而不是在高维空间中进行进化搜索产生候选解）3.将代理模型梯度直接融入扩散模型的生成过程，其中还使用了偏好向量。
算法流程：用LHS生成初始样本，通过真实函数评价获得各目标函数值，并通过非支配排序建立初始 Pareto 解集档案。随后，利用当前非支配解训练基于 Transformer 的条件扩散模型（对非支配解人为添加高斯噪声Xt，训练使用的偏好向量是计算得来，让 Transformer 学习预测噪声，从而掌握高质量解的分布），同时利用所有已真实评价的样本为每个目标函数训练一个 RBF 代理模型（用于预测目标值并计算梯度）。接着，通过 Simplex-Lattice 方法生成多个偏好向量（用于指定不同的目标权衡区域），以偏好向量作为条件，从随机高斯噪声出发进行反向扩散采样，并在去噪过程中利用 RBF 代理模型计算各目标梯度，通过多梯度下降方法（MGD）获得共同下降方向，引导生成的候选解向更优目标区域移动（最后时间步t降为0对应的X0为候选解）。之后，利用目标空间排斥机制提高候选解的多样性（避免候选解过度集中于相似的目标区域），再结合 EHVI（期望超体积改进）、UCB（兼顾预测值与不确定性）和 CD（拥挤距离）构建熵加权采集函数（并不是分配比例计算和，利用权重计算），从生成的候选解中筛选出 K 个具有潜力且分布较分散的候选解进行真实函数评价。最后，将新评价的解加入档案并更新非支配解集，利用更新后的数据重新训练 RBF 代理模型，同时在上一轮参数基础上微调 Transformer 扩散模型，不断重复候选解生成、筛选与真实评价过程，直到真实函数评价预算耗尽，最终输出近似 Pareto 最优解集。
启发：1.扩散模型的使用，本文用基于transform的扩散模型生成高质量候选解，可以考虑将扩散模型、生成式 Transformer 等方法作为传统进化算子的补充或替代。来生成候选解。2.能够避免对RBF代理的多次循环训练，使用不需要重复训练的代理3.扩散模型在每次生成候选解时，都需要多次的反向去噪，计算开销大。
8.GSAEA------Grouping via Sensitivity Analysis Evolutionary Algorithm for High-Dimensional Expensive Multi-Objective Optimizatio
前提：变量分组的有效性受到问题可分性、代理模型可靠性和分组规则的影响
创新：1.通过Sobol 敏感性分析识别决策变量对目标函数的贡献，并将高维决策变量划分为收敛性相关变量和多样性相关变量，从而实现针对性的分组优化。2.没有用采集函数，而是用一个训练好的RBF代理模型预测值来进行选择真实评价的样本。
GSAEA 算法总体流程：
首先，采用LHS生成初始样本，通过真实函数评估获得目标值并建立历史样本档案（Archive）；随后，针对各目标函数分别构建 Kriging 代理模型，通过 Sobol 一阶敏感性分析计算各决策变量对目标函数的平均贡献，将变量划分为收敛性相关变量（CV，敏感性较低）和多样性相关变量（DV，敏感性较高），分组完成后在整个优化过程中保持不变；接着，利用历史样本构建三类 RBF 代理模型：局部目标函数代理模型 (R_{Obj})（通过 K-means 聚类建立局部模型，用于预测目标函数值）、收敛性代理模型 (R_{Con})（预测候选解与理想点之间的距离 Con，越小表示收敛性越好）和综合性能代理模型 (R_{SDE})（预测兼顾收敛性与多样性的 SDE 指标，越大越好）；然后，针对不同变量组分别进行优化：对于 CV，利用 (R_{Con}) 预测的 Con 值进行锦标赛选择，通过差分进化（DE）仅优化 CV 变量，并保留 Con 较小的解，以提高收敛性；对于 DV，同样利用 (R_{Con}) 辅助锦标赛选择父代，通过遗传算法（GA）仅优化 DV 变量，再利用 (R_{Obj}) 预测子代目标值，通过保留极端解和基于余弦值的角度选择策略维持种群多样性；最后，将两组优化后的变量重新组合成完整的高维候选解（变量的相对位置和之前一样），利用 (R_{SDE}) 预测其综合性能，选取 SDE 最大的前 (k) 个候选解进行真实函数评估，并将新样本加入 Archive，更新三类 RBF 代理模型，重复分组优化与填充采样过程（不再重新进行变量分组），直至达到最大真实函数评估次数，输出最终优化解集。
启发：1.高维不一定只能通过通过特征提取、子空间投影等方式进行降维，本文的根据变量作用进行分组，在不同变量子集上分别执行优化。2.代理模型不一定只能用于预测目标函数值，还可以用于预测优化指标，进而提高计算效率。3.自适应分组策略（何时重新分组）。
知识补充
1.维持多样性的一种常见做法是优先保留与已选解角度差异较大的候选解，基于余弦相似度。