冷启动推荐隐式反馈去噪：从数据分层到门控模型

做推荐系统的朋友应该都有同感冷启动用户的模型效果不是“不太行”而是“几乎没有方向”。新用户生命周期前期可用的隐式反馈往往只有十几次点击、曝光和浏览记录但这里面真正代表用户偏好的信号可能只占一半另一半是误触、探索、标题党点击、惯性滑屏产生的假数据。在数据充沛的场景这类噪声会被大量交互平均掉但在冷启动场景噪声占比高到足以让整个模型跑偏。这篇文章我会从前因后果讲清楚冷启动推荐里隐式反馈去噪的本质再给出一套我自己在项目里反复打磨过的落地方案包括数据分层、模型结构、损失设计和线上实证经验。适合正在做推荐系统、尤其是刚接触冷启动问题和样本清洗的工程师参考。1. 冷启动场景下隐式反馈噪声为什么这么致命1.1 先还原隐式反馈的原貌它不是标签是痕迹显式反馈是用户直接告诉你他喜不喜欢比如打5分、点个赞。隐式反馈则完全不同它只是行为留下的痕迹用户点进一个视频、在某个商品页停留了30秒、把某篇文章滑到了底部、分享给了朋友。这些行为本身没有一句“我喜欢”需要你去推断背后的意图。问题就出在这个推断环节。点击这个行为背后可能代表的意图太多了也许是标题真的吸引人也许是封面图足够夺眼球也许是刚好出现在拇指正下方也许是用户在无意识下滑屏时顺手碰到的。一个点击行为发生的那一瞬间混合了兴趣、环境、误操作和内容包装四重因素。你必须接受一个现实任何单条隐式反馈都不能当作一个可靠的标签来用。这在冷启动场景更加复杂。老用户有上百条行为记录即使每条噪音比例不低通过整体统计还是能提取出稳定的偏好。冷启动用户的行为稀疏到只有十几条其中任何一条噪声都不再是“统计噪声”而是能直接影响模型判断的关键样本。一个误触的点击可能是你唯一能拿到的正样本模型会把它当作用户真实兴趣去拟合。1.2 新用户最常见的四类假信号我把冷启动新用户产生的隐式反馈里最容易误导模型的假信号归纳为四类这是我实际排查样本时反复确认过的。第一类是位置型误触。移动端推荐页前三屏的位置天然带有点击偏向用户并不是因为喜欢才点而是因为“它就在那里”。尤其当用户刚注册、还在熟悉界面时没有明确浏览目标看到什么点什么是常态这种点击和真实偏好的相关性很低。第二类是探索型点击。新用户对平台还不了解看到不熟悉的内容类型会出于好奇点进去但发现不是自己的菜很快就退出来。这种探索行为在行为序列上表现为“短停留快速跳出”但它反映了用户对新事物的试探意愿不能说用户讨厌这个类目也不能说用户喜欢。第三类是惯性消费。用户把推荐流当成了刷短视频的机械动作手指不停上滑内容根本没过脑子。这类行为表面上产生了大量有效曝光和若干点击实际上用户的注意力阈值极低行为序列呈现连续密集且与内容主题无关的特点。第四类是标题党吸引。内容本身不匹配用户需求但包装得非常吸引人用户被诱导点击读完后发现被耍了。这种点击来源于内容的骗击能力和用户兴趣没有正向关联反而是对平台信任的消耗。这四类假信号各有各的形态用统一的去噪策略处理往往效果不佳需要分别设计识别逻辑。冷启动去噪的第一原则就是分而治之先识别噪声类型再决定是否降权、剔除或标签翻转。1.3 冷启动为什么对噪声特别敏感冷启动对噪声的高敏感度不是“数据少”这一个原因造成的而是三个因素叠加的结果。第一个因素是信噪比极低。新用户活跃期前几天的行为记录里探索行为和真实偏好行为的边界非常模糊。我统计过某个内容类项目的冷启动用户行为数据前50次点击中停留时间低于3秒的比例超过40%这类点击本质上很难承担正样本职责。当信噪比低到这种程度模型学到的更多是噪声的统计特征而不是用户偏好。第二个因素是模型训练的目标冲突。推荐模型在冷启动阶段既要快速拟合用户偏好又要保持一定的探索多样性。大多数模型并不知道“哪些样本是可靠的”它在训练中被带噪样本惩罚被迫学习一个错误映射。比如用户误触了一个游戏类内容并立即退出模型会认为这类用户对游戏感兴趣未来疯狂推荐游戏内容用户被惹毛了直接流失。第三个因素是噪声的正反馈循环。推荐系统本身会放大交互数据里的偏见。如果你把一个噪声点击当成正样本模型就会加大该内容类型的曝光占比用户被迫看到更多不感兴趣的内容从而产生更多防御性点击或跳过行为这些新产生的低质行为又会被当作反馈数据回流形成恶性循环。冷启动用户如果在前3天感受到推荐完全不懂自己流失概率极大你可能根本没有机会得到后续反馈来纠正错误。所以冷启动场景下的去噪本质上不是在“清洗数据”而是在“保护模型的学习方向”。这也是为什么很多团队在数据充沛时不太重视去噪一转入冷启动专项去噪立刻变成最重要的事。2. 常见去噪思路从行为加权到参数化去噪模型2.1 行为信号加权最直观的思路是给不同强度的行为赋予不同权重而不是把点击一律当作正样本。行为强度从弱到强大致排列是曝光、点击、有效阅读、深度互动、消费转化。你可以手工定一套权重表比如点击权重0.3、停留满15秒权重0.7、收藏权重0.9、付费权重1.0然后按加权交叉熵训练模型。这个方案的优点是简单有效工程改动极小线上可解释性好。缺点也明显人工定的权重是静态的无法感知不同用户、不同内容类型、不同场景下的噪声比例差异。一个资深用户的长点击和一个新用户的误触点击表面都是点击内在信号质量相差悬殊静态权重没法区分。我建议把行为加权当作第一阶段去噪手段。它的核心价值不是直接解决问题而是提供一个稳定的baseline让你后续评估更复杂的去噪模型时有个对照。想直接跳过这一步上复杂模型通常会因为缺少对照而无法判断增益来源。2.2 启发式统计过滤第二类思路来自工程直觉通过统计规则把明显的噪声样本过滤掉。比较常见的规则有单次点击停留时长低于阈值如500毫秒判定为误触同一个session内连续点击超过N个内容且均无深度行为判定为惯性滑屏视频播放比例低于20%判定为无效点击对同一item在短时间内的重复点击只保留最高行为级别。这类规则的好处是计算成本低、见效快适合作为数据预处理的第一道关卡。我在项目中一般把它做成固定pipeline任何模型训练之前都会先过一遍。但启发式规则的瓶颈非常明显规则阈值需要人工调整不同业务场景差异大而且一旦噪声模式发生变化规则就失效了。比如你设定3秒以下为无效点击用户刷到一条高质量短内容2秒就看完了并点赞这条点击可能真的代表偏好却被你当作噪声扔掉了。所以启发式过滤的正确用法是设定一个保守下限只过滤掉“几乎可以确定是噪声”的样本比如500毫秒内的点击、页面可见区域之外的曝光点击。把边界模糊的样本留给更精细的去噪模型处理。2.3 对抗鲁棒训练对抗鲁棒的思路是既然噪声样本无法完全识别那就让模型对特征扰动不那么敏感。具体做法是在用户或item的embedding上做对抗扰动训练模型在扰动下仍然保持稳定的预测能力。这样即使噪声样本的特征和正常样本有偏差模型也不会被这些偏差带偏相当于给模型加了一层免疫。但你在冷启动场景用对抗鲁棒训练会碰上一个问题冷启动用户的交互太少embedding本身就极不稳定对抗扰动会进一步放大不确定性模型很容易训练不稳。我在一个项目里尝试过直接套用标准对抗训练结果离线AUC反而掉了。后来把扰动幅度做小、并限制扰动只施加在item侧特征上效果才稳定下来。这个方向的定位应该是辅助手段不单独承担去噪功能。它能改善模型在噪声环境下的泛化能力但不能明确告诉你哪些样本是噪声、哪些不是。如果你需要的是可解释的样本权重还需要结合其他手段。2.4 参数化去噪门控近两年在工程落地里更多人采用的是参数化去噪门控思路。核心做法是在主模型旁边加一个很小的门控网络输入行为特征、上下文特征和用户短期历史特征输出一个0到1之间的样本置信度权重。训练时把这个权重乘到主损失函数上噪声样本自动获得低权重高质量样本保持高权重。这个方案的关键在于如何设计门控网络的学习信号。如果直接训练一个二分类器去预测“样本是不是噪声”你需要噪声标签而噪声标签本身就是我们想要的东西这就陷入鸡生蛋的循环。实际工程中大家一般用弱监督信号来训练门控用行为等级作为辅助目标比如预测这个样本最终会产生多深的行为深度行为概率低的样本自然获得低置信度或者用多个任务的loss互补比如同时预测点击率和时长两个loss冲突较大的样本降低权重。这套方法在冷启动场景下非常实用因为它把“噪声识别”和“主任务学习”放在同一个模型里共同优化门控学到的是与当前推荐模型适配的噪声模式而且推理时不需要额外的数据流。代价是训练复杂度上升需要仔细设计辅助loss和梯度协调不然门控没训好反而拖累主任务。2.5 置信度学习还有一种思路来自噪声标签学习领域的置信度方法也是我比较推荐的。它的想法是让两个结构相同但初始化不同的模型在带噪数据上分别训练互相对比预测结果。如果两个模型在同一个样本上的预测置信度都很高但结果不一致说明这个样本很可能“错标”了——一个模型觉得是正样本另一个觉得是负样本矛盾集中在同一个点上大概率是噪声。在冷启动场景里这种用模型群体投票的思路比单模型自己判断更可靠。因为它不依赖人工规则纯粹通过预测稳定性来定位噪声。我实测下来对人工标注的噪声测试集置信度方法在高置信度区间能召回约60%的噪声样本精确率在同类方法中属于较好水平可以用来做样本级别的标签修正。它的缺点是需要训练两套模型训练成本翻倍。工程上可以先跑主模型定期跑一个置信度模型来重新标注样本而不是实时联合训练这样成本可控且能持续产出干净的数据集。方法对比方案实现复杂度冷启动适配度可解释性是否产出样本权重行为信号加权低中高是启发式统计过滤低高高是对抗鲁棒训练中高中低否参数化去噪门控中高中是置信度学习中高中高中是从实际项目的实操经验看我会建议把启发式过滤作为底座、参数化去噪门控作为主去噪模块、置信度学习作为周期性样本审计工具三层搭配使用效果最好。3. 一套可落地的冷启动去噪方案数据、模型与损失细节3.1 数据分层先做行为等级化去噪的第一步不在模型里而在数据加工阶段。你要把原始行为痕迹从“事件流”转换成“行为等级”这是所有后续工作的基础。我这里给出一个通用的行为分层规范你可以根据业务调整0级曝光无点击默认作为弱负样本候选1级点击保留为弱正样本等待后续判断2级点击且有效阅读如停留超过15秒或阅读进度超过30%中等正样本3级深度互动收藏、点赞、评论、转发等强正样本4级消费转化购买、付费、订阅等最强正样本数据加工时注意一个细节同一session内对同一个item的重复操作只保留最高等级避免行为重复计数。比如用户先点击再点赞这条样本的最终等级是3级而不是两条样本。行为等级不直接当标签用而是当作辅助信号给模型提供一个“行为深度”的回归目标。这比单纯用点击二分类训练更能捕捉样本的可靠性差异。3.2 负样本采样配合去噪不只针对正样本负样本同样有噪声问题。冷启动场景尤其明显一个推荐位上的内容用户没点击根本不是因为他讨厌而可能只是没注意到。如果把这些曝光未点击全部当作强负样本模型会学到“凡是没点过的东西都讨厌”导致推荐范围不断收窄。我的处理方式是把曝光未点击按概率采样为弱负样本采样比例视业务而定一般在20%到50%之间。采样时优先保留排在推荐列表前列的曝光未点击因为前列曝光被用户看到的概率更高未点击行为的信号相对更强排在很后面的曝光用户可能根本连内容都没扫到这种负样本的置信度极低直接丢掉或大幅降权。同时注意不要把“行为等级为0”的样本全部从训练中剔除。冷启动用户几乎没有交互全删掉就没有负样本可用了。正确的做法是用低权重保留一部分让模型对“用户没看”这个事实保持基础感知。3.3 双塔模型上接去噪门控我用一套改进的双塔结构来处理冷启动去噪主结构还是user塔和item塔但在双塔之上增加一个去噪门控分支。主体可以用pytorch风格的伪代码来表达class ColdStartModel(nn.Module): def __init__(self, user_dim, item_dim, feat_dim): super().__init__() # 用户塔与物品塔输出为 d 维向量 self.user_tower nn.Sequential( nn.Linear(user_dim, 128), nn.ReLU(), nn.Linear(128, 64) ) self.item_tower nn.Sequential( nn.Linear(item_dim, 128), nn.ReLU(), nn.Linear(128, 64) ) # 去噪门控输入行为特征 上下文特征 self.gate_net nn.Sequential( nn.Linear(feat_dim, 32), nn.ReLU(), nn.Linear(32, 1) ) def forward(self, user_feat, item_feat, gate_feat): user_emb self.user_tower(user_feat) item_emb self.item_tower(item_feat) score torch.sigmoid((user_emb * item_emb).sum(dim-1)) gate torch.sigmoid(self.gate_net(gate_feat)) return score, gate这里的关键点是门控网络的输入特征设计。不能只输入行为类型本身否则门控学到的只是不同行为类型的静态权重那和人工配权重没有区别。我在实践中会拼入以下特征行为等级类别型embedding当前session内用户行为密集度单位时间内点击次数该item的历史全局点击率衡量内容本身是否有骗击倾向当前推荐位的曝光位置用来消解位置型误触用户对新内容的探索倾向曝光类目多样性这些特征组合起来门控才能学到“同样是一次点击在不同上下文下置信度不同”的复杂模式。3.4 多任务损失配方去噪门控的训练不能只靠一个主任务loss需要配合辅助任务让门控有明确的学习目标。我的损失配方是三个loss的加权组合。主任务是点击预测的交叉熵这个不用多说。辅助任务一是行为深度预测用等级归一化后的值做回归让模型知道这条样本最终会发展到多深的行为行为深度低的样本门控输出会自动降低。辅助任务二是置信度正则项对门控的输出做均值约束防止门控把所有样本的权重都压到0附近。伪代码如下def loss_with_gate(score, label, gate, depth_pred, depth_target): main_loss F.binary_cross_entropy(score, label, reductionnone) main_loss (gate * main_loss).mean() depth_loss F.mse_loss(depth_pred, depth_target) gate_mean gate.mean() # 约束门控均值不要过低避免有效样本被过度抑制 reg_loss 0.05 * torch.abs(gate_mean - 0.5) return main_loss 0.5 * depth_loss reg_loss辅助任务和主任务在同一个模型里共享双塔特征整体训练难度会上升。实际训练中我建议分阶段前10%的epoch只训练主任务让双塔特征先稳定下来中期再加入去噪门控和辅助loss最后一个阶段固定门控网络的权重只微调双塔。这种分阶段策略比一上来就全部联合训练稳定得多。3.5 针对冷启动的类目缓冲设计冷启动用户有一个老用户不太会遇到的问题item级偏好尚未建立但类目级偏好已经隐约可见。新用户点了一个运动鞋内容不一定代表他喜欢这双鞋但大概率说明他对运动品类有兴趣。如果模型在item级别直接学习很容易把一次性点击当作对具体item的偏好导致过度拟合。我在去噪门控之外额外加了一个类目缓冲层在训练时把用户点击的item映射到类目增加一个类目偏好的辅助预测。这个类目偏好的学习不依赖单次点击的强标签而是依赖该用户在一个时间窗内点击类目的分布一致性。如果用户在3天内的点击分散在七八个完全无关的类目类目偏好信号就弱单条item点击的置信度也会被下调如果点击集中在两三个相关类目类目偏好就强即使某些item点击时长很短也应该给相对较高的置信度。类目缓冲层在工程上实现并不复杂只需要在数据加工时保存item到类目的映射在模型里加一个类目embedding和辅助loss即可。但这层带来的收益在冷启动评估指标上非常明显新用户首日有效时长和次日留存率都有稳定提升。3.6 实验设计、评估与调参记录去噪方案上线之前最关键的动作是切分评估口径。你不能只看整体AUC因为冷启动用户占比小整体指标会把冷启动的效果拉平。我在评估时固定划分为三个子集新用户组历史行为少于5次、成长用户组历史行为5到50次、成熟用户组历史行为超过50次。冷启动去噪的目标是前两个子集指标明显提升成熟用户组不下降。离线指标建议同时关注AUC和GAUCGAUC按用户分组计算更能反映推荐列表的用户级效果。冷启动用户因为行为稀疏AUC天然偏低我更重视GAUC和首屏有效点击率这两个指标与线上真实体验的相关性更强。在线A/B测试要看三个核心指标新用户次日留存率、新用户人均有效消费时长、推荐列表跳出率。我根据多个项目的实证经验去噪门控方案上线后新用户次日留存率相对提升5%到15%是常见水平人均有效消费时长提升8%左右跳出率下降2到5个百分点。调参经验上门控网络不要太大32维隐藏层就够模型大了容易过拟合噪声模式辅助loss的权重系数建议从0.3起步先观察门控输出的分布如果标准差过大就调低权重正则项的均值锚点我一般设置在0.5如果数据显示业务场景噪声比例极高可以下调到0.4。4. 冷启动去噪的常见翻车现场与问题排查速查4.1 六个典型问题我整理了冷启动去噪方案落地过程中最常见的翻车场景以及排查思路问题现象可能原因排查步骤与解法新用户指标不升反降去噪损伤了探索多样性样本被过度清洗查看新用户首个session的点击样本门控权重分布把门控权重下限从0调到0.1保留基本探索信号离线指标涨、线上无收益门控使用了线上拿不到的特征造成训练与推断特征分布不一致逐一检查门控输入特征在线上链路是否可用替代为离线可算、线上可广播的统计特征门控权重集中到0或1门控网络过拟合梯度饱和给门控输出做平滑约束限制在0.1到0.9区间增加dropout降低门控网络容量低频长尾兴趣被误杀样本量和噪声概率在统计上天然相关低频不等于噪声不要在特征里直接拼“频次”字段改为“同用户同类目行为一致性”作为门控特征联合训练不稳定loss震荡多任务梯度冲突主任务和辅助任务量纲不一致对辅助target做标准化分阶段训练先主任务稳定后再开联合优化门控对位置偏差无感知位置特征没进门控或位置特征被embedding稀释把position作为独立类别特征输入门控别和user特征拼接在一起这些翻车现场我基本都踩过。最值得提醒的是前两个离线涨线上不涨的问题最容易让人对去噪方案失去信心但多数情况下不是方案本身的问题而是特征一致性的工程问题。4.2 上线前检查单去噪模块上线前我会强制走一遍检查单门控网络使用的所有特征在线上推断时是否都能实时拿到不能拿到的一律换掉训练数据的时间窗口是否完整覆盖了线上用户的行为分布比如线上推荐列表里新内容占比变高训练集是不是也需要同步调整门控权重分布是否在业务可接受范围最高权重和最低权重的比值不宜超过10倍是否有针对冷启动用户的独立监控面板别等到整体大盘下跌才发现问题是否保留了去噪前的模型版本方便快速回滚对照这份检查单看起来朴实但每一条背后都有对应的真实事故案例。特征一致性这条我见过不止一次门控在离线训练时用了session内的深度行为统计结果线上实时请求时该特征缺失门控只能退化成随机权重整个去噪逻辑形同虚设。5. 最后说几点冷启动场景特有的体会去噪这件事在数据充沛的场景里是锦上添花在冷启动场景里是雪中送炭。但雪中送炭不等于下猛药。我见过有团队把低频行为全部剔除样本量骤降到原来的十分之一模型指标不升反降。原因是低频行为里其实藏着大量高价值长尾兴趣你把孩子和洗澡水一起倒掉了。我个人在实际项目中形成的最终方案是“三层漏斗”第一层启发式过滤只去掉物理上几乎不可能有效的样本第二层门控网络做软权重调节第三层周期性用置信度学习方法审计并对极少数高置信噪声样本做标签重标。这套方案的训练成本比单一门控方案高出大概20%但换来的是稳定性和可解释性。还有一点特别想分享给正在做推荐系统的朋友冷启动去噪要和探索机制配合。去噪负责识别真信号探索机制负责在不确定性高的早期阶段给用户更多新鲜内容。如果只去噪不探索新用户的所有需求都被严格限定在已知信号里推荐结果会越来越窄用户很快会感到单调而流失。两者搭配起来才能在早期既保住推荐准确率又维持内容的多样性。从构建行为等级化数据到训练去噪门控网络再到上线后的持续审计这套流程的核心逻辑始终是同一个冷启动阶段你看到的用户偏好可能只有三成是真的你要做的是把假信号筛掉同时保留足够空间让真信号在探索中逐步生长。