王树森推荐系统学习笔记P21

推荐系统中的多样性 :物品相似性的度量 :1. 基于物品属性标签 ; (两个物品有越多相同的标签, 则表示两个物品越相似)如 : 类目 , 品牌 , 关键词 .......可以根据一级类目 , 二级类目 , 品牌 来计算相似度 ;2. 基于物品的向量表征 . (两个物品的向量的余弦相似度越大 , 则表示两个物品越相似 )注 : 用召回模型学到的物品的向量不适用于计算物品的相似度 ;原因 : 推荐系统中的长尾问题严重 , 因此使用双塔模型不能够很好的得到冷门物品的向量表示 , 因此会导致最终多样性算法的结果很差 .基于图文内容的向量表征更好 ;提升多样性的方法 :粗排与精排会对给定的n个候选物品进行打分 , 之后 通过后处理 会从n个候选物品中挑选出k个 , 既要它们的总分高 , 也需要它们有多样性 .精排的后处理通常被称为 重排 .Maximal Marginal Relevance(MMR)左边红色为已被选中的物品 , 记为集合S ;右边蓝色为未被选中的物品 , 记为集合R ;下边公式用于计算R集合中的每个物品i的MR分数;MMR就是要最大化每一个i的MR分数 ;概括 :1. 已选中的物品S初始化为空集 , 未选中的物品R初始化为全集{ 1 , ..... , n }2. 选择精排分数reward i 最高的物品 , 总集合R移到S .3. 做k-1轮循环 :a. 计算集合R中所有物品的分数{MRi} i ∈Rb.选出分数最高的物品 , 将其从R移到S ;滑动窗口 :MMR存在的问题是 :当已选中的物品越来越多(即集合S越大) , 越难找出物品i∈R , 使得i与S 中的物品都不相似 ;即 当S很大时 , 多样性分数总是约等于1 , 导致MMR算法失效 ;解决方案 :设置一个滑动窗口W , 比如最近选中的10个物品 , 用W代替MMR公式中的S ;重排的规则 :1.最多连续出现K篇某种笔记 ;2. 每K篇笔记最多出现1篇某种笔记 ;3.前t篇笔记中最多出现K篇某种笔记 ;MMR 重排规则 :重排会结合MMR与规则约束 : 在满足规则的前提下最大化MR ;每一轮先用规则排除掉R中的部分物品 , 得到子集R之后将MMR公式中的R替换成子集R , 选中的物品符合规则 ;