用于推荐系统评估的概念与指标(2)

332 阅读5分钟


新颖性通常指在推荐中出现新的物品,这在不同文献中有不同的定义。在此,我们将新颖性的定义和指标分为三个层次,如下表所示。本文中把新颖性指标称为𝑛𝑜𝑣(𝑅𝑢)。

  1. 日常生活级别的新颖性

创建衡量日常生活级别新颖性的指标并非易事。新颖性等级1的衡量必须考虑系统上下文中的信息,以便衡量用户已知和未知的内容。

2. 系统级别的新颖性

系统级别的新颖性有许多定义。简单来说,对用户而言,新项目是指用户不知道或者知道很少的项目。

有人认为,新颖性是指推荐系统预测用户不知道且通过其他渠道也不会发现的项目。新颖性也被定义为推荐项目与用户已消费的项目之间的差异。新颖性还被定义为用户预测列表中未知项目的比例。

在实践中,以上定义仅在观察用户消费历史中先前消费的物品时,才会考虑新项目,而不会考虑系统外消耗的物品。总而言之,系统级别的新颖性是指在系统信息中用户未知的项目。

大多数文献中提出的的新颖性都是系统级别的新颖性。 有人提出了这样一种评估方法:将推荐列表中的新颖性计算为推荐列表中的项目与用户历史消费中的项目之间的相似性(𝐻𝑢),公式7即该度量标准。

另一些人提出的新颖性则是计算用户的推荐列表中的项目的流行度的总和,公式8 即为这种方法。例如,可以通过消耗该项目的用户的数量来计算项目的流行度(𝑝𝑜𝑝)。此外,他们还提供了度量的变体,例如-𝑙𝑜𝑔2𝑝𝑜𝑝(𝑖)|𝑈| 。

3. 推荐列表级别的新颖性

第3级别涉及到推荐列表级别的新颖性,即不重复推荐的项目。从这个意义上讲,新颖性被定义为推荐列表中不包含用户信息的不重复的项目。说新颖性与用户未知的推荐列表中的非冗余项目有关。简而言之,级别3是级别2的极端情况,级别3甚至不允许推荐列表中出现冗余项目或重复推荐结果。

衡量新颖性第3级别仅需要调查推荐列表中的项目。新颖性第3级的指标不需要用户信息。从这个意义上讲,公式10能够计算推荐列表中项目的相似性,其中𝑑(𝑖,𝑗)表示项目𝑖和𝑗之间的距离。但是,该度量标准更像列表内相似性的度量标准,可能无法衡量新颖性。

此外,还有人提出了一个衡量推荐列表中新颖性的指标,见公式11。该度量考虑了项目在经过排序的推荐列表中的位置,用于计算浏览列表的折扣函数(𝑑𝑖𝑠𝑐(𝑖𝑘)。此外,度量还计算用户在浏览时看到项目(𝑝(𝑠𝑒𝑒𝑛|𝑖𝑘)的概率。由于该概率是指用户消费信息的不确定性,因此该度量最好在新颖性的2级和3级之间进行分类。

多样性

多样性关注推荐列表中项目的丰富程度。对于多样性指标,本文中使用的符号是𝑑𝑖𝑣(𝑅𝑢)。

一些人认为,推荐系统的多样性具有相反的相似效应。作者指出,变化小的推荐列表用户可能不感兴趣。另一些人认为,与用户的消费历史相比,推荐系统通常会预测类似的项目。因此,多样性意味着平衡推荐列表以涵盖用户的整个兴趣集。

与新颖性不同,多样性的定义在文献中大多一致。大家普遍认为多样性代表推荐列表中的各种项目。

有关多样性的度量,大家都倾向于将多样性计算为推荐列表中的项之间的不相似性。一些人提出了一种用于列表内相似性的度量,如公式12所示。函数𝑑(𝑖,𝑗)计算推荐列表𝑅𝑢中项目𝑖和𝑗之间的距离。该指标实际上捕获了列表的相似性;因此,该度量标准的低值表示更相似的列表,其中项目彼此相似。

内部列表相似性度量也被其他多样性工作所使用。另一些人把余弦相似度作为距离函数,该度量标准可以在公式13中看到。

还有人提出了另外的指标,如公式14所述。图14中的公式是针对列表内相似度的更具体的计算。该度量考虑了被分析的每对项目的位置的折扣函数(𝑑𝑖𝑠𝑐(𝑘)。此外,该度量还使用项之间的距离(𝑑(𝑖𝑘,𝑖𝑙),例如余弦相似距离。


相关阅读:

用于推荐系统评估的概念与指标

推荐系统的工作流程

白话推荐系统

想要了解推荐系统?看这里!(2)——神经网络方法

想要了解推荐系统?看这里!(1)——协同过滤与奇异值分解

AutoML如何实现智能推荐系统的自动上线和运维?

入门推荐系统,你不应该错过的知识清单

如欲了解更多,欢迎搜索并关注先荐微信公众号(ID:dsfsxj)

本账号为第四范式智能推荐产品先荐的官方账号。账号立足于计算机领域,特别是人工智能相关的前沿研究,旨在把更多与人工智能相关的知识分享给公众,从专业的角度促进公众对人工智能的理解;同时也希望为人工智能相关人员提供一个讨论、交流、学习的开放平台,从而早日让每个人都享受到人工智能创造的价值。