干货 | 个性化推荐系统五大研究热点之深度学习(一)

3,407 阅读7分钟

【编者按】在这个科技高速发展、信息爆炸的时代,毫不夸张地说,推荐系统已经完全融入了我们的生活。我们去哪一家餐馆、买哪一件衣服、浏览哪一类信息、观看哪一种视频,很大程度上都取决于背后的推荐系统。

在本文中,微软亚洲研究院社会计算组的研究员们从深度学习、知识图谱、强化学习、用户画像、可解释性推荐等五个方面,展望了未来推荐系统发展的方向。全文已获得微软研究院AI头条(ID:MSRAsia)授权转载。文章干货较多,建议收藏!

“猜你喜欢”、“购买过此商品的用户还购买过……”对于离不开社交平台、电商、新闻阅读、生活服务的现代互联网用户来说,个性化推荐已经不是什么新鲜事儿。

随着信息技术和互联网行业的发展,信息过载成了人们处理信息的挑战。对于用户而言,如何在以指数增长的资源中快速、准确地定位到自己需要的内容是一个非常重要且极具挑战的事情。对于商家而言,如何把恰当的物品及时呈现给用户,从而促进交易量和经济增长,也是一件颇具难度的事情。推荐系统的诞生极大地缓解了这个困难。

推荐系统是一种信息过滤系统,能根据用户的档案或者历史行为记录,学习出用户的兴趣爱好,预测出用户对给定物品的评分或偏好。它改变了商家与用户的沟通方式,加强了和用户之间的交互性。


据报道,推荐系统给亚马逊带来了35%的销售收入,给Netflix带来了高达75%的消费,并且Youtube主页上60%的浏览来自推荐服务。

因此,如何搭建有效的推荐系统意义深远。我们将从深度学习的应用、知识图谱的应用、强化学习的应用、用户画像和可解释推荐等几个方面,一起看看推荐系统的未来。本文将围绕深度学习在推荐系统中的应用展开讨论。

推荐系统与深度学习

近几年深度学习的技术应用在语音识别、计算机视觉和自然语言理解等领域,取得了巨大的成功,如何将其应用到推荐系统是当前的研究热点。深度推荐系统现阶段的应用主要体现在如下三个层面:

  1. 提升表征学习能力。深度神经网络的优势在于其强大的表征学习能力。因此,一种最直接的应用是,利用深度学习技术从复杂的内容数据中学习出有效的隐因子特征表示,从而后续可以很方便地为推荐系统所用。
  2. 深度协同过滤。经典的矩阵分解模型可以被描述为一种非常简单的神经网络。我们可以通过拓展其中的结构,引入更多的非线性单元来加强推荐模型的功能。例如,在WWW 2017论文Neural collaborative filtering中,作者提出了加强版的矩阵分解模型。一方面,它弥补了两个隐向量的朴素点积操作不能区分各维度之间重要性差别的弱点;另一方面,它额外引入了一个多层感知机模块,用来引入更多的非线性操作。除此之外,自动编码机、卷积神经网络、记忆网络、注意力网络等深度学习相关技术也分别被应用在改进传统的协同过滤模型中,取得了不错的效果。
  3. 特征间的深度交互。企业级的推荐系统为了尽量提高模型的准确性,往往会使用丰富的、甚至异构的内容数据。这些特征从不同的维度展现了不同的信息,而且特征间的组合通常是非常有意义的。传统的交叉特征是由工程师手动设计的,这有很大的局限性,成本很高,并且不能拓展到未曾出现过的交叉模式中。因此学者们开始研究用神经网络去自动学习高阶的特征交互模式,弥补人工特征工程带来的种种局限性。这个层面相关的模型包括Wide&Deep、PNN、DeepFM、DCN、以及我们近期提出的xDeepFM模型(《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》,KDD 2018)等。

深度学习技术在推荐系统中的应用前景很广阔。下面简要介绍几个未来可能的研究方向:

1. 效率与可拓展性

对于工业界推荐系统而言,不仅需要考虑模型的准确度运行效率可维护性也是非常重要 的方面。效率指的是当用户发来一个请求时,推荐系统能够以接近实时的速度返回结果,而不需让用户等待;可维护性指系统的部署简便,能够支持定期更新,或者增量式更新。众所周知,复杂神经网络的计算量是庞大的,如何将它们更高效地应用在超大规模的推荐平台上,是亟需解决的技术难点。

2. 多样化数据融合

现实平台中,用户或者物品的数据往往是复杂多样的。物品的内容可以包括文本、图像、类别等数据;用户的行为数据可以来自多个领域,例如社交网络、搜索引擎、新闻阅读应用等;用户的行为反馈也可以是丰富多样的,例如电商网站中,用户的行为可能有搜索、浏览、点击、收藏、购买等。不仅如此,在这些不同的维度中,不同用户或物品的数据分布也千差万别;用户在不同的行为反馈上的数据量也不同,点击行为的数据量往往远大于购买行为的数据量。因此,单一、同构的模型是不能有效地处理这些多样化的数据的。如何深度融合这些复杂数据是一个技术难点。

3. 捕捉用户长短期偏好

用户的偏好大致可以分为长期和短期两类。长期偏好往往指用户的兴趣所在,例如她是五月天的歌迷,那么未来很长时间她都会对五月天的歌曲、演唱会门票感兴趣;短期偏好指的是用户在当前环境下的即时兴趣,例如最近一周用户比较喜欢听抖音上的热门歌曲,那么推荐系统也应该捕捉到用户的这个兴趣,或者用户在未来一个月有搬家的打算,那么推荐系统可以适当地推送一些搬家公司的广告。目前一些流行的做法是,将循环神经网络与深度协同过滤技术结合,从而达到兼顾长短期记忆的功能。如何结合情境因素的影响,将用户的长期偏好与短期需求更紧密、有效地结合起来,也是一个研究热点。


下一篇文章我们将围绕“推荐系统与知识图谱”的研究展开讨论。想要了解关于推荐系统的更多研究热点,还请持续关注,欢迎分享与收藏!