传统的推荐系统存在数据高度稀疏、冷启动及用户偏好建模难等问题, 而把情境信息融入推荐系统中能有效缓解此类问题. 深度学习技术已经成为人工智能领域研究热点, 把深度学习应用在情境感知推荐系统当中, 为推荐领域的研究带来新的机遇与挑战. 本文从情境感知推荐系统相关概念出发, 综合整理国内外研究相关文献, 介绍深度学习技术融入情境感知推荐系统相关应用模型, 提出了基于深度学习的情境感知推荐系统研究的不足以及对未来的展望.
Integrating context information into the traditional recommendation systems can effectively solve the problems such as data highly sparse, cold boot, and difficult to model user preference. Deep learning technology has become a research hotspot in the field of artificial intelligence in recent years, it will bring new opportunities and challenges to research in the field of recommendation while deep learning is applied into context-aware recommender systems. In this paper, some application models about the integration of deep learning technology into context-aware recommendation systems are mentioned, and deficiency of context-aware recommender systems based on deep learning and prospect in the future are elaborated at the same time, by introducing the related concepts of context-aware recommender systems and collating relevant research literatures worldwide.
伴随着新信息技术时代的到来, 云计算、大数据、物联网、人工智能等信息技术得到了快速发展, 传统产业数字化也要面临着转型等问题. IDC《数字宇宙》的研究报告表明, 2020年全球新建和复制的信息量是2012年的12倍, 将超过40 ZB. 然而, 几何级增长的数据量为人们的生活带来便利的同时也附带了许多的问题. 商家与客户的信息需求矛盾, 商家是想要把产品信息提供给尽可能多的客户, 而客户难于从这庞大的信息中寻找到对自己最有用的商品信息. 于是推荐系统就应运而生, 它能根据用户的需求、兴趣以及隐藏的个性, 为用户推荐个性化的项目信息, 极大方便了用户对有用信息的获取. 传统的推荐系统有基于内容推荐、协同过滤推荐和混合推荐, 但是它们只是建立在用户和物品的二者关系上, 忽略了需要融入如用户地点、当前时间、天气及温度等特定情境信息. 如果能把自适应的情境信息整合到推荐系统中, 并且考虑用户、物品、情境三者之间的相关性, 就能极大地提高推荐系统的匹配效果. 近几年, 深度学习技术取得了重大突破, 已经成为人工智能领域研究热点之一. 由于深度学习表征学习能力较强, 因此也实用于推荐系统领域. 国际计算机学会(ACM)主办的推荐系统专场(Recsys)是推荐系统领域的顶级会议之一. 从2007年召开第一次会议以来, 每一年都针对推荐系统领域的研究现状提出不同的研究热点. 2008年, 会议开始考虑把情境信息融入到推荐系统当中, 使得推荐系统能够根据当时所在时间和位置给出更合适宜的推荐, 比如旅行推荐. 到了2016年第一次召开了把深度学习技术融入到推荐系统当中的专题研讨会, 就是在这一年深度学习成为推荐系统研究的主流方法.
情境的定义一直在学术界众说纷纭, 不同领域都有其自己的说法, 至今依然没有一个统一的定论. 情境, 又称上下文、情景, 是指任何一切可以用来描述实体状况的信息, 包括位置、时间、空间、对象、系统和服务等. 沈旺等学者认为情境是用于表征用户及其应用程序相关的实体状况的所有信息的集合, 包括时间、物理环境、系统功能和服务、人和计算实体参与的活动和任务及其相互的关系等内容[
1994 年Schilit等提出情境感知这一概念之后, 情境感知技术便随之而兴起, 推动了推荐系统在各个领域的发展[
情境感知推荐系统就是在传统的推荐系统中融入情境信息, 效用函数由
情境预过滤, 指由当前情境信息筛选相关性最强的用户和项目数据信息用于推荐, 让数据信息圈定在特定的情境范围内, 即系统只考虑与当前情境相关的数据. 例如, 用户想在春季去旅行, 则系统只保留用户春季旅行相关评分数据, 然后采用传统的二维推荐模型来评分预测. 目前最流行且有效的情境预过滤技术是情境感知拆分方法[
情境后过滤, 与情境预过滤相反, 首先采用传统的二维推荐技术进行预测而不考虑情境信息, 再根据给定情境信息滤除不相关的推荐结果和调整推荐列表的顺序. 例如, 用户想在春季旅行时去爬山, 那么在推荐列表里只保留与爬山相关的信息. 殷聪等学者提出基于TF-IDF的情境后过滤推荐算法用于餐饮业用户评分预测上, 缓解信息过载问题并提升推荐效果[
情境建模, 不同于前两种模式, 是把情境信息作为显式因素融入到二维推荐函数中, 将用户、项目和情境信息整体考虑, 生成多维预测模型(决策树、LDA主题模型等)[
在以上3种模式中, 情境预过滤和情境后过滤模式都是对情境因素单独考虑, 有利于采用传统的二维推荐模型进行评分预测. 但是容易面临数据稀疏问题, 而且这样的降维方法只针对特定部分数据建立局部模型进行推荐, 忽略了全部数据的完整性, 影响推荐性能. 而情境建模不存在以上问题, 但是面对高维度的数据处理, 计算难度大. 深度学习的强特征表达能力和计算能力, 正好完善了情境建模的方法, 提升推荐效果.
机器学习技术在现代社会的各个方面表现出了强大的功能, 从Web搜索到社会网络内容过滤, 再到电子商务网站上的商品推荐都有涉足. 机器学习系统被用来识别图片中的目标, 将语音转换成文本, 匹配新闻元素, 根据用户兴趣提供职位或产品, 选择相关的搜索结果[
深度学习就是一种特征学习方法, 把原始数据通过一些简单的但是非线性的模型转变为更高层次的, 更加抽象的表达. 通过足够多的转换的组合, 非常复杂的函数也可以被学习. 经过众多研究人员坚持不懈的努力, 应用在情境感知推荐系统的深度学习模型主要有: 自编码器(AE)、循环神经网络(RNN)、多层感知机(MLP)等.
Rumelhart等在1986年首先提出自编码器(AutoEncoder, AE)的概念, 并将其用于复杂高维数据的降维处理和特征表达[
自编码器结构示意图
Rumelhart等在1986年首次提出循环神经网络(Recurrent Neural Network, RNN)的概念[
循环神经网络结构示意图
循环神经网络在推荐系统中的应用主要能够建模序列数据中不同时刻数据之间的依赖关系, 获取用户和项目的隐表示. 目前循环神经网络的应用场景主要包括评分预测、图像推荐、文本推荐和基于位置社交网络中的兴趣点推荐等.
多层感知机(MLP)是一种非常简单的神经网络, 其结构如
多层感知机在推荐系统中的应用主要是在梯度下降法的基础上, 利用反向传播算法对用户、项目和情境数据进行训练, 学习到用户和项目的隐表示, 进而产生推荐列表. 目前多层感知机在推荐系统应用场景主要包括广告点击率预测、视频推荐、基于位置社交网络中的兴趣点推荐等.
多层感知机结构示意图
情境感知推荐系统就是把相关情境信息融入推荐系统中为用户提供个性化的产品和服务. 然而用传统的机器学习方法处理多源异构的情境数据却较为困难. 这时把深度学习应用于情境感知推荐系统, 是推荐系统发展的一个创新性举动. 基于深度学习的情境感知推荐系统的基本的框架如
基于深度学习的情境感知推荐系统框架
情境建模是基于深度学习的情境感知推荐系统的核心内容, 主要体现在基于深度学习的情境信息表示和基于深度学习的情境感知推荐这两个方面.
传统的情境信息表示方法有张量分解技术[
Kim等提出一种新的情境感知推荐模型—卷积矩阵分解(ConvMF), 将卷积神经网络集成到概率矩阵分解中[
总的来说, 利用深度学习模型对情境信息进行有效表示可以对数据进行降维. 一方面. 利用自动编码器提取情境数据的深层次特征, 将情境信息的隐表示融入到二维评分矩阵中, 提高推荐系统的性能. 另一方面, 利用注意力机制对用户、项目和情境数据进行有效表示, 对高维多源异构数据进行降维, 有效缓解数据稀疏问题, 提升推荐效果. 但由于深度学习模型是利用隐藏层对情境信息进行特征表示, 易导致推荐模型解释性不足而使其应用领域受到限制.
传统的情境感知推荐是在用户和物品的二维关系上简单整合情境信息, 可提升一定推荐效果. 但类似序列推荐这样复杂的推荐场景, 在推荐系统中融入情境信息却有困难. Liu等提出一种新的情境感知循环神经网络(CA-RNN)[
目前来说, 基于深度学习的情境感知推荐研究主要集中在用户序列推荐问题上. 一方面, 传统的RNN作为一种经典的序列建模方法, 在长短期情境建模上仍有不足. 经过一系列改进的RNN模型[
将深度学习应用到情境感知推荐系统中, 能有效缓解数据稀疏问题, 提高推荐系统的性能, 因而被广泛应用在电子商务、兴趣点(POI)推荐、引文推荐、文档评分预测和新闻推荐等领域中. 相信未来会有更多的深度学习模型应用到情境感知推荐系统的更多应用领域.
基于深度学习的情境感知推荐系统的部分应用领域模型
应用领域 | 推荐模型 | 说明 |
电子商务 | Tensor-AutoRe和Hybrid-AutoRec[ |
不需要进行繁琐的特征工程, 根据特定的情境来生成更相关的推荐, 适合在线Flash销售. |
视频推荐 | 强化学习和深度双向循环神经网络(DBRNN)结合[ |
通过构建具有非策略(Q-Learning)算法的实时差分RL场景, 达到个性化自动视频推荐的
|
POI推荐 | 深度情境感知POI推荐模型(DCPR)[ |
模型包括三个协作层, 可以协同学习多源异构网络, 以联合优化整体模型. |
基于注意力的序列到序列生成模型(PA-Seq2Seq)[ |
采用局部注意力机制帮助解码器在预测某个丢失的登记点时集中关注特定范围的情境信息. | |
引文推荐 | 引文神经网络(NCN)[ |
采用编码器和译码器相结合的结构进行引文推荐, 提供高质量的引文推荐候选列表. |
基于长短期记忆(LSTM)的情境感知引文推荐模型[ |
基于LSTM学习引文语境和科学论文的分布式表示, 根据获得的引文上下文向量进行个性化的引文推荐. | |
文档评分预测 | 可变形卷积网络矩阵分解推荐模型(DCNMF)[ |
将DCN与字嵌入相结合, 深入捕获文档的上下文信息, 构建潜在模型, 并将其纳入概率矩阵分解(PMF)模型. |
基于注意力的卷积协同过滤推荐模型(Att-ConvCF)[ |
通过连接用户和项目的特征向量形成新的向量发送到非线性隐藏层以供评分预测. | |
上下文感知共同注意力神经网络(CCANN)[ |
用于动态地推断上下文和用户或项目之间的关系, 并通过共同注意力机制来模拟用户的情境偏好和项目的情境感知方面之间的匹配程度. | |
新闻推荐 | 新闻推荐系统的深度学习元体系结构(Chamelon)[ |
使用CNN从新闻文章和LSTM层提取文本特征, 以在用户会话中对被点击项目的序列进行建模. |
场地推荐 | 情境注意力循环体系结构(CARA)[ |
通过两种门控机制, 利用反馈序列和与序列相关的情境信息来捕获用户的动态偏好, 用于情境感知的场地推荐. |
虽然在推荐系统中应用深度学习技术已经成为当前国内外的研究热点, 但真正把深度学习技术与情境感知推荐系统相结合的研究才刚起步, 下面将探讨基于深度学习情境感知推荐系统研究的不足与对未来的展望.
(1)情境感知推荐系统模型的评价
情境感知推荐系统的一般流程如下: 首先通过传感器采集有效的数据, 识别和选择对推荐过程有利的因素; 充分考虑用户的情境信息, 以便梳理用户、项目、情境之间基本的关系; 然后构建各种情境感知推荐模型生成情境推荐列表, 更进一步深究用户偏好、项目和情境之间隐藏的关系; 最后, 评价情境感知推荐系统的性能使得推荐结果更精确. 然而目前推荐系统没有一个统一的评价体系用来评判推荐系统性能的好坏, 使得无法用合适的理由向用户解释为什么系统产生这样的推荐是合理的. 特别是深度学习技术融入推荐系统当中, 使得推荐系统的解释性更弱. 在未来, 应重点构建一个统一的推荐系统评价体系, 提升情境感知推荐系统模型的解释性.
(2)知识图谱与图神经网络在情境感知推荐系统中的应用
目前为止, 深度学习的不透明性使神经网络整体看起来仍然是一个黑箱. 目前大多数的深度学习情境感知推荐系统采用深度学习对用户、项目和情境信息进行特征表示, 而没有整体考虑用户、项目和情境之间的关系并以一个可视化的方式展现出来. 所以构建用户、项目和情境信息之间的知识图谱, 输入图神经网络模型进行特征表示, 将是未来的一个研究方向. 知识图谱是用多关系图以可视化的方式展现实体以及实体之间关系的知识库, 广泛应用于语义搜索、智能决策和个性化推荐等领域[
(3)深度学习情境感知推荐系统的潜在应用模型
深度学习有效的融入情境感知推荐系统中, 使得情境感知推荐系统研究受到越来越多学者的青睐. 除了图神经网络, 还有生成对抗网络(GAN)也可以用到情境感知推荐系统中. 因此面对不同的推荐场景, 模型所需的情境因素不一样, 从而无法构建统一的深度学习情境感知推荐模型. 在未来, 应针对不同的推荐系统应用领域, 充分考虑用户、项目和情境等相关数据, 构建不同的深度学习情境感知推荐系统框架, 从而提高推荐系统的性能.
在选择众多的互联网上, 需要对相关信息进行过滤、排序和高效传递, 以缓解信息过载的问题, 这给许多互联网用户带来了潜在的问题. 因此, 推荐系统通过使用算法搜索大量动态生成的信息来解决这个问题, 为用户提供个性化的内容和服务. 近年来, 这些系统都在使用人工智能领域的机器学习算法. 然而, 在推荐系统中选择合适的机器学习算法是很困难的. 但是深度学习技术的发展, 却给推荐系统带来新的机遇与挑战, 带动推荐系统在各个领域的发展. 本文通过从情境感知推荐系统相关概念入手, 介绍了基于深度学习的情境感知推荐系统及其应用. 深度学习在情境感知的推荐系统中的应用是目前的研究热点也是难点, 希望未来更多的研究人员对此有更多的突破.
沈旺, 马一鸣, 李贺. 基于情境感知的用户推荐系统研究综述. 图书情报工作, 2015, 59(21): 128–138.
Schilit BN, Theimer MM. Disseminating active map information to mobile hosts. IEEE Network: The Magazine of Global Internetworking, 1994, 8(5): 22–32.
万亚红, 黄樟钦, 陈旭辉, 等. 基于主动推理的情境感知系统框架. 计算机工程, 2004, 30(12): 8–9, 70.
史海燕, 韩秀静. 情境感知推荐系统研究进展. 情报科学, 2018, 36(7): 163–169.
Baltrunas L, Ricci F. Experimental evaluation of context-dependent collaborative filtering using item splitting. User Modeling and User-Adapted Interaction, 2014, 24(1–2): 7–34.
殷聪, 张李义. 基于TF-IDF的情境后过滤推荐算法研究——以餐饮业O2O为例. 数据分析与知识发现, 2018, 2(11): 28–36.
LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521(7553): 436–444.
Rumelhart DE, Hinton GE, Williams RJ. Learning representations by back- propagating errors. Nature, 1986, 323(6088): 533–538.
黄立威, 江碧涛, 吕守业, 等. 基于深度学习的推荐系统研究综述. 计算机学报, 2018, 41(7): 1619–1647.
Raza S, Ding C. Progress in context-aware recommender systems — an overview. Computer Science Review, 2019, 31: 84–97.
Liu Q, Wu S, Wang L. Multi-behavioral sequential prediction with recurrent log-bilinear model. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(6): 1254–1267.
Tripathi A, Ashwin TS, Guddeti RMR. EmoWare: A context-aware framework for personalized video recommendation using affective video sequences. IEEE Access, 2019, 7: 51185–51200.
Yang LB, Zheng Y, Cai XY, et al. A LSTM based model for personalized context-aware citation recommendation. IEEE Access, 2018, 6: 59618–59627.
Chen HL, Fu JN, Zhang L, et al. Deformable convolutional matrix factorization for document context-aware recommendation in social networks. IEEE Access, 2019, 7: 66347–66357.
Zhang BZ, Zhang HB, Sun XX, et al. Integrating an attention mechanism and convolution collaborative filtering for document context-aware rating prediction. IEEE Access, 2019, 7: 3826–3835.
黄恒琪, 于娟, 廖晓, 等. 知识图谱研究综述. 计算机系统应用, 2019, 28(6): 1–12.