推荐系统论文题目

论文：题目:《A Contextualized Temporal Attention Mechanism for Sequential Recommendation》地址：序列推荐任务很少使用时间和上下文信息对h(h就是rnn，gru等序列建模网络输出的状态)进行加权，www这篇论文融合了上下文和时间信息的加权信号，一起看看吧，虽然笔者觉得这篇论文非常笨重。。这篇论文的背景其实可以放在sequence recommendation任务中去看待，根据历史记录中用户的先后行为来预测用户的偏好对于现代推荐系统而言具有挑战性且至关重要。现有的大多数序列推荐算法都将重点放在顺序动作之间的传递结构上，但是在对历史事件对当前预测的影响进行建模时，很大程度上会忽略时间和上下文信息。论文认为，过去事件对用户当前动作的影响应随时间推移以及在不同背景下发生变化。因此，我们提出了一个基于上下文和时间的注意机制，该机制可以学会权衡历史行为对行为的影响，不仅影响行为是什么，而且还影响行为发生的时间和方式。更具体地说，为了动态地校准自注意机制的相对输入依存关系，我们设计了多个参数化的核函数来学习各种时间动态，然后使用上下文信息来确定对每个输入遵循哪些weight kernel函数。上面的说法可能有点晦涩难懂，下面结合一张图来描述一下以上图中所示的在线购物场景为例：系统获得了一系列用户行为记录，并且需要推荐下一组商品。我们应该注意，在此场景中，我们假设这些交互行为不是彼此独立的，这更好地反映了推荐系统只能访问脱机数据和部分用户行为记录的情况。好了，接着看上图中的场景，用户在过去的一段时间内点击来网球拍，手机，运动鞋，智能手环，然后在昨天一直在浏览手机，那么这个时候我们需要预估用户的下一次点击，这个时候的用户正想买一个手表，那么这个时候系统是给用户推荐运动手表呢，还是推荐电子手表呢，因为用户过去的浏览有运动类的物品和智能设备的物品。按照时间的分段性来看：长期的历史记录表明用户对购物体育相关产品感兴趣。现在，用户正在寻找手表，该系统可以推荐一些运动手表。从本质上讲，长期的用户历史记录通常可能会携带稀少但至关重要的用户偏好信息，影响着现在的意图，而最近的交互操作应该会更能代表用户在将来的意图。按上下文细分：由于用户仔细浏览几个智能手机（比平均时间间隔短得多的时间间隔），因此可以认为这些物品跟当前用户的偏爱非常相关，因此智能手表可能比传统手表更受青睐。通常，用户浏览日志的某些时间段可能看起来是异构的，这个时间段里面充满了用户的短期兴趣偏好，用户在这个时间点上会以重复的方式专注于一小部分同类物品。很容易理解，时间因素可以理解为用户的长期兴趣偏好，即使在很遥远的历史，也会对现在的兴趣产生影响，上下文偏好可以理解为用户的短期兴趣偏好，也就是用户在近期浏览的物品表征了用户现在的短期意图。说白了就是对用户进行长短期兴趣建模。本来不想说这三个问题的，无奈部分论文说的太抽象了，或许是越抽象越容易中稿？说实话这篇论文在解释时间跟上下文关系的时候说的太晦涩难懂了，笔者看的也是很头疼，比如下面这段话：首先，我们看第一个问题，我的理解就是用self-attention进行序列建模，第二个就是确定时间因素和上下文因素的影响，第三个就是综合考虑时间和上下文的影响。还是直接看模型吧，扯一堆什么因果关系看得头大：用户空间 U ，大小为U；物品空间 V ，大小为V。用户的历史行为序列为{ },其中 ={( , ), ( , ) , ... },其中用户u的交互时间，代表交互的物品。模型的输入为包括窗口大小为L的用户历史记录:{ ( ) i: 0 -> L},当前需要推荐的时间戳 ,输入序列的embedding X表示：同时将输入序列的时间信息使用时间戳差来表示：模型整体上分为三个部分：content-based attention，temporal kernels和contextualized mixture 三层模型可以表示为：其中，根据content X来计算每个输入的权重，输出权重序列α ∈ ；将时间信息 T 通过K temporal kernels计算每个输入的temporal权重β ∈ ；从 X 中提取context信息，并结合前两个阶段获得的α 和β 来计算得到最终的contextualized temporal权重γ ∈ 。最终被推荐的物品的表示为：其中，F-out是一个feed-forward层。这里用到的是self-attention机制，具体的细节不在赘述，只需要知道结果输出就行：其中表示最后一个物品的输入embedding，其实就是用最后一个物品的embedding作为key，self-attention最后一层的状态作为query来计算的。基于观察：用户随意浏览的物品对短期的影响会急剧下降，但是在长期来说仍有着重要的作用。用户仔细浏览过的物品对用户短期的兴趣有着重要的作用。所以，文章提出了很多temporal kernels来建模这种时间变化，不同的kernel函数 : → 如下所示： (1) = ,假设一个用户操作的影响会随着时间指数下降，但是永远不会消失。 (2) ,假设一个用户操作的影响会随着时间而减弱，最终可以忽略不计。 (3) -alT + b,假设一个用户操作的影响会随着时间线性下降，之后的softmax操作会将某个时间段内的影响置为0。 (4) 假设一个用户操作的影响不受时间影响。根据K个kernal函数{ },我们可以将 T 转为K个temporal权重集合：作为下一阶段的输入。这一阶段的目标是基于提取到的context信息融合前两个阶段获得的content和temporal信息。使用Bidirectional RNN结构来获得context信息。从输入序列embedding表示X中，我们可以计算得到循环隐藏层的状态：其中，⊕是拼接操作，C_attr是可选择的context特征（可以是特定推荐系统中每个行为的属性，表示行为发生时的上下文），本文中只使用了Bi-RNN的输出作为context特征。行为i的context特征需要映射为一个长度为K的权重向量，每一个元素都是这个行为经过后的结果，使用feed forwaed层Fγ将它们映射到概率空间，然后经过softmax操作得到概率分布：最后将context和temporal信息进行融合：其中， , 其中，r是每一个item的分数，对于给定的用户，通过softmax层对item分数进行归一化，该层会在item表上产生概率分布，也就是进行多分类的意思。其中Ns是根据频率进行负采样的负样本。

论文：论文题目：《Multi-Interest Network with Dynamic Routing for Recommendation at Tmall》论文地址：前面讲的论文大部分都是关于排序的算法，mind作为天猫商城召回阶段的算法，还是很值得阅读的。主流的推荐系统一般都分为matching(召回)和rangking(排序)两个阶段，不管在哪个阶段，都要学习和表示用户的兴趣向量。因此，最关键的能力是为任一阶段建模并得到能代表用户兴趣的向量。现有的大多数基于深度学习的模型都将一个用户表示为一个向量，如YoutubeDNN那篇论文，不足以捕获用户兴趣的不断变化的特点。基于以上原因，天猫提出了Mind方法，通过不同的视角来解决这个问题，并且用不同的向量来表示从用户不同方面的兴趣。天猫商城也是分为了召回和排序两个阶段，召回阶段的主要目标就是从亿级别的商品库中筛选出千级别的候选物品给排序阶段使用。在天猫场景下，用户每天都要与成百上千的商品发生交互，用户的兴趣表现得多种多样。如下图所示，不同的用户之间兴趣不相同，同时同一个用户也会表现出多样的兴趣：现在主流的召回阶段用到的召回算法要么是基于协同过滤的算法，要么是基于embedding召回的方法，但是这两个方法都有缺陷。协同过滤算法有着稀疏性和计算存储瓶颈方面的缺点，embedding的向量召回方法也有着几个缺点，一个是单一的向量无法准确表达出用户多种多样的兴趣，除非把这个向量长度变得特别大，还有一个就是，只有一个embedding会造成一定的头部效应，召回的结果往往是比较热门领域的商品（头部问题），对于较为小众领域的商品，召回能力不足，也就是更容易造成马太效应。正如我们在第一段话中阐述的那样，如果单个兴趣向量没法做到将所有的用户兴趣点覆盖，那么就多搞几个向量，几个向量同时来表示用户的兴趣点不就行了吗？事实证明这么做确实是可以的，而且天猫也通过这种方法大大提高了召回的效果。简单的先来看一下这个模型的架构，还是浓浓的阿里味，不管是item还是user在生成属于自己的向量的时候都会加上side information，这也是跟din,dien中一样传承下来的东西。整个模型关键的部分就在于这个Multi-Interest Extractor Layer层，后面我们就重点来讲一下这个层。召回阶段的目标是对于每个用户u∈U的请求，从亿级的商品池I中，选择成百上千的符合用户兴趣的商品候选集。每条样本可以表示成三元组（Iu,Pu,Fi)，其中Iu是用户u历史交互过的商品集合，Pu是用户画像信息，比如年龄和性别，Fi是目标商品的特征，如商品ID、商品品类ID。那么MIND的核心任务是将用户相关的特征转换成一系列的用户兴趣向量：接下来就是item的embedding了：说白了f函数就是个embedding+pooling层。我们有了用户的兴趣向量和物品向量e后，就可以通过如下的score公式计算得到topN的商品候选集：这个score的计算过程过其实是对这K个向量分别计算出一个分数然后取最大对那个。有了每个用户的兴趣向量后，我们就能对所有对item求一个分数，这样直接取topN就可以得到N个候选物品了。这一层跟我们之前介绍的论文din，dien中的操作是类似的。在user embedding中，输入部分包括user_id，还包括gender，city等用户画像信息，分别做完embedding后直接concat起来就得到用户的embedding。跟user侧不同的item embedding则是采用pooling操作来得到item embedding，将商品ID、品牌ID、店铺ID分别做embedding后再用avg pooling。这部分就是整个mind最关键的地方了，下面会进行详细讲解。我们认为，通过一个表示向量表示用户兴趣可能是捕获用户的多种兴趣的瓶颈，因为我们必须将与用户的多种兴趣相关的所有信息压缩到一个表示向量中。因此，关于用户的不同兴趣的所有信息混合在一起，从而导致在匹配阶段的项目检索不准确。所以，mind采用了多个兴趣向量来表示用户的不同兴趣。通过这种方式，可以在召回阶段分别考虑用户的不同兴趣，从而可以针对兴趣的各个方面进行更准确的检索。 Multi-Interest Extractor Layer，借鉴的是Hiton提出的胶囊网络。有关胶囊网络，下面的图可以帮助你快速理解（源于知乎：）：可以看到，胶囊网络和传统的神经网络较为类似。传统神经网络输入一堆标量，首先对这堆标量进行加权求和，然后通过非线性的激活函数得到一个标量输出。而对胶囊网络来说，这里输入的是一堆向量，这里的计算是一个迭代的过程，每次对输入的向量，先进行仿射变换，然后进行加权求和，最后用非线性的squash操作得到输出向量，可以看到胶囊网络的的输入跟输出还是跟传统DNN不一样的。但是，针对图像数据提出的原始路由算法不能直接应用于处理用户行为数据。因此，我们提出了“行为到兴趣（B2I）”动态路由，用于将用户的行为自适应地汇总到兴趣表示向量中，这与原始路由算法在三个方面有所不同。 1.共享双向线性映射矩阵在胶囊网络中，每一个输入向量和输出向量之间都有一个单独的双向映射矩阵，但是MIND中，仿射矩阵只有一个，所有向量之间共享同一个仿射矩阵。主要原因：一方面，用户行为的长度是可变的，天猫用户的行为范围是几十到几百，因此固定双线性映射矩阵的使用是可推广的，同时也减少了大量的参数。另一方面，我们希望兴趣胶囊位于相同的向量空间中，但是不同的双线性映射矩阵会将兴趣胶囊映射到不同的向量空间中。因此，映射的逻辑变成了：其中ei是用户行为中的item i的embedding，uj是兴趣胶囊j的向量。 2. 随机初始化胶囊网络的权值在原始的胶囊网络中，映射矩阵是初始化为0的，但是这样会导致几个问题。将路由对数初始化为零将导致相同的初始兴趣胶囊。从而，随后的迭代将陷入一种情况，在这种情况下，不同的关注点胶囊始终保持相同。这跟我们的意图是不一致的，我们希望生成不同的用户兴趣向量。因此，我们在初始化的时候，让胶囊网络中权重的初始化由全部设置为0变为基于正太分布的初始化。这里随机初始化的是bij而不是S，也就是胶囊映射逻辑矩阵，S是双向映射矩阵，不要搞混了。 3. 动态的用户兴趣数量由于不同用户拥有的兴趣胶囊数量可能不同，因此我们引入了启发式规则，用于针对不同用户自适应地调整K的值。具体来说，用户u的K值由下式计算：动态的调整会让那些兴趣点较少的用户节省一部分计算和存储资源。整个Multi-Interest Extractor Layer的计算过程如下：看到这里我有个疑惑，在于算法的第7点，我们的是用正太分布初始化的矩阵跟双向仿射变化后的向量相加的结果，这一点我在论文中并没有得到很好的理解，也就是说，本来是全零的，现在是用标准正态分布初始化后在去跟双向映射完的向量叠加吗？还有一个疑问就是，针对每一个j，我们利用所有的behavior的i计算得到一个向量uj，其实感觉应该就是在bij的计算上是不同的，只有bij的计算不同才会产生不同的wij，这样的话也就是说每一轮的bij都是有上一轮的结果来生成的意思？关于这两点我还是没能搞清楚，以我现在已有的知识来看，每次生成uj后都会利用整个uj去生成下一个bij，跟dcn里面的cross network有点类似，但是说不上来是为什么这么做，可能是这样计算保持来序列计算的特性。从图中我们也可以清楚的看出来，通过Multi-Interest Extractor Layer，我们得到了多个用户向量表示。接下来，每个向量与用户画像embedding进行拼接，经过两层全连接层（激活函数为Relu）得到多个用户兴趣向量表示。每个兴趣向量表征用户某一方面的兴趣。我们在前面获得了多个用户的兴趣向量，那么该如何知道这些兴趣向量中哪些是重要的，哪些是可以忽视的呢？这时候attention就派上了用场，正如我们在din中对用户历史行为中的每个item计算weight一样，我们在这个地方也构建一个一个attention网络，用来计算不同兴趣点的weight。看一下上面的attention网络在结合一下整个mind的模型结构不难得出，这个attention网络的q是候选item的embedding，k，v都是用户的兴趣向量。 attention的计算公式为：其中，除了计算vu跟ei的内积意外，mind还对这个内积进行了指数运算，这个p值起到了一个平滑对作用，到p接近0的时候，所有的weight是相近的，意味着每个兴趣点都会被关注到。到p大于1的时候，有些weight就会变得很大，而有些就会变得很小，相当于加强了跟candidate item强相关的兴趣点的权值，削弱了弱相关兴趣点的权值，此时更类似于一种hard attention，即直接选择attention score最大的那个向量。实验也证明了，hard attention的方法收敛得更快。通过label attention网络，我们得到了代表用户u的兴趣向量，有了这个向量，我们就可以计算用户u点击item i的概率了，计算方式如下：目标函数为：这个L不是损失函数，可以理解为极大似然函数，我们的目标就是让这个东西最大。当然，在一个具有亿级别item的网站中，我们是不会采用原始的softmax操作的，跟在skip gram中的sample softmax类似，mind也采用了sample softmax的做法，大大减少了运算量。而在serving阶段，只需要计算用户的多个兴趣向量，然后每个兴趣向量通过最近邻方法（如局部敏感哈希LSH）来得到最相似的候选商品集合。我们只需要输入用户的历史序列和画像信息，就可以得到用户的兴趣向量，所以当用户产生了一个新的交互行为，MIND也是可以实时响应得到用户新的兴趣向量。这里相当于把label attention舍弃掉了，直接用剩下的部分来得到用户的兴趣向量。 serving阶段跟training阶段对于用户的兴趣向量的处理是不一样的，在serving阶段，由于我们有多个兴趣向量，所以score的计算方式就变成了取最大的那个： mind选择了跟他比较相近的YoutubeDNN进行对比，对比结果如下：此外，论文还提到了DIN，在获得用户的不同兴趣方面，MIND和DIN具有相似的目标。但是，这两种方法在实现目标的方式和适用性方面有所不同。为了处理多样化的兴趣，DIN在item级别应用了注意力机制，而MIND使用动态路由生成兴趣，并在兴趣级别考虑了多样性。此外，DIN着重于排名阶段，因为它处理成千或者万级别的item，但是MIND取消了推断用户表示和衡量user-item兼容性的过程，从而使其在匹配阶段适用于数十亿个项目。

系统论文推荐文献

管理系统参考文献

文献意思为有历史意义或研究价值的图书、期刊、典章。以下是我整理的管理系统参考文献，希望对大家有所帮助。

档案管理系统设计方面的参考文献

[1] 刘洪峰,陈江波.网络开发技术大全[M].人民邮电出版社,2005：119-143.

[2] 程成,陈霞.软件工程[M].机械工业出版社,2003：46-80.

[3] 舒红平.Web 数据库编程-Java[M].西安电子科技大学出版社,2005：97-143.

[4] 徐拥军.从档案收集到知识积累[M].是由工业出版社,2008：6-24.

[5] 纪新.转型期大型企业集团档案管理模式研究[D].天津师范大学,2008：46-57.

[6] 周玉玲.纸质与电子档案共存及网络环境电子档案管理模式[J].中国科技博览,2009：44-46.

[7] 张寅玮.甘肃省电子档案管理研究[D]. 兰州大学,2011:30-42

[8] 惠宏伟.面向数字化校园的档案信息管理系统的研究与实现[D]. 电子科技大学,2006:19-33

[9] 刘冬立.基于 Web 的企业档案管理系统的设计与实现[D].同济大学,2007:14-23

[10]钟瑛.浅议电子文件管理系统的功能要素[J]. 档案学通讯,2006:11-20

[11] 杜献峰 . 基于三层 B/S 结构的档案管理系统开发 [J]. 中原工学院学报,2009:19-25

[12]林鹏,李田养. 数字档案馆电子文件接收管理系统研究及建设[J].兰台世界,2008:23-25

[13]汤星群.基于数字档案馆建设的两点思考[J].档案时空,2005:23-28

[14]张华丽.基于 J2EE 的档案管理系统设计与实现[J].现代商贸工业. 2010:14-17

[15]Gary P Johnston,David V. benefits of electronic recordsmanagement systems: a general review of published and some unpublishedcases. RecordsManagement Journal,2005:44-52

[16]Keith an electronic records management system: Apublic sector case study. Records Management Journal,2005:17-21

[17]Duranti , Principles , and Methods for the Management of Electronic RecordsR[J].Information Society,2001：57-60.

[18]Lynn C value and thepermanent record the preservation conundrum[M].International digital library perspectives,2007：34-89.

[19]Aleksej Jerman trustedpreservation service using service interaction proto-col and evidence records[J].Computers and Standards,2007：23-29.

[20]Carmela Secure Long-Term Archival of Digitally Signed Documents[M].Proceedings of the4th ACM international workshop on Storage secu-rity and survivability,2008：102-134.

[21]Elizabeth and Diffusionof Encoded Archival Description[M].Journal Of The AMERICAN Society For Information Science And Technology,2005：99-167.

[22]Carol Archival Context : Authority Control For Archives[M].Info 663-techprocesses in libraries,2006：24-56.

[23]Victor E of electronic pa-tient record use on mortality in End Stage RenalDisease , a model chronic disease : retrospective anal-ysis of 9 years of prospectively collected data[M].BMCMedical Informatics and Decision Making,2007：99-123.

[24]Surithong Heritage : Applying Digital Imaging to Cultural Heritage[M].Online Information Review[J],2007：33-46.

[25]Shien-Chiang an open archive union catalog for digitalarchives. Emerald[D] , 2005:17-27

酒店管理系统参考文献

[1]彭伟民.基于需求的酒店管理系统的建模与实现.微机发展，.

[2]翟广宇.基于C/S结构的酒店管理系统. 兰州工业高等专科学报,.

[3]薛华成.管理信息系统[M].清华大学出版社,.

[4]候炳辉,刘世峰.信息管理系统[J].信息管理系统分析,.

[5]童德利,田娟,谢琪,陈世福.基于B/S模式的构件式酒店管理信息系统的设计与实现..

[6]刘学明.饭店客房管理[M].广东旅游出版社，.

[7]张亚东.酒店企业销售管理信息系统的设计与实现[J].管理信息系统, .

[8]李朝晖.PowerBuilder开发实例完全剖[J]..

[9]萨师煊,王珊.数据库系统概论[M].高等教育出版社,.

[10]马秀莲,高志安.宾馆管理系统的设计.黑龙江八一农垦大学信息技术学院,.

学籍管理系统论文参考文献：

[1]管建军.软件工程[M].武汉：武汉大学出版社，2007.

[2]梅书荣.钢铁企业销售物流管控系统开发研究[J].计算机工程与科学，2011，33(1)：177-178.

[3]曲培新，庞永庆.Java项目开发案例精粹[M].北京：电子工业出版社，2010.

[4]陆迟.Java语言程序设计[M].2版，北京：电子工业出版社，2005.

[5]刘辉.零基础学sqlserver2005[M].北京：机械工业出版社，2008.

[6]王珊，萨师煊.数据库系统概论[M].4版，北京：高教出版社，2007.

[7]胡立坤.一种实验室综合管理系统的开发与实践[J].计算机测量与控制与科学，2010，18：1417-1419.

学籍管理系统论文参考文献：

[1]易和平.分布式多数据库高校学籍管理系统研究与应用[J].西安石油大学学报：自然科学版，2009，(7).

[2]宣华，王映雪，陈怀楚.清华大学综合教育系统在教务管理中的应用[J].计算机工程与应用，2012，(12).

[3]梁德华.浅析高等院校学籍管理信息系统的设计与开发[J].硅谷，2011，(11).

[4]李香敏.SQLServer2000编程员指南[M].北京：希望电子出版社，2000：12.

[5]杨易.JSP网络编程技术与实例[M].北京：人民邮电出版社，2005：10.

学籍管理系统论文参考文献：

[1]罗少华；基于LAMP的高校成绩管理系统的设计与实现[D]；复旦大学；2011年.

[2]石瑨；基于B/S模式的.医院信息管理系统研究与开发[D]；电子科技大学；2011年.

[3]曹维；数学课程教学网站的分析与设计[D]；云南大学；2012年.

[4]冯志华；基于PLC的沙湾水厂自控管理系统分析与设计[D]；云南大学；2012年.

[5]黄艳霞；食堂管理系统分析与设计[D]；云南大学；2012年.

[6]张小敏；4S店汽车客户服务管理系统的设计与实现[D]；电子科技大学；2012年.

[7]任静；四川教育学院学生成绩管理信息系统设计与实现[D]；电子科技大学；2012年.

[8]张成文；基于Web的中小学综合教学管理平台的研究与实现[D]；兰州大学；2013年.

[9]邓有荣；保山纪检监察信访信息管理系统的分析与设计[D]；云南大学；2013年.

文献查阅指引1．朱福喜，傅建明，唐小军《JAVA项目设计与开发范例》电子工业出版社 2005(7)2．刘晓华等《JSP应用开发详解》电子工业出版社．康博著《Web应用程序开发新技术》人民邮电出版社20024．黄名等《JSP课程设计》北京：电子工业出版社5.计算机毕业设计人民电子工业出版社2014

毕业论文电影推荐系统

电影推荐系统功能包括票房统计，评分推荐，电影类型推荐。

项目流程：首先获取用户id，删除用户之前存在的推荐结果，装载样本评分数据（不同用户对不同电影的评分数据：userid、 movieid、rating、timestamp ）。然后装载电影信息数据（从movieinfo表中取出movieid、moviename、typelist）。

注：样本评分数据和电影信息数据以.dat文件的形式被传入HDFS中。

将样本评分数据切分成3部分，60%用于训练（训练集）、20%用于校验(校验集)、20%用于测试（测试集）

训练不同参数下的模型，并在校验集中校验，找出最佳模型。

设置参数（隐语义因子的个数、ALS的正则化参数、迭代次数），将设置的参数和训练集作为参数传入到spark MLlib库的ALS（）函数中，得到推荐模型，调整参数会得到多个不同的模型。

校验方法：

将校验集装入模型中，得到用户对电影的预测评分，计算预测评分和实际评分的均方根误差，找出多个模型中均方根误差最小的模型作为最佳模型。

用最佳模型预测测试集的评分，并计算预测评分和实际评分的均方根误差，改进最佳模型。

用最佳模型预测某用户对电影信息数据集中的所有电影的评分，选出评分最高的前十部电影。将推荐结果存入数据库recommendresult表中

————————————————

原文链接：

论文地址：看完MMoE后接着看这一篇，进一步加深对MMoE的理解 9次。从19年9月出来后，不到半年能引用9次，算是相当不错了同样没往arXiv上挂，中了19年9月的RecSys。同样是G家出品，来自YouTube那边，10个作者中英混合。一作赵哲 PHD毕业于密歇根大学，和MMoE的一作马家祺一个学校的，本文是赵哲最近在google任research scientist完成的。本文应用于YouTube的多目标排序系统。主要面对两个问题，第一个就是存在多个相互竞争的排序目标，第二个就是用户反馈中隐含了选择偏见。为了解决这些问题，本文用MMoE优化多目标排序，用W&D减轻选择偏见。现实世界的大规模视频推荐系统存在的挑战，包括： 1 不同的有时甚至相互冲突的优化目标。例如除了观看之外，还希望推荐用户评价高并与朋友分享的视频。 2 系统中的隐式偏见。例如用户点击并播放一个视频可能是因为其排序靠前而不是用户真的最喜欢它。因此使用从当前系统生成的数据训练模型将产生偏差，从而导致反馈循环效应。为了解决这些挑战，本文提出的模型如图1所示。它继承自Wide & Deep，采用了MMoE进行多任务学习。此外，还引入了一个浅层塔来消除选择偏差。具体来说，首先将多个目标分为两组：1）互动目标，例如点击，与推荐视频的参与程度 2）满意度目标，例如点赞，评分。使用MMoE来学习多目标，混合专家架构将输入层模块化为专家，每一个聚焦于输入的不同方面。这提升了从多种模态生成的复杂特征空间学习到的表示。接着利用多门网络，每个目标选择专家来决定是否与其他专家共享。为了消除偏差，提出了如图1左侧所示的浅层塔结构，它以与选择偏差相关的特征作为输入，例如排序顺序。输出是一个标量，作为主模型最终预测的一个偏置项。本文主要贡献如下：工业推荐系统的主要挑战是可扩展性。主要依赖隐式反馈。举个例子，一个用故可能点击了一个item，最终却不喜欢它。用户仅仅对点击过或有交互过的item才能进行评分。用户和当前系统会有选择偏差，例如，一个用户点击过一个item只是因为它被当前系统选出来了，即使它不是整个库中最有用的一个。因此，基于当前系统生成的数据来训练新模型会导致偏向当前系统，引起反馈循环效应。《Evaluating the accuracy of implicit feedback from clicks and query reformulations in web search》这篇07年的文章最先分析了隐式反馈中的位置偏差和展现偏差。一个最常用的实践是在训练时将位置作为模型的输入特征，在预测时将其移除。除了之前提到的挑战，现实世界的大规模推荐系统还有如下因素需考虑：采用多种候选生成算法，每一种作为查询视频和候选视频之间相似度的一方面。排序系统学习两种类型的用户反馈：1）交互行为，例如点击和观看。2）满意度行为，例如点赞和退出。将排序问题建模为多目标分类问题和回归问题的组合。本文采用point-wise的方法，主要是出于性能的考虑，pair-wise和list-wise限制了系统的可扩展性。为了描述方便，本文将所有目标分为两类：互动目标和满意度满标。互动目标包括点击和观看，将点击定义为二分类任务，将观看时长定义为回归任务。类似的，对于满意度目标，将是否喜欢视频定义为二分类任务，将打分定义为回归任务。分类任务用交叉熵损失，回归任务用平方损失。对于每个候选，使用加权乘法形式的组合函数输出组合分数，这些权重是在考虑最佳用户互动和用户满意度之上手动调节的。 MMoE是一种软参数共享模型，其核心理念是用MoE层替代共享ReLu层，同时为每个任务增加一个单独的门网络。本文提出增加的专家位于共享隐层之上，如图2b所示，这是因为MoE层能从输入中学习到模块化信息。当直接在输入层或较低的隐层使用时，可以更好地模拟多模态特征空间。然而，直接应用MoE层在输入层将显著增加模型的训练和预测成本，这通常是因为输入层的维度远高于隐层的维度。公式这里基本上就照搬MMoE原作的公式了，值得注意的是，与Hilton等人在17年提出的稀疏门控网络（在该网络中，专家的数量可能很多，并且每个训练样本仅利用顶级专家）相反，本文使用的专家相对较少。这是因为为了鼓励通过多个门控网络来共享专家并提升训练效率。在YouTube的排序系统中，查询是当前观看的视频，候选是相关的视频，用户通常会倾向点击并播放展示位于前列的视频，而忽略了他们本身真正的偏好，无论是与观看视频的相关性还是用户偏好来说都是这样。建模并消除选择偏差可以提升模型质量，并打破选择偏差带来的反馈循环问题。本文模型采用类似Wide & Deep架构，将模型分为两个部分，主塔的用户效用部分和浅层塔的偏差部分。具体来说，用诸如位置特征等偏差特征训练浅层网络，之后将其与主模型相加作为最终的logit，如图3所示。训练时，所有曝光位置的都使用，用10%的丢弃率丢弃改特征，以防止模型过度依赖位置特征。在serving时，位置特征被视为缺失。将位置特征与设备特征交叉的原因是，在不同类型的设备上观察到不同的位置偏差。对于本文模型和基线模型，训练都是一直持续的。离线实验监控的指标是AUC和平方损失。在线实验做A/B测试，同时考虑serving时的性能开销。如图2a所示，出于性能考虑，本文的MMoE层共享一个底层隐藏层，而不是直接共享输入层。如表1所示。如图5所示，绘制了每个任务每个专家在softmax门网络上的累积概率。可以看到一些互动任务同其他共享任务共享多个专家。而满意度任务倾向于共享一个小子集上的专家。另外，本文也验证了直接在输入层上使用MMoE，发现在线实验结果与图2b相比并没有显著差异。这一节介绍了MMoE的一个坑，hinton等人在17年的《Outrageously large neural networks: The sparsely-gated mixture-of-experts layer》指出softmax门网络会有不平衡的专家分布问题，即门网络闭合时专家上的多数值都为0。本文发现有20%的几率会出现这种极化现象。为解决该问题，在门网络上使用dropout，通过以10%的几率将专家的利用率设置为0并重新归一化softmax输出，本文消除了们门网络的极化问题。如图6所示，位置越前CTR越高。在更前面更高的CTR综合了item是更相关的以及位置偏差的影响。方法A：直接使用位置特征作为输入方法B：对抗学习本文感觉行文有点啰嗦，许多相同的话在不少地方重复。读这篇前一定要先读MMoE的原作，因为这篇基本上就是MMoE的应用，加了个偏置网络用来消除偏置，如果只有MMoE，这篇文章铁定发不出去。另外本文有不少小trick可以借鉴，比如MMoE的专家不能从太底层开始，比如训练时丢弃10%的偏差特征，比如用设备与位置做特征交叉等等。另外，从实验上来看，指标的相对提升也没有特别明显。 YouTube排序系统中的多目标问题和训练数据偏置问题应用MMoE，和偏置网络分别解决，最后融合在一起只在YouTube自己的数据上做了实验，给出的提升是相对提升，感觉不是很大最后多目标分数的融合还是根据经验手调的拿来主义，工程应用论文 MMoE论文笔记

国内电影推荐系统有哪些本文设计了一个个性化电影推荐系统。众所周知，现在电影资源是网络资源的重要组成部分，随着网络上电影资源的数量越来越庞大，设计电影个性化推荐系统迫在眉睫。所以本文旨在为每一个用户推荐与其兴趣爱好契合度较高的电影。论文首先阐述推荐系统的研究现状以及意义，随后介绍了相关的推荐算法，重点介绍协同过滤算法，并对系统实现所需技术进行了研究，接着介绍了整个推荐系统的实现，最后对整个项目进行了回顾与总结。本系统包含电影前端展示界面、电影评分板块、推荐算法的实现以及后端数据库的设计。其中实现推荐算法是整个电影推荐系统的核心。系统采用由grouplens项目组从美国著名电影网站movielens整理的ml-latest-small数据集，该数据集包含了671个用户对9000多部电影的10万条评分数据。首先将该数据集包含的全部文件经过筛选重组之后存储到建好的数据库中，并将数据集按一定比例划分为训练集和测试集，对训练集进行算法分析生成Top-N个性化电影推荐列表，然后在测试集上对算法进行评测，至少包括准确率和召回率两种评测指标。协同过滤算法是推荐领域最出名也是应用最广泛的推荐算法。所以系统拟采用两种协同过滤算法给出两种不同的推荐结果，一种是基于用户的协同过滤算法，另一种是基于物品的协同过滤算法，用户可以根据两种推荐结果更加合理的选择合适的电影。系统采用了改进之后的ItemCF-IUF和UserCF-IIF算法，对计算用户相似度和物品相似度的计算都做出了改进。最后通过计算两种算法的准确率（Precision）、召回率(Recall)和流行度从而对系统进行评测、并比较了两种算法各自的优势和劣势。实验证明，改进后的算法比原始的协同过滤算法推荐效果要好，准确率更高。整个系统涉及到的编程语言包含Python、Html5、JQuery、CSS3以及MySQL数据库编程。用到的框架是Django重量级web框架，通过该框架连接系统的前、后端。用户首先需要填写用户名、密码以及邮箱注册系统，然后才能登陆推荐系统。进入首页后会看到8个电影分类，包括恐怖片、动作片、剧情片等。用户需要给自己看过的电影进行评分，评分起止为0。5-5。0分，共10个分段。每评价一部电影就要点击一下提交按钮，将所评分的电影的imdbId号以及对应的评分存入数据库中。用户点击“推荐结果”按钮，系统就调用推荐算法遍历数据库所存数据，得出推荐列表之后将结果反馈给浏览器，同时调取数据库所存电影海报图片进行展示。用户点击自己登陆的昵称，会跳转页面显示自己已经评价过的电影。本文还分析了系统的需求，并对需求进行相关设计，最后用Django框架实现了该系统，并给出了系统所用的主要数据表展示以及各个功能界面的展示。

靠谱论文查重系统推荐

为用户人性化完美实现了“免费论文检测—在线实时改重—全面再次论文检测—顺利通过论文检测“的整个全过程。老牌查重软件，海量数据库，查重范围广，价格优惠，性价比超高。

论文查重对于大多数毕业生而已，都是非常重要的一步，因为直接关系到是否能顺利毕业。目前网上可以论文查重的平台非常多，那么这些系统中是否有检测准确还便宜的？想必大家都想过这个问题那，因为不同系统的检测原理、数据库、检测价格都不同，而且每个学校要求的论文查重系统也不同，所以导致大家选择起来比较困难。那么有哪些检测准确还便宜的论文查重系统？

一、常见的论文查重系统有哪些

如果学校没有要求使用哪个论文查重系统，那么我们可以选择一些现在比较主流的平台，这样不会有什么影响，例如paperfree、papertime论文查重系统。如果学校有明确要求用哪个论文查重系统，那么要按照学校的要求来进行检测。我们要选择与学校一致的论文查重系统来进行检测，这样得到检测结果才准确，毕竟其它系统的结果只能作为参考修改使用，是不具备最终认可度的。

二、用哪个论文查重系统比较好

目前国内使用率最高的是知网查重，因为知网是最权威的，所以大多数学校都用知网查重来检测。知网查重的知名度还是非常高的，不过检测一次的价格也贵，并且知网是不对个人开放使用的，都要经过第三方查重平台才能进行检测。如果是在校学生的话，可以用学校提供的免费知网查重机会，有的学校会提供1-2次免费查重机会。

目前使用得较多的论文查重系统也就是知网、维普、万方、paperfree、papertime论文查重等，如果要想检测结果与学校保持一致，那么肯定需要和学校一致的系统才可以。

维普查重、万方论文查重网站、PaperPP论文查重系统、中国知网、学术不端网都是不错的查重软件

1、维普查重：维普查重可个人查重，在该官网内付费即可查重论文，检测完成下载查重报告即可查看到信息的论文重复率结果。维普网论文查重报告通常分为5大部分报告内容，分别是相似度对比报告、片段对照报告、格式分析报告、原文对照报告、PDF报告等内容。

2、万方论文查重网站：而万方论文查重网站查重的价格，其检测收费模式与知网论文查重系统的收费模式有很大不同，知网是按论文篇数与次数定价收费的，不同查重版本检测一篇论文一次所收取的费用各有不同，而万方论文查重网站对于查重论文的收费却不是按篇收费，而是按查重论文的全文字数来收费的。

通常本科论文查重的费用是按照上传查重的论文的字数以每1万字收取20元来收费的，且不满足1万字的论文按1万字来计算，而对于万方的硕、博论文的检测查重费用为每1万字25元。可见万方论文查重网站查重价格是十分物美价廉了，无论是价格还是查重系统本身的查重准确度都是较为适合论文初稿查重的。

3、PaperPP论文查重系统：属于PaperPP品牌产品，致力于为毕业生提供完善的学术不端论文检测服务，通过对比库及智能AI技术为用户提供毕业论文查重。PaperPP论文查重系统定期更新比对数据库，保证学术期刊，学位论文，硕博等论文查重结果的精准，坚决保护用户隐私。聚合文献检索、知网查重等众多论文检测功能。

4、中国知网：凭借优质的内容资源、领先的技术和专业的服务，中国知网在业界享有极高的声誉，在2007年，中国知网旗下的《中国学术期刊网络出版总库》获首届“中国出版政府奖”，《中国博士学位论文全文数据库》、《中国年鉴网络出版总库》获提名奖。这是中国出版领域的最高奖项。国家“十一五”重大网络出版工程-----《中国学术文献网络出版总库》也于2006年通过新闻出版总署组织的鉴定验收。

5、学术不端网：学术不端网是最准确的中国知网论文查重检测系统入口:知网期刊AMLC、知网本科PMLC、知网等CNKI论文查重软件,可供高校硕士博士研究生学位毕业论文查重、大学生论文抄袭行为检测和已发表文献职称评审使用。被誉为最靠谱的论文重复率相似性检测网站。

论文查重软件排行榜以下三个好。

1、知网论文查重软件数据库比较强大，并且可以分类对论文进行检测，有本科论文查重入口，硕博论文查重入口，职称论文查重入口，初稿论文查重入口等。

是目前高校使用最多的软件。对于本科毕业论文检测拥有独特的大学生联合对比数据库。检测结果基本上跟学校一致。

2、万方、维普是这几年兴起的论文查重软件，数据库没有知网齐全。版本也没有知网多，如果学校要求使用这两个查重，大家就可以去选择，如果没有要求选择这两个系统，大家就不要存在侥幸心理。

3、paperfree论文查重软件，是比较长久的论文查重软件，仅次于知网论文查重，在市场上得到了很多学校和毕业生的认可，也是很多学校要求使用的论文查重系统，查重速度快，查重结果准确，费用非常的低。

硕博论文查重系统推荐

1、中国知网查重知网查重结果的准确度是很高的，是如今国内最权威的论文查重软件，其中收录的数据库很全面，并且有海量的资源。检测本科论文适合使用知网pmlc论文查重系统，检测硕博研究生论文适合使用知网论文查重系统，很多高校也都是与知网合作，大家需要根据自己论文的类型选择对应的知网论文查重系统。2、万方检测和维普网检测这两个论文查重也有部分学校使用，也是国内除知网以外的主流论文查重软件，检测严格性不如知网，但是检测速度较快，收费价格也比知网便宜，查重结果准确也比较高，部分学校也是认可的。、3、PaperPP论文查重PaperPP一款致力于为广大有论文查重需求的人们提供恰当有效查重服务的对软件，性价比很高，收费价格十分亲民接地气，还有机会能够免费查重，对于大学毕业生来说是一大福利，其查重质量和安全性都比较高。4、PaperPass论文检测这个是前几年兴起，近几年比较活跃的一个论文查重系统，价格中等，也是有一部分人使用具有一定知名度的软件。5、PaperYY论文检测价格也比较便宜，同样适合用来检测论文初稿，不建议使用其来检测论文终稿，因为数据库资源比知网相差还很多，查重结果准确度没有知网那么高的精确度。

本科，学校一般规定使用知网的标准，重复率在15%以内，超过视为抄袭。但价格贵，对于学生党不划算。因此在前期选择论文查重软件可以考虑其他的，paper系列的软件基本都可以，选择正规公司，数据库全的，客服态度好的，检测报告出来快的，还能帮助改重的，满足这些是很不错的软件了。

从开题到最后发表一篇论文需要很多时间和精力。如果你想顺利通过大学或杂志的查重，你必须提前进行论文检测，但自检的查重费用需要自费。为了节约检测费用，我们会找一些免费查重软件进行自检，那么免费论文查重检测软件都有哪些？一、免费论文查重软件。 1.学校内部查重系统: 学校一般会提供内部的论文查重系统，并且提供1-2次免费查重机会，学校内部查重系统查重率是最准确，也是最权威的。内部查重系统是不对外开放的，我们校外很难找到查重入口。论文查重软件:学校提供的几次免费查重机会往往是不够的。这时我们可以选择Paperfree查重软件，新用户可以获取免费试用机会，而用户亦可透过参与活动，免费使用转发字数。 3.其免费查重系统软件：大学生在撰写毕业论文时，学校和导师会推荐免费查重软件。不同学校推荐的软件不同，我们以学校通知为准。二、免费论文查重软件怎么选择。虽然目前市面上有自己很多企业提供免论文查重检测系统软件，我们在选择的时候要注意其安全性。因此，在选择免费论文查重软件时，最好不要使用不安全的软件，不仅查重结果没有参考性，而且你的论文可能会因为小损失而泄露。通过询问学长学姐或自己的导师，我们可以选择一个真正可靠的免费论文查重检测系统软件。

本科毕业论文查重一般要求是30以内，好一点得学校要求是20以内，建议论文重复最好在20以内，确保通过率。硕士论文查重一般要求是15左右。论文检测没有最好得，最有最合适得，查重软件要选择和学校一样得。比如学校是知网，那就选择知网查如果学校是维普，那就选择维普查这样最准学校是知网你用维普查重，那结果肯定不会准目前常见系统有，知网 paperpass 维普和万方知网检测地址：维普检测地址：检测地址：