hinton发表的论文

hinton发表的论文

“很多昆虫在幼虫形态的时候是最擅长从环境中吸取能量和养分的，而当他们成长为成虫的时候则需要擅长完全不同能力比如迁移和繁殖。”在2014年Hinton发表的知识蒸馏的论文中用了这样一个很形象的比喻来说明知识蒸馏的目的。在大型的机器学习任务中，我们也用两个不同的阶段 training stage 和 deployment stage 来表达两种不同的需求。training stage（训练阶段）可以利用大量的计算资源不需要实时响应，利用大量的数据进行训练。但是在deployment stage （部署阶段）则会有很多限制，比如计算资源，计算速度要求等。知识蒸馏就是为了满足这种需求而设计的一种模型压缩的方法。

知识蒸馏的概念最早是在2006年由Bulica提出的，在2014年Hinton对知识蒸馏做了归纳和发展。知识蒸馏的主要思想是训练一个小的网络模型来模仿一个预先训练好的大型网络或者集成的网络。这种训练模式又被称为 "teacher-student"，大型的网络是“老师”，小型的网络是“学生”。

在知识蒸馏中，老师将知识传授给学生的方法是：在训练学生的过程中最小化一个以老师预测结果的概率分布为目标的损失函数。老师预测的概率分布就是老师模型的最后的softmax函数层的输出，然而，在很多情况下传统的softmax层的输出，正确的分类的概率值非常大，而其他分类的概率值几乎接近于0。因此，这样并不会比原始的数据集提供更多有用的信息，没有利用到老师强大的泛化性能，比如，训练MNIST任务中数字‘3’相对于数字‘5’与数字‘8’的关系更加紧密。为了解决这个问题，Hinton在2015年发表的论文中提出了‘softmax temperature’的概念，对softmax函数做了改进： 这里的 就是指 temperature 参数。当 等于1 时就是标准的softmax函数。当 增大时，softmax输出的概率分布就会变得更加 soft（平滑），这样就可以利用到老师模型的更多信息（老师觉得哪些类别更接近于要预测的类别）。Hinton将这样的蕴含在老师模型中的信息称之为 "dark knowledge"，蒸馏的方法就是要将这些 "dark knowledge" 传给学生模型。在训练学生的时候，学生的softmax函数使用与老师的相同的 ，损失函数以老师输出的软标签为目标。这样的损失函数我们称为"distillation loss"。

在Hinton的论文中，还发现了在训练过程加上正确的数据标签（hard label）会使效果更好。具体方法是，在计算distillation loss的同时，我利用hard label 把标准的损失（ ）也计算出来，这个损失我们称之为 "student loss"。将两种 loss 整合的公式如下：

这里的 是输入， 是学生模型的参数， 是交叉熵损失函数， 是 hard label ， 是参数有 的函数， 是系数， 分别是学生和老师的logits输出。模型的具体结构如下图所示：

在上述公式中， 是作为超参数人为设置的，Hinton的论文中使用的 的范围为1到20，他们通过实验发现，当学生模型相对于老师模型非常小的时候， 的值相对小一点效果更好。这样的结果直观的理解就是，如果增加 的值，软标签的分布蕴含的信息越多导致一个小的模型无法"捕捉"所有信息但是这也只是一种假设，还没有明确的方法来衡量一个网络“捕捉”信息的能力。关于 ，Hinton的论文中对两个loss用了加权平均： 。他们实验发现，在普通情况下 相对于 非常小的情况下能得到最好的效果。其他人也做了一些实验没用加权平均，将 设置为1，而对 进行调整。

Hinton的论文中做了三个实验，前两个是MNIST和语音识别，在这两个实验中通过知识蒸馏得到的学生模型都达到了与老师模型相近的效果，相对于直接在原始数据集上训练的相同的模型在准确率上都有很大的提高。下面主要讲述第三个比较创新的实验：将知识蒸馏应用在训练集成模型中。

训练集成模型（训练多个同样的模型然后集成得到更好的泛化效果）是利用并行计算的非常简单的方法，但是当数据集很大种类很多的时候就会产生巨大的计算量而且效果也不好。Hinton在论文中利用soft label的技巧设计了一种集成模型降低了计算量又取得了很好的效果。这个模型包含两种小模型：generalist model 和 specialist model（网络模型相同，分工不同）整个模型由很多个specialist model 和一个generalist model 集成。顾名思义generalist model 是负责将数据进行粗略的区分（将相似的图片归为一类），而specialist model（专家模型）则负责将相似的图片进行更细致的分类。这样的操作也非常符合人类的大脑的思维方式先进行大类的区分再进行具体分类，下面我们看这个实验的具体细节。 实验所用的数据集是谷歌内部的JFT数据集，JFT数据集非常大，有一亿张图片和15000个类别。实验中 generalist model 是用所有数据集进行训练的，有15000个输出，也就是每个类别都有一个输出概率。将数据集进行分类则是用Online k-means聚类的方法对每张图片输入generalist model后得到的软标签进行聚类，最终将3%的数据为一组分发给各个specialist，每个小数据集包含一些聚集的图片，也就是generalist认为相近的图片。 在specialist model的训练阶段，模型的参数在初始化的时候是完全复制的generalist中的数值（specialist和generalist的结构是一模一样的），这样可以保留generalist模型的所有知识，然后specialist对分配的数据集进行hard label训练。但是问题是，specialist如果只专注于分配的数据集（只对分配的数据集训练）整个网络很快就会过拟合于分配的数据集上，所以Hinton提出的方法是用一半的时间进行hard label训练，另一半的时间用知识蒸馏的方法学习generalist生成的soft label。这样specialist就是花一半的时间在进行小分类的学习，另一半的时间是在模仿generalist的行为。 整个模型的预测也与往常不同。在做top-1分类的时候分为以下两步： 第一步：将图片输入generalist model 得到输出的概率分布，取概率最大的类别k。 第二步：取出数据集包含类别k的所有specialists，为集合 （各个数据集之间是有类别重合的）。然后求解能使如下公式最小化的概率分布q作为预测分布。

这里的KL是指KL散度（用于刻画两个概率分布之间的差距） 和 分别是测试图片输入generalist 和specialists(m)之后输出的概率分布，累加就是考虑所有属于 集合的specialist的“意见”。

由于Specialist model的训练数据集很小，所以需要训练的时间很短，从传统方法需要的几周时间减少到几天。下图是在训练好generalist模型之后逐个增加specialist进行训练的测试结果：

从图中可以看出，specialist个数的增加使top1准确个数有明显的提高。

本文结合Hinton在2014年发表的论文对知识蒸馏和相关实验做了一个简单的介绍，如今很多模型都用到了知识蒸馏的方法，但知识蒸馏在深度学习中还是非常新的方向，还有非常多的应用场景等待研究。

项目地址：

[1]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015. [2] [3]

1、The Outsiders 局外人2、内容介绍：《局外人》是加缪的成名作，也是存在主义文学的代表作品。它形象地体现了存在主义哲学关于“荒谬”的观念；由于人和世界的分离，世界对于人来说是荒诞的、毫无意义的，而人对荒诞的世界无能为力，因此不抱任何希望，对一切事物都无动于衷。《局外人》以“今天，妈妈死了，也许是昨天，我不知道”开始，以“我还希望处决我的那一天有很多人来看，对我发出仇恨的喊叫声”结束。小说以这种不动声色而又蕴含内在力量的平静语调为我们塑造了一个惊世骇俗的“荒谬的人”：对一切都漠然置之的莫尔索。3、作者介绍：阿尔贝·加缪(Albert Camus，1913～1960)，法国作家、哲学家。1957年获得诺贝尔文学奖。1960年在一次车祸中不幸身亡。加缪是荒诞哲学及其文学的代表人物，他的代表作《局外人》与同年发表的哲学论文集《西西弗的神话》，曾在欧美产生巨大影响。加缪的文笔简洁、明快、朴实，他的文学作品总是同时蕴含着哲学家对人生的严肃思考和艺术家的强烈激情。其哲学和文学作品对后期的荒诞派戏剧和新小说影响很大。评论家认为加缪的作品体现了适应工业时代要求的新人道主义精神。萨特说他在一个把现实主义当作金牛膜拜的时代里，肯定了精神世界的存在。

这个词条问题会产生很多误会，然后被不停的复制黏贴，the outsiders是S.E.Hinton美国女作家高中时期的成名作，写的是贫富两个少年帮派的故事，畅销五十年，曾经被列为禁书，但是后来美国中学高中阶段的必读书目。bbc列为最具影响力的100本书之一。然而还有一本淘宝可以买到的叫做局外人，是法国作家Albert Camus写的，英文书名是 The Stranger ，法语是L'Étranger。如果翻译成陌生人可能更好。这本书说的是荒谬的哲学基础。是法国著名的书。作者获得过诺贝尔文学奖。

Ponyboy跟Jonny是Greaser（没钱的穷屌丝）里面最小的成员，有一天他们去看电影偶然遇到了Cherry和Marcia（白富美），两个有钱的Soc女孩，并与他们成了朋友。但是cherry的男朋友（高富帅）Bob就很不爽，找机会围攻了Ponyboy和Jonny。Bob把Ponyboy弄到水池里，差点把Ponyboy淹死，于是Jonny就用一把弹簧刀杀了Bob。他们向Dally求救，Dally告诉他们去Taxas上的废弃教堂躲避。后来教堂着火了，Pony跑去救火中的小孩，Jonny和Dally也去了。但是Jonny受很重的伤，在告诉Ponyboy“stay gold(保持心中对美好事物的感觉)”之后就死了。Dally因为Jonny是他心中最想守护的净土，然后Dally也自杀死了。Dally的死因是抢劫商店，在跟警察对峙的时候拿着一把没有子弹的枪，于是就被警察开枪杀死了。Ponyboy找到了Jonny留下的《飘》中的信。内容是：告诉Dally这世间还有美好的东西，以及他不后悔为了拯救孩子们去死。结局：Ponyboy经历了这些之后很崩溃，英语老师叫他写一篇文章才可以通过他不及格的英文课。于是他写了这个故事《the outsiders》 我这绝对是最细致的答案了=w=

hinton发表论文

小西：小迪小迪，我发现人工智能发展史上很多事情都跟下棋有关呐。 小迪：是啊，人工智能发展史还是要从下棋说起，棋类游戏很多时候都被人类看做高智商游戏，在棋类游戏中让机器与人类博弈自然再好不过了。早在1769年，匈牙利作家兼发明家Wolfgang von Kempelen就建造了机器人TheTurk，用于与国际象棋高手博弈，但是最终被揭穿，原来是机器人的箱子里藏着一个人。虽然这是个局，但是也体现了棋类游戏是人机博弈中的焦点。 小西：哇，这么早啊！ 小迪：是啊，在1968年上映的电影《2001太空漫游》里，有个情节是机器人HAL与人类Frank下国际象棋，最终人类在机器人面前甘拜下风。 小西：哈哈，看来很早人们就觉得有一天，机器人会在下棋方面超过人类哦。 小迪：是啊，直到1997年，IBM的深蓝智能系统战胜了国际象棋世界冠军Kasparov，这是一次正式意义上的机器在国际象棋领域战胜了人类。不过，当时时代杂志发表的文章还认为，计算机想要在围棋上战胜人类，需要再过上一百年甚至更长的时间。因为围棋相比于国际象棋复杂很多，而IBM的深蓝也只是一个暴力求解的系统，当时的计算机能力在围棋千千万万种变化情况下取胜是不可能的。 小西：后来我知道。没有过100年，20年后AlphaGo在20年后的2016年打败了围棋高手李世石，这下人工智能引起了全世界的关注。 小迪：恭喜你，学会抢答了！ 小西：哈哈，过奖过奖。除了下棋，人工智能发展史上有没有什么特别著名的事件或者有名的大师呢，快给我科普科普呀！ 小迪：那可就太多了啊，无数科学家默默地耕耘才有了今天智能化的社会，三天三夜都说不完。我就说说近些年火爆的深度学习的发展史吧。 小西：好，洗耳恭听呢！ 感知器的发明 1943年Warren McCulloch和Walter Pitts一起提出计算模型，在1957年康奈尔大学的Frank Rosenblatt提出了感知器的概念，这是整个深度学习的开端，感知器是第一个具有自组织自学习能力的数学模型。Rosenblatt乐观地预测感知器最终可以学习，做决定和翻译语言。感知器技术在六十年代非常火热，受到了美国海军的资金支持，希望它以后能够像人一样活动，并且有自我意识。 第一次低潮 Rosenblatt有一个高中校友叫做Minsky，在60年代，两人在感知器的问题上吵得不可开交。R认为感知器将无所不能，M觉得感知器存在很大的缺陷，应用有限。1969年，Minsky出版了新书《感知器：计算几何简介》，这本书中描述了感知器的两个重要问题： 单层神经网络不能解决不可线性分割的问题，典型例子：异或门；当时的电脑完全没有能力承受神经网络的超大规模计算。 随后的十多年，人工智能转入第一次低潮，而Rosenblatt也在他43生日时，因海事丧生，遗憾未能见到神经网络后期的复兴。 Geoffrey Hinton与神经网络 1970年，此时的神经网络正处于第一次低潮期，爱丁堡大学的心理学学士Geoffrey Hinton刚刚毕业。他一直对脑科学非常着迷，同学告诉他，大脑对事物和概念的记忆，不是存储在某个单一的地方，而是分布式的存在一个巨大的神经网络中。分布式表征让Hinton感悟很多，随后的多年里他一直从事神经网络方面的研究，在爱丁堡继续攻读博士学位的他把人工智能作为自己的研究领域。 Rumelhart与BP算法 传统的神经网络拥有巨大的计算量，上世纪的计算机计算能力尚未能满足神经网络的训练。1986年7月，Hinton和David Rumelhart合作在Nature杂志上发表论文系统地阐述了BP算法： 反向传播算法（BP）把纠错运算量下降到只和神经元数目有关；BP算法在神经网络中加入隐层，能够解决非线性问题。 BP算法的效率相比传统神经网络大大提高，计算机的算力在上世纪后期也大幅提高，神经网络开始复苏，引领人工智能走向第二次辉煌。 Yann Lecun与卷积神经网络 1960年Yann Lecun在巴黎出身，在法国获得博士学位后，追随Hinton做了一年博士后，随后加入贝尔实验室。在1989年，Lecun发表论文提出卷积神经网络，并且结合反向传播算法应用在手写邮政编码上，取得了非常好的效果，识别率高达95%。基于这项技术的支票识别系统在90年代占据了美国接近20%的市场。 但也是在贝尔实验室，Yann Lecun的同事Vladmir Vapnik的研究又把神经网络的研究带入了第二个寒冬。 Hinton与深度学习 2003年，Geoffrey Hinton在多伦多大学苦苦钻研着神经网络。在与加拿大先进研究院（CIFAR）的负责人Melvin Silverman交谈后，负责人决定支持Hinton团队十年来进行神经网络的研究。在拿到资助后，Hinton做的第一件事就是把神经网络改名为深度学习。此后的一段时间里，同事经常会听到Hinton在办公室大叫：“我知道神经网络是如何工作的了！” DBN与RBN 2006年Hinton与合作者发表论文——《A Fast Algorithm for Deep BeliefNet》（DBN）。这篇文章中的算法借用了统计力学中“波尔兹曼分布”的概念，使用了所谓的“受限玻尔兹曼机”，也就是RBN来学习。而DBN也就是几层RBN叠加在一起。RBN可以从输入数据进行预训练，自己发现重要的特征，对神经网络的权重进行有效的初始化。这里就出现了另外两个技术——特征提取器与自动编码器。经过MNIST数据集的训练后，识别错误率最低降到了只有1.25%。 吴恩达与GPU 2007年，英伟达推出cuda的GPU软件接口，GPU编程得以极大发展。2009年6月，斯坦福大学的Rajat Raina和吴恩达合作发表文章，论文采用DBNs模型和稀疏编码，模型参数高达一亿，使用GPU运行速度训练模型，相比传统双核CPU最快时相差70倍，把本来需要几周训练的时间降到了一天。算力的进步再次加速了人工智能的快速发展。 黄仁勋与GPU 黄仁勋也是一名华人，1963年出生于台湾，在1993年于斯坦福毕业后创立了英伟达公司，英伟达起家时主要做图像处理芯片，后来黄仁勋发明GPU这个词。相比于CPU架构，GPU善于大批量数据并行处理。而神经网络的计算工作，本质上就是大量的矩阵计算的操作，GPU的发展为深度学习奠定了算力的基础。 李飞飞与ImageNet 深度学习的三大基础——算法，算力和数据。上面提到的主要是算法与算力的发展，而数据集在深度学习发展也起到了至关重要的作用。又是一位华人学者——李飞飞，于2009年建立ImageNet数据集，以供计算机视觉工作者使用，数据集建立的时候，包含320个图像。2010年，ILSVRC2010第一次举办，这是以ImageNet为基础的大型图像识别大赛，比赛也推动了图像识别技术的飞速发展。2012年的比赛，神经网络第一次在图像识别领域击败其他技术，人工智能步入深度学习时代，这也是一个历史性的转折点。 Yoshua Bengio与RELU 2011年，加拿大学者Xavier Glorot与Yoshua Bengio联合发表文章，在算法中提出一种激活函数——RELU，也被称为修正线性单元，不仅识别错误率普遍降低，而且其有效性对于神经网络是否预训练过并不敏感。而且在计算力方面得到提升，也不存在传统激活函数的梯度消失问题。 Schmidhuber与LSTM 其实早在1997年，瑞士Lugano大学的Suhmidhuber和他的学生合作，提出了长短期记忆模型（LSTM）。LSTM背后要解决的问题就是如何将有效的信息，在多层循环神经网络传递之后，仍能传送到需要的地方去。LSTM模块，是通过内在参数的设定，决定某个输入参数在很久之后是否还值得记住，何时取出使用，何时废弃不用。 后记 小迪：其实还有好多有突出贡献的的大师，要是都列出来可以出一本很厚很厚的书啦！ 小西：这些大师都好厉害呀，为了我们的智能化生活体验，辛勤付出了一辈子。 小迪：是啊，还有很多学者默默无闻地工作，一生清苦。 小西：他们都好伟大，有突出贡献的都应该发奖发奖金，对对对，诺贝尔奖！ 小迪：哈哈。诺贝尔奖多数是为基础学科设立的。不过计算机界也有“诺贝尔奖”——图灵奖，这可是计算机界最高奖项哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同获得了2018年的图灵奖。 小西：太棒了，实至名归！ 小迪：当然，图灵奖在此之前也授予了很多在人工智能领域的大牛，像Minsky，John McCarthy这些，还有华人科学家，现在在清华大学任职从事人工智能教育的姚期智先生在2000也获得过图灵奖呢！ 小西：大师们太不容易了，我们也要好好学习呀！ 小迪：是呀！如今我们站在巨人的肩膀上，许多人都可以接触到深度学习，机器学习的内容，不管是工业界还是学术界，人工智能都是一片火热！ 小西：希望这一轮人工智能的兴起不会有低潮，一直蓬勃发展下去，更好地造福人类。 小迪：嗯！

“很多昆虫在幼虫形态的时候是最擅长从环境中吸取能量和养分的，而当他们成长为成虫的时候则需要擅长完全不同能力比如迁移和繁殖。”在2014年Hinton发表的知识蒸馏的论文中用了这样一个很形象的比喻来说明知识蒸馏的目的。在大型的机器学习任务中，我们也用两个不同的阶段 training stage 和 deployment stage 来表达两种不同的需求。training stage（训练阶段）可以利用大量的计算资源不需要实时响应，利用大量的数据进行训练。但是在deployment stage （部署阶段）则会有很多限制，比如计算资源，计算速度要求等。知识蒸馏就是为了满足这种需求而设计的一种模型压缩的方法。

知识蒸馏的概念最早是在2006年由Bulica提出的，在2014年Hinton对知识蒸馏做了归纳和发展。知识蒸馏的主要思想是训练一个小的网络模型来模仿一个预先训练好的大型网络或者集成的网络。这种训练模式又被称为 "teacher-student"，大型的网络是“老师”，小型的网络是“学生”。

在知识蒸馏中，老师将知识传授给学生的方法是：在训练学生的过程中最小化一个以老师预测结果的概率分布为目标的损失函数。老师预测的概率分布就是老师模型的最后的softmax函数层的输出，然而，在很多情况下传统的softmax层的输出，正确的分类的概率值非常大，而其他分类的概率值几乎接近于0。因此，这样并不会比原始的数据集提供更多有用的信息，没有利用到老师强大的泛化性能，比如，训练MNIST任务中数字‘3’相对于数字‘5’与数字‘8’的关系更加紧密。为了解决这个问题，Hinton在2015年发表的论文中提出了‘softmax temperature’的概念，对softmax函数做了改进： 这里的 就是指 temperature 参数。当 等于1 时就是标准的softmax函数。当 增大时，softmax输出的概率分布就会变得更加 soft（平滑），这样就可以利用到老师模型的更多信息（老师觉得哪些类别更接近于要预测的类别）。Hinton将这样的蕴含在老师模型中的信息称之为 "dark knowledge"，蒸馏的方法就是要将这些 "dark knowledge" 传给学生模型。在训练学生的时候，学生的softmax函数使用与老师的相同的 ，损失函数以老师输出的软标签为目标。这样的损失函数我们称为"distillation loss"。

在Hinton的论文中，还发现了在训练过程加上正确的数据标签（hard label）会使效果更好。具体方法是，在计算distillation loss的同时，我利用hard label 把标准的损失（ ）也计算出来，这个损失我们称之为 "student loss"。将两种 loss 整合的公式如下：

这里的 是输入， 是学生模型的参数， 是交叉熵损失函数， 是 hard label ， 是参数有 的函数， 是系数， 分别是学生和老师的logits输出。模型的具体结构如下图所示：

在上述公式中， 是作为超参数人为设置的，Hinton的论文中使用的 的范围为1到20，他们通过实验发现，当学生模型相对于老师模型非常小的时候， 的值相对小一点效果更好。这样的结果直观的理解就是，如果增加 的值，软标签的分布蕴含的信息越多导致一个小的模型无法"捕捉"所有信息但是这也只是一种假设，还没有明确的方法来衡量一个网络“捕捉”信息的能力。关于 ，Hinton的论文中对两个loss用了加权平均： 。他们实验发现，在普通情况下 相对于 非常小的情况下能得到最好的效果。其他人也做了一些实验没用加权平均，将 设置为1，而对 进行调整。

Hinton的论文中做了三个实验，前两个是MNIST和语音识别，在这两个实验中通过知识蒸馏得到的学生模型都达到了与老师模型相近的效果，相对于直接在原始数据集上训练的相同的模型在准确率上都有很大的提高。下面主要讲述第三个比较创新的实验：将知识蒸馏应用在训练集成模型中。

训练集成模型（训练多个同样的模型然后集成得到更好的泛化效果）是利用并行计算的非常简单的方法，但是当数据集很大种类很多的时候就会产生巨大的计算量而且效果也不好。Hinton在论文中利用soft label的技巧设计了一种集成模型降低了计算量又取得了很好的效果。这个模型包含两种小模型：generalist model 和 specialist model（网络模型相同，分工不同）整个模型由很多个specialist model 和一个generalist model 集成。顾名思义generalist model 是负责将数据进行粗略的区分（将相似的图片归为一类），而specialist model（专家模型）则负责将相似的图片进行更细致的分类。这样的操作也非常符合人类的大脑的思维方式先进行大类的区分再进行具体分类，下面我们看这个实验的具体细节。 实验所用的数据集是谷歌内部的JFT数据集，JFT数据集非常大，有一亿张图片和15000个类别。实验中 generalist model 是用所有数据集进行训练的，有15000个输出，也就是每个类别都有一个输出概率。将数据集进行分类则是用Online k-means聚类的方法对每张图片输入generalist model后得到的软标签进行聚类，最终将3%的数据为一组分发给各个specialist，每个小数据集包含一些聚集的图片，也就是generalist认为相近的图片。 在specialist model的训练阶段，模型的参数在初始化的时候是完全复制的generalist中的数值（specialist和generalist的结构是一模一样的），这样可以保留generalist模型的所有知识，然后specialist对分配的数据集进行hard label训练。但是问题是，specialist如果只专注于分配的数据集（只对分配的数据集训练）整个网络很快就会过拟合于分配的数据集上，所以Hinton提出的方法是用一半的时间进行hard label训练，另一半的时间用知识蒸馏的方法学习generalist生成的soft label。这样specialist就是花一半的时间在进行小分类的学习，另一半的时间是在模仿generalist的行为。 整个模型的预测也与往常不同。在做top-1分类的时候分为以下两步： 第一步：将图片输入generalist model 得到输出的概率分布，取概率最大的类别k。 第二步：取出数据集包含类别k的所有specialists，为集合 （各个数据集之间是有类别重合的）。然后求解能使如下公式最小化的概率分布q作为预测分布。

这里的KL是指KL散度（用于刻画两个概率分布之间的差距） 和 分别是测试图片输入generalist 和specialists(m)之后输出的概率分布，累加就是考虑所有属于 集合的specialist的“意见”。

由于Specialist model的训练数据集很小，所以需要训练的时间很短，从传统方法需要的几周时间减少到几天。下图是在训练好generalist模型之后逐个增加specialist进行训练的测试结果：

从图中可以看出，specialist个数的增加使top1准确个数有明显的提高。

本文结合Hinton在2014年发表的论文对知识蒸馏和相关实验做了一个简单的介绍，如今很多模型都用到了知识蒸馏的方法，但知识蒸馏在深度学习中还是非常新的方向，还有非常多的应用场景等待研究。

项目地址：

[1]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015. [2] [3]

hinton教授的论文发表在哪

小西：小迪小迪，我发现人工智能发展史上很多事情都跟下棋有关呐。 小迪：是啊，人工智能发展史还是要从下棋说起，棋类游戏很多时候都被人类看做高智商游戏，在棋类游戏中让机器与人类博弈自然再好不过了。早在1769年，匈牙利作家兼发明家Wolfgang von Kempelen就建造了机器人TheTurk，用于与国际象棋高手博弈，但是最终被揭穿，原来是机器人的箱子里藏着一个人。虽然这是个局，但是也体现了棋类游戏是人机博弈中的焦点。 小西：哇，这么早啊！ 小迪：是啊，在1968年上映的电影《2001太空漫游》里，有个情节是机器人HAL与人类Frank下国际象棋，最终人类在机器人面前甘拜下风。 小西：哈哈，看来很早人们就觉得有一天，机器人会在下棋方面超过人类哦。 小迪：是啊，直到1997年，IBM的深蓝智能系统战胜了国际象棋世界冠军Kasparov，这是一次正式意义上的机器在国际象棋领域战胜了人类。不过，当时时代杂志发表的文章还认为，计算机想要在围棋上战胜人类，需要再过上一百年甚至更长的时间。因为围棋相比于国际象棋复杂很多，而IBM的深蓝也只是一个暴力求解的系统，当时的计算机能力在围棋千千万万种变化情况下取胜是不可能的。 小西：后来我知道。没有过100年，20年后AlphaGo在20年后的2016年打败了围棋高手李世石，这下人工智能引起了全世界的关注。 小迪：恭喜你，学会抢答了！ 小西：哈哈，过奖过奖。除了下棋，人工智能发展史上有没有什么特别著名的事件或者有名的大师呢，快给我科普科普呀！ 小迪：那可就太多了啊，无数科学家默默地耕耘才有了今天智能化的社会，三天三夜都说不完。我就说说近些年火爆的深度学习的发展史吧。 小西：好，洗耳恭听呢！ 感知器的发明 1943年Warren McCulloch和Walter Pitts一起提出计算模型，在1957年康奈尔大学的Frank Rosenblatt提出了感知器的概念，这是整个深度学习的开端，感知器是第一个具有自组织自学习能力的数学模型。Rosenblatt乐观地预测感知器最终可以学习，做决定和翻译语言。感知器技术在六十年代非常火热，受到了美国海军的资金支持，希望它以后能够像人一样活动，并且有自我意识。 第一次低潮 Rosenblatt有一个高中校友叫做Minsky，在60年代，两人在感知器的问题上吵得不可开交。R认为感知器将无所不能，M觉得感知器存在很大的缺陷，应用有限。1969年，Minsky出版了新书《感知器：计算几何简介》，这本书中描述了感知器的两个重要问题： 单层神经网络不能解决不可线性分割的问题，典型例子：异或门；当时的电脑完全没有能力承受神经网络的超大规模计算。 随后的十多年，人工智能转入第一次低潮，而Rosenblatt也在他43生日时，因海事丧生，遗憾未能见到神经网络后期的复兴。 Geoffrey Hinton与神经网络 1970年，此时的神经网络正处于第一次低潮期，爱丁堡大学的心理学学士Geoffrey Hinton刚刚毕业。他一直对脑科学非常着迷，同学告诉他，大脑对事物和概念的记忆，不是存储在某个单一的地方，而是分布式的存在一个巨大的神经网络中。分布式表征让Hinton感悟很多，随后的多年里他一直从事神经网络方面的研究，在爱丁堡继续攻读博士学位的他把人工智能作为自己的研究领域。 Rumelhart与BP算法 传统的神经网络拥有巨大的计算量，上世纪的计算机计算能力尚未能满足神经网络的训练。1986年7月，Hinton和David Rumelhart合作在Nature杂志上发表论文系统地阐述了BP算法： 反向传播算法（BP）把纠错运算量下降到只和神经元数目有关；BP算法在神经网络中加入隐层，能够解决非线性问题。 BP算法的效率相比传统神经网络大大提高，计算机的算力在上世纪后期也大幅提高，神经网络开始复苏，引领人工智能走向第二次辉煌。 Yann Lecun与卷积神经网络 1960年Yann Lecun在巴黎出身，在法国获得博士学位后，追随Hinton做了一年博士后，随后加入贝尔实验室。在1989年，Lecun发表论文提出卷积神经网络，并且结合反向传播算法应用在手写邮政编码上，取得了非常好的效果，识别率高达95%。基于这项技术的支票识别系统在90年代占据了美国接近20%的市场。 但也是在贝尔实验室，Yann Lecun的同事Vladmir Vapnik的研究又把神经网络的研究带入了第二个寒冬。 Hinton与深度学习 2003年，Geoffrey Hinton在多伦多大学苦苦钻研着神经网络。在与加拿大先进研究院（CIFAR）的负责人Melvin Silverman交谈后，负责人决定支持Hinton团队十年来进行神经网络的研究。在拿到资助后，Hinton做的第一件事就是把神经网络改名为深度学习。此后的一段时间里，同事经常会听到Hinton在办公室大叫：“我知道神经网络是如何工作的了！” DBN与RBN 2006年Hinton与合作者发表论文——《A Fast Algorithm for Deep BeliefNet》（DBN）。这篇文章中的算法借用了统计力学中“波尔兹曼分布”的概念，使用了所谓的“受限玻尔兹曼机”，也就是RBN来学习。而DBN也就是几层RBN叠加在一起。RBN可以从输入数据进行预训练，自己发现重要的特征，对神经网络的权重进行有效的初始化。这里就出现了另外两个技术——特征提取器与自动编码器。经过MNIST数据集的训练后，识别错误率最低降到了只有1.25%。 吴恩达与GPU 2007年，英伟达推出cuda的GPU软件接口，GPU编程得以极大发展。2009年6月，斯坦福大学的Rajat Raina和吴恩达合作发表文章，论文采用DBNs模型和稀疏编码，模型参数高达一亿，使用GPU运行速度训练模型，相比传统双核CPU最快时相差70倍，把本来需要几周训练的时间降到了一天。算力的进步再次加速了人工智能的快速发展。 黄仁勋与GPU 黄仁勋也是一名华人，1963年出生于台湾，在1993年于斯坦福毕业后创立了英伟达公司，英伟达起家时主要做图像处理芯片，后来黄仁勋发明GPU这个词。相比于CPU架构，GPU善于大批量数据并行处理。而神经网络的计算工作，本质上就是大量的矩阵计算的操作，GPU的发展为深度学习奠定了算力的基础。 李飞飞与ImageNet 深度学习的三大基础——算法，算力和数据。上面提到的主要是算法与算力的发展，而数据集在深度学习发展也起到了至关重要的作用。又是一位华人学者——李飞飞，于2009年建立ImageNet数据集，以供计算机视觉工作者使用，数据集建立的时候，包含320个图像。2010年，ILSVRC2010第一次举办，这是以ImageNet为基础的大型图像识别大赛，比赛也推动了图像识别技术的飞速发展。2012年的比赛，神经网络第一次在图像识别领域击败其他技术，人工智能步入深度学习时代，这也是一个历史性的转折点。 Yoshua Bengio与RELU 2011年，加拿大学者Xavier Glorot与Yoshua Bengio联合发表文章，在算法中提出一种激活函数——RELU，也被称为修正线性单元，不仅识别错误率普遍降低，而且其有效性对于神经网络是否预训练过并不敏感。而且在计算力方面得到提升，也不存在传统激活函数的梯度消失问题。 Schmidhuber与LSTM 其实早在1997年，瑞士Lugano大学的Suhmidhuber和他的学生合作，提出了长短期记忆模型（LSTM）。LSTM背后要解决的问题就是如何将有效的信息，在多层循环神经网络传递之后，仍能传送到需要的地方去。LSTM模块，是通过内在参数的设定，决定某个输入参数在很久之后是否还值得记住，何时取出使用，何时废弃不用。 后记 小迪：其实还有好多有突出贡献的的大师，要是都列出来可以出一本很厚很厚的书啦！ 小西：这些大师都好厉害呀，为了我们的智能化生活体验，辛勤付出了一辈子。 小迪：是啊，还有很多学者默默无闻地工作，一生清苦。 小西：他们都好伟大，有突出贡献的都应该发奖发奖金，对对对，诺贝尔奖！ 小迪：哈哈。诺贝尔奖多数是为基础学科设立的。不过计算机界也有“诺贝尔奖”——图灵奖，这可是计算机界最高奖项哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同获得了2018年的图灵奖。 小西：太棒了，实至名归！ 小迪：当然，图灵奖在此之前也授予了很多在人工智能领域的大牛，像Minsky，John McCarthy这些，还有华人科学家，现在在清华大学任职从事人工智能教育的姚期智先生在2000也获得过图灵奖呢！ 小西：大师们太不容易了，我们也要好好学习呀！ 小迪：是呀！如今我们站在巨人的肩膀上，许多人都可以接触到深度学习，机器学习的内容，不管是工业界还是学术界，人工智能都是一片火热！ 小西：希望这一轮人工智能的兴起不会有低潮，一直蓬勃发展下去，更好地造福人类。 小迪：嗯！

在搜索按钮上搜索作者然后会出现一大堆文章，之后左边有筛选年份的选项，筛选年份然后就可以找了，如果还很多就在筛选选项里选择搜索title然后把题目前两个单词打进去就可以搜索了

不知道，百度都找不到吗？我还以为是歌手啊，哈哈。

发表论文的目的

论文的目的是什么论文的目的：培养科学研究能力，加强综合运用所学知识、理论和技能解决实际问题的训练，从总体上考查学生大学阶段学习所达到的学业水平。意义：撰写毕业论文是检验学生在校学习成果的重要措施，也是提高教学质量的重要环节，通过撰写毕业论文，提高写作水平是干部队伍“四化”建设的需要。它既是探讨问题进行学术研究的一种手段，又是描述学术研究成果进行学术交流的一种工具。它包括学年论文、毕业论文、学位论文、科技论文、成果论文等。扩展资料：论文可以推广经验，交流认识，教育科研过程，是人们获得直接经验的过程。这种经过精心设计、精心探索而获得的直接经验不仅对直接参加者来说是十分宝贵的，而且对于所有教育工作者，对于人类整体认识的提高和发展都是十分宝贵的。现代自然科学已经把全部思维内容起源于经验这一命题加以扩展，以至把它的旧的形而上学的限制和公式完全推翻了。由于它承认了获得性的遗传，它便把经验的主体从个体扩大到类，每一个体都必须亲自去经验，这不再是必要的了；它的个体经验，在某种程度上可以由它的历代祖先的经验的结果来代替。

现在做科研发论文已经成了一项要求，也就是要把自己的科研成果以论文的形式发出去。从而就可以判断一个人在这方面他的能力。如果一个人连论文都写不出来都发表不了，就说明这个人他的科研能力很差的。

论文的目的、意义也就是要写为什么要研究、研究它有什么价值，一般可以先从现实需求方面去论述，指出现实当中存在这个问题所需要研究解决的内容，本论文的研究有什么实际作用。然后再写论文的理论和学术价值。这些都要写得具体、有针对性的，不能漫无边际地空喊口号。

★论文的目的和意义一般包含哪些方面的内容

一，研究的相关背景，我们是根据什么、受什么启发从而决定研究这个课题的；二，通过学校的教育实际，指出我们为什么会选择研究这个课题，我们要解决什么问题，解决之后会产生什么价值。

具体写作的时候，我们要抓住一点，由于论文本身的创新性和科学性，我们研究的问题一定是前人没有解决的、或是前人没有发现的问题，并且具有一定的学术价值，是值得我们花费时间和精力去研究的。我们可以将前人已经得出的结论作为论据，但必须有针对性，不是随便一个结论都可以作为论据使用的。

其次在写作的过程中，要注意使用书面语，论文是一种专业性很强的文体，不需要太多华丽的修饰，我们要尽可能的使用简洁、高度概括的语言去清晰的阐述事实，得出结论。并且涉及的方面要广泛客观。

首先，我们应该追问，发论文的目的到底是什么？其实，发论文是科学研究（特别是基础研究）的一个必要环节。试想，你开展一个试验，拿到结果，通过整理分析，形成一个成果，你这个试验做得到底怎么样？哪里需要完善？下一步朝哪个方向攻关？我们往往需要他人、特别是同领域的学者予以指正。你写一篇论文，编辑通常都会邀请相关专家进行peer review（这些通常是义务的，是一个科学家对学科群的无私贡献），专家会针对性提出研究的亮点或者短板，供你参考。想想，我们课题开展初期、或者申请基金时，用不菲的咨询费邀请专家过来指导；现在，投论文让全球学者帮你免费指正，这是多么划算的一件事！当然，我也见过没法好论文的项目，甚至缺乏统计分析，在验收时竟然也能结题，令人咋舌。因此，发论文是不断提高自我研究水平、明确研究方向的一个途径。其次，发论文是为了科研的传承。回忆一下你的科研之路，哪个不是从阅读经典论文开始的？哪个大牛没有几篇代表性论著？哪个诺奖背后没有高水平论文的支撑？经典研究还会被编入教材，培养一代代科技人才。因此，论文是科研的积淀、是知识的传承，是你站在巨人肩膀上继续探索的基石。从科学发展的角度，论文是薪火相传的火种，是连接一门学科过去和将来的线索。最后，论文发表是倒逼科研水平提升的动力。读博时，聆听一位国外学者的学术报告，他说常有人问他“How to publish top papers?”，他回答“Do top research”，我深以为然。我们做学生投稿时，常会发现，有人试验做得漂亮，但是语言不好，结果打动了编辑，编辑都会耐心让你修改语言，最终论文会接受；有人语言很好，但是试验缺少创新性，文章写得天花乱坠，也很难接收。因此，研究本身的魅力是根本，瑕不掩瑜，是高水平论文的根源。为了发表高水平论文，去做高水平研究，也是一种自我提升的激励机制。

论文的发表目的

论文的目的是什么论文的目的：培养科学研究能力，加强综合运用所学知识、理论和技能解决实际问题的训练，从总体上考查学生大学阶段学习所达到的学业水平。意义：撰写毕业论文是检验学生在校学习成果的重要措施，也是提高教学质量的重要环节，通过撰写毕业论文，提高写作水平是干部队伍“四化”建设的需要。它既是探讨问题进行学术研究的一种手段，又是描述学术研究成果进行学术交流的一种工具。它包括学年论文、毕业论文、学位论文、科技论文、成果论文等。扩展资料：论文可以推广经验，交流认识，教育科研过程，是人们获得直接经验的过程。这种经过精心设计、精心探索而获得的直接经验不仅对直接参加者来说是十分宝贵的，而且对于所有教育工作者，对于人类整体认识的提高和发展都是十分宝贵的。现代自然科学已经把全部思维内容起源于经验这一命题加以扩展，以至把它的旧的形而上学的限制和公式完全推翻了。由于它承认了获得性的遗传，它便把经验的主体从个体扩大到类，每一个体都必须亲自去经验，这不再是必要的了；它的个体经验，在某种程度上可以由它的历代祖先的经验的结果来代替。

因为发表是确定个人知识产权的必要方法。学术论文需要发表，有如下步骤：

1、根据论文所属的主题和学科类别，选择相应的学术期刊；

2、通过邮寄或电子方式（如果有的话）投稿，等待审稿意见；

3、如果审稿录用，有的需要进一步修改，然后交版面费（少数期刊不要），等待出版。

扩展资料：

科学性：学术论文的科学性，要求作者在立论上不得带有个人好恶的偏见，不得主观臆造，必须切实地从客观实际出发，从中引出符合实际的结论。在论据上，应尽可能多地占有资料，以最充分的、确凿有力的论据作为立论的依据。在论证时，必须经过周密的思考，进行严谨的论证。

创造性：科学研究是对新知识的探求。创造性是科学研究的生命。学术论文的创造性在于作者要有自己独到的见解，能提出新的观点、新的理论。

这是因为科学的本性就是“革命的和非正统的”，“科学方法主要是发现新现象、制定新理论的一种手段，旧的科学理论就必然会不断地为新理论推翻。”（斯蒂芬·梅森）因此，没有创造性，学术论文就没有科学价值。