iclr论文发表
ICLR，全称为International Conference on Learning Representations，即国际学习表征会议。
尽管表征学习对于机器学习及包括视觉、语音、音频及NLP领域起着至关重要的作用，但还缺乏一个场所，能够让学者们交流分享该领域所关心的话题。ICLR的宗旨正是填补这一鸿沟。
2013年开始每年举办一次，该会议已经得到学术研究者们的广泛认可，被认为是深度学习领域的顶级会议，虽然成立时间不长，但被CCF评选为一类会议。
扩展资料
会议特色：Open Review评审机制
根据规定，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问（open peer review），任何学者都可或匿名或实名地评价论文。而在公开评审结束后，论文作者也能够对论文进行调整和修改。
ICLR的历届所有论文及评审讨论的内容，都完整地保存在OpenReview.net上，它也是ICLR的官方投稿入口。
OpenReview.net是马萨诸塞大学阿默斯特学院Andrew McCAllum牵头创办的一个公开评审系统，秉承公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开API及开源等八大原则，得到了Facebook、GOOGle、NSF和马萨诸塞大学阿默斯特中心等机构的支持。
此外，目前它也接受其它学术会议的论文投递。
ICLR发表的论文集
论文: Characterizing signal propagation to close the performance gap in unnormalized ResNets
BatchNorm是深度学习中核心计算组件，大部分的SOTA图像模型都使用它，主要有以下几个优点：
然而，尽管BatchNorm很好，但还是有以下缺点：
目前，很多研究开始寻找替代BatchNorm的归一化层，但这些替代层要么表现不行，要么会带来新的问题，比如增加推理的计算消耗。而另外一些研究则尝试去掉归一化层，比如初始化残差分支的权值，使其输出为零，保证训练初期大部分的信息通过skip path进行传递。虽然能够训练很深的网络，但使用简单的初始化方法的网络的准确率较差，而且这样的初始化很难用于更复杂的网络中。 因此，论文希望找出一种有效地训练不含BatchNorm的深度残差网络的方法，而且测试集性能能够媲美当前的SOTA，论文主要贡献如下：
许多研究从理论上分析ResNet的信号传播，却很少会在设计或魔改网络的时候实地验证不同层数的特征缩放情况。实际上，用任意输入进行前向推理，然后记录网络不同位置特征的统计信息，可以很直观地了解信息传播状况并尽快发现隐藏的问题，不用经历漫长的失败训练。于是，论文提出了信号传播图(Signal Propagation Plots,SPPs)，输入随机高斯输入或真实训练样本，然后分别统计每个残差block输出的以下信息：
论文对常见的BN-ReLU-Conv结构和不常见的ReLU-BN-Conv结构进行了实验统计，实验的网络为600层ResNet，采用He初始化，定义residual block为 ，从SPPs可以发现了以下现象：
假如直接去掉BatchNorm，Average Squared Channel Means和Average Channel Variance将会不断地增加，这也是深层网络难以训练的原因。所以要去掉BatchNorm，必须设法模拟BatchNorm的信号传递效果。
根据前面的SPPs，论文设计了新的redsidual block ，主要模拟BatchNorm在均值和方差上的表现，具体如下：
根据上面的设计，给定 和 ，可根据 直接计算第 个residual block的输出的方差。为了模拟ResNet中的累积方差在transition block处被重置，需要将transition block的skip path的输入缩小为 ，保证每个stage开头的transition block输出方差满足 。将上述简单缩放策略应用到残差网络并去掉BatchNorm层，就得到了Normalizer-Free ResNets(NF-ResNets)。
论文对使用He初始化的NF-ResNet进行SPPs分析，结果如图2，发现了两个比较意外的现象：
为了验证上述现象，论文将网络的ReLU去掉再进行SPPs分析。如图7所示，当去掉ReLU后，Average Channel Squared Mean接近于0，而且残差分支输出的接近1，这表明是ReLU导致了mean-shift现象。 论文也从理论的角度分析了这一现象，首先定义转化 ， 为任意且固定的矩阵， 为作用于独立同分布输入 上的elememt-wise激活函数，所以 也是独立同分布的。假设每个维度 都有 以及 ，则输出 的均值和方差为：
其中， 和 为 的 行(fan-in)的均值和方差：
当 为ReLU激活函数时，则 ，意味着后续的线性层的输入都为正均值。如果 ，则 。由于 ，如果 也是非零，则 同样有非零均值。需要注意的是，即使 从均值为零的分布中采样而来，其实际的矩阵均值肯定不会为零，所以残差分支的任意维度的输出也不会为零，随着网络深度的增加，越来越难训练。
为了消除mean-shift现象以及保证残差分支 具有方差不变的特性，论文借鉴了Weight Standardization和Centered Weight Standardization，提出Scaled Weight Standardization(Scaled WS)方法，该方法对卷积层的权值重新进行如下的初始化：
和 为卷积核的fan-in的均值和方差，权值 初始为高斯权值， 为固定常量。代入公式1可以得出，对于 ，有 ，去除了mean-shift现象。另外，方差变为 ， 值由使用的激活函数决定，可保持方差不变。 Scaled WS训练时增加的开销很少，而且与batch数据无关，在推理的时候更是无额外开销的。另外，训练和测试时的计算逻辑保持一致，对分布式训练也很友好。从图2的SPPs曲线可以看出，加入Scaled WS的NF-ResNet-600的表现跟ReLU-BN-Conv十分相似。
最后的因素是 值的确定，保证残差分支输出的方差在初始阶段接近1。 值由网络使用的非线性激活类型决定，假设非线性的输入 ，则ReLU输出 相当于从方差为 的高斯分布采样而来。由于 ，可设置 来保证 。虽然真实的输入不是完全符合 ，在实践中上述的 设定依然有不错的表现。 对于其他复杂的非线性激活，如SiLU和Swish，公式推导会涉及复杂的积分，甚至推出不出来。在这种情况下，可使用数值近似的方法。先从高斯分布中采样多个 维向量 ，计算每个向量的激活输出的实际方差 ，再取实际方差均值的平方根即可。
本文的核心在于保持正确的信息传递，所以许多常见的网络结构都要进行修改。如同选择 值一样，可通过分析或实践判断必要的修改。比如SE模块 ，输出需要与 的权值进行相乘，导致信息传递减弱，网络变得不稳定。使用上面提到的数值近似进行单独分析，发现期望方差为0.5，这意味着输出需要乘以2来恢复正确的信息传递。 实际上，有时相对简单的网络结构修改就可以保持很好的信息传递，而有时候即便网络结构不修改，网络本身也能够对网络结构导致的信息衰减有很好的鲁棒性。因此，论文也尝试在维持稳定训练的前提下，测试Scaled WS层的约束的最大放松程度。比如，为Scaled WS层恢复一些卷积的表达能力，加入可学习的缩放因子和偏置，分别用于权值相乘和非线性输出相加。当这些可学习参数没有任何约束时，训练的稳定性没有受到很大的影响，反而对大于150层的网络训练有一定的帮助。所以，NF-ResNet直接放松了约束，加入两个可学习参数。 论文的附录有详细的网络实现细节，有兴趣的可以去看看。
总结一下，Normalizer-Free ResNet的核心有以下几点：
对比RegNet的Normalizer-Free变种与其他方法的对比，相对于EfficientNet还是差点，但已经十分接近了。
论文提出NF-ResNet，根据网络的实际信号传递进行分析，模拟BatchNorm在均值和方差传递上的表现，进而代替BatchNorm。论文实验和分析十分足，出来的效果也很不错。一些初始化方法的理论效果是对的，但实际使用会有偏差，论文通过实践分析发现了这一点进行补充，贯彻了实践出真知的道理。
论文: LiftPool: Bidirectional ConvNet Pooling
[图片上传失败...(image-25ebb9-1656174155789)]
空间池化是卷积网络中很重要的操作，关键在于缩小分辨率的同时保留最重要的特征值，方便后续的模型辨别。简单的池化操作，如最大池化和平均池化，不仅池化时忽略了局部特性，还不支持逆向恢复丢失的信息。为此，论文提出了双向池化层LiftPool，包含保留细节特征的下采样操作LiftDownPool以及产生精细特征图的上采样操作LiftUpPool。
[图片上传失败...(image-b4f8ff-1656174155789)]
LiftPool的灵感来自于信号处理中的提升方案(Lifting Scheme)，下采样时将输入分解成多个次频带(sub-band)，上采样时能够完美地逆向恢复。如图1所示，LiftDownPool产生四个次频带，其中LL次频带是去掉细节的输入近似，LH、HL和HH则包含水平、垂直和对角方向的细节信息。用户可以选择一个或多个次频带作为输出，保留其它次频带用于恢复。LiftUpPool根据次频带恢复上采样输入，对比MaxUpPool的效果，LiftUpPool则能产生更精细的输出。
下采样特征图时，池化操作核心在于减少下采样造成的信息损失，而信号处理中的提升方案(Lift Scheme)恰好能满足这一需求。提升方案利用信号的相关结构，在空间域构造其下采样的近似信号以及多个包含细节信息的次频带(sub-band)，在逆转换时能完美重构输入信号。借用提升方案，论文提出了双向池化层LiftPool。
以一维信号 为例，LiftDownPool将其分解成下采样近似信号 和差分信号 ：
[图片上传失败...(image-579f4f-1656174155789)]
其中 包含3个函数， 表示函数组合。
[图片上传失败...(image-3e6533-1656174155789)]
LiftDownPool-1D的整体过程如图2所示，包含以下步骤：
实际上，经典的提升方案就是低通滤波和高通滤波来完成的，通过预设的滤波器将图片分解成四个次频带。但一般来说，以预设滤波器的形式定义 和 是很难的。为此，Zheng等人提出通过网络的反向传播来优化这些滤波器。借用此思路，论文通过1D卷积+非线性激活来实现LiftDownPool中的 和 功能：
[图片上传失败...(image-3892e3-1656174155789)]
为了能够更好地进行端到端地训练，需要对最终的损失函数添加两个约束。首先， 是从 变化得到的，基本上要跟 相似，添加正则项 最小化 和 的L2-norm距离：
[图片上传失败...(image-5303c9-1656174155789)]
另外， 的设想是将 转换为 ，所以添加正则项 最小化细节差异 ：
[图片上传失败...(image-f2a301-1656174155789)]
完整的损失函数为：
[图片上传失败...(image-947d3-1656174155789)]
为特定任务的损失函数，如分类或语义分割损失。设置 和 ，能够给模型带来不错的正则化效果。
LiftDownPool-2D可分解成几个LiftDownPool-1D操作。根据标准提升方案，先在水平方向执行LiftDownPool-1D获得 (水平方向的低频)以及 (水平方向的高频)。随后对这两部分分别执行垂直方向的LiftDownPool-1D， 被进一步分解成LL(垂直和水平方向的低频)和LH(垂直方向的低频和水平方向的高频)，而 则被进一步分解成HL(垂直方向的高频和水平方向的低频)和HH(垂直和水平方向的高频)。 用户可灵活选择其中一个或多个次频带作为结果，保留其它次频带用于恢复。一般来说，LiftDownPool-1D可以进一步泛化到n维信号。
[图片上传失败...(image-dab924-1656174155789)]
图3为VGG13的首个LiftDownPool层的几个特征输出，LL特征更平滑，细节较少，LH、HL和HH则分别捕捉了水平方向、垂直方向和对角方向的细节。
LiftUpPool继承了提升方案的可逆性。继续以1D信号为例，LiftUpPool可从 中恢复上采样信号 ：
[图片上传失败...(image-ad040c-1656174155789)]
包含update、predict、merge函数，即 ：
[图片上传失败...(image-b6c899-1656174155789)]
通过上述公式获得 和 ，进而合成 ，得到包含丰富信息的上采样特征图。 上采样在image-to-image转换中经常使用，比如语义分割，超分辨率和图片上色等任务。但目前大多数池化操作是不可逆的，比如MaxPool上采样的输出较为稀疏且损失大部分的结构信息。而LiftUpPool能对LiftDownPool的输出进行逆转换，借助次频带产出更好的输出。
[图片上传失败...(image-321dbe-1656174155789)]
以kernel size=2、stride=2的池化为例，LiftPool和MaxPool的逻辑如图6所示。
Maxpool选择局部最大值作为输出，会丢失75%的信息，这其中很可能包含了跟图像识别相关的重要信息。 LiftDownPool将特征图分解成次频带LL、LH、HL和HH，其中LL为输入的近似，其它为不同方向的细节信息。LiftDownPool将所有次频带相加作为输出，包含了近似信息和细节信息，能够更高效地用于图像分类。
MaxPool是不可逆的，通过记录的的最大值下标进行MaxUpPool。MaxUpPool将输出的特征图的特征值对应回下标位置，其余均为零，所以恢复的特征图十分稀疏。 LiftDownPool是可逆的，根据提升方案的属性对LiftDownPool进行反向恢复，而且LiftUpPool能生成包含记录的细节的高质量结果。
[图片上传失败...(image-425b53-1656174155789)]
在CIFAR-100上对比次频带和正则项效果。
[图片上传失败...(image-78e714-1656174155789)]
在ImageNet上，搭配不同主干网络上进行对比。
[图片上传失败...(image-7fd5f8-1656174155789)]
进行抗干扰数据集测试对比。
[图片上传失败...(image-761cf4-1656174155789)]
不同数据集上的语义分割性能对比。
[图片上传失败...(image-ea410b-1656174155789)]
语义分割上采样结果对比。
论文参考提升方案提出双向池化操作LiftPool，不仅下采样时能保留尽可能多的细节，上采样时也能恢复更多的细节。从实验结果来看，LiftPool对图像分类能的准确率和鲁棒性有很好的提升，而对语义分割的准确性更能有可观的提升。不过目前论文还在准备开源阶段，期待开源后的复现，特别是在速度和显存方面结果。
发表iclr论文水平怎样
1、ICLR，全称International Conference on Learning Representations，即国际学习表征会议，虽然资历尚浅，（2013 年才成立第一届），但已经被学术研究者们广泛认可，被认为是深度学习的顶级会议。 2、ICLR的论文审核主要分为单盲、双盲、开放评审等形式，单盲评审的含义非常简单，即评审知道作者的名字、学校等身份信息，但作者不知道评审论文的人是谁；而双盲评审则是双方都不知晓彼此的身份信息。这两种方式为较多学术会议及期刊评审论文的主要途径。
ICLR，全称为International Conference on Learning Representations，即国际学习表征会议。
尽管表征学习对于机器学习及包括视觉、语音、音频及NLP领域起着至关重要的作用，但还缺乏一个场所，能够让学者们交流分享该领域所关心的话题。ICLR的宗旨正是填补这一鸿沟。
2013年开始每年举办一次，该会议已经得到学术研究者们的广泛认可，被认为是深度学习领域的顶级会议，虽然成立时间不长，但被CCF评选为一类会议。
扩展资料
会议特色：Open Review评审机制
根据规定，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问（open peer review），任何学者都可或匿名或实名地评价论文。而在公开评审结束后，论文作者也能够对论文进行调整和修改。
ICLR的历届所有论文及评审讨论的内容，都完整地保存在OpenReview.net上，它也是ICLR的官方投稿入口。
OpenReview.net是马萨诸塞大学阿默斯特学院Andrew McCAllum牵头创办的一个公开评审系统，秉承公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开API及开源等八大原则，得到了Facebook、GOOGle、NSF和马萨诸塞大学阿默斯特中心等机构的支持。
此外，目前它也接受其它学术会议的论文投递。
iclr会议的论文发表在哪里
一般来说会议官方网站不管是期刊还是论文集都是有相对应的检索情况说明的，你只要和会议方确认一下你被收录的论文是怎样的出版，就可以相对应的看看你的论文检索了。
1、找到与你相关的“会议”的“征文通知”；2、根据《会议通知》要求，准备论文——投稿——汇款（如该会议需注册费、版面费等费用的话）——参加会议（一般还有会务费）——获取论文集。
是的，ICET的官方网站上提供期刊和会议论文集两种投稿方式。你可以根据需要选择对应的投稿方式，也可以同时投稿到期刊和会议论文集。
SCI期刊（被引文索引）是一种学术期刊，只收录经过严格的审查的研究论文。参加会议的论文可以在SCI期刊上发表，但这取决于会议论文的质量。大多数时候，会议论文需要经过进一步修改和审查才能发表在SCI期刊上。
发表论文发表论文
以下是发表论文或期刊的方法：
一、写作
首先要写好一篇论文，选题要与专业、研究方向密切相关，论文的格式要规范，应包括题目、作者（姓名、单位、邮编及简介）内容摘要、关键词、正文等；论文篇幅不宜过长，因为期刊版面的字符数是固定的，字符数越多，版面增加，相应的费用就会越高；最后还要注意控制重复率，一般期刊要5%-20%以下才合格录用。
二、选刊
选择一本合适的期刊进行投稿，是成功发表论文极其关键的一步，要遵循几个原则，即
1、 国家新闻出版署能查到的正规期刊；
2、知网、万方、维普、龙源四大数据库之一正常收录的期刊；
3、符合学校、单位要求的期刊；
最后还要考虑论文是否符合期刊的收稿范围，避免因为文章方向不合适出现拒稿的情况。
三、投稿
投稿的途径有两种，一种是通过杂志社邮箱，官网或者在线系统投稿。（注意：数据库和期刊的目录页上面的联系方式才是准确的），虽然这种方式完全不用担心被，但缺点是审稿时间较长，沟通不及时，无法了解期刊最新出刊时间，费用，收稿要求等等。
第二种就是找代理投稿 。这个方法也是现在大多数人用的要给方法，为什么会这样的，我只能说谁用谁知道。这个是最简单最省事儿的。以前我就是找的一个文化公司安排文章，服务没得说，只需要提供文章，剩余的事情全由他们搞定。
中介投稿也是有很多优势的
1、刊物比较丰富和全面，各类的刊物都有，可以根据作者的要求快速推荐推荐合适的刊物。
2、 期刊信息非常的全名，从刊物的收稿栏目，出刊时间，版面字符数要求，期刊级别、出刊周期、审核标准、是否可以开社内发票、刊号邮发代号、电子刊号、是否可以查稿、封面以及影响因子区间
3、他们基本上是和杂志社或是承包商直接对接的，沟通速度比较的迅速。
4、查稿后付款。这点已经算是标配了，绝大多数的刊物都是可以查稿后付款的，而且查稿电话是数据库可以查询到的哦 。
5、 最要是不收定金和知道一个刊物的审稿要求和难度。
1、确定自己发表论文的需求。 2、选择合适的期刊，核实期刊论文真伪，目前国内所有学术期刊，均可通过国家新闻出版总署期刊查询中心进行查询核实，如果查询不到CN刊号，那就说明期刊是假刊。 3、了解期刊征稿需求，阅读其刊登发表过的论文，看自己的论文是否适合在这些期刊上发表，从中挑出2-3个期刊作为备选，进一步了解这些刊物的审稿周期、投稿费用、投稿要求等. 4、等待样刊和论文上网，可以通过国内的四大权威数据库如知网、万方、维普、龙源查询核实。 5、如果觉得自己寻找期刊麻烦，还可以通过代理/杂志社服务，以下为流程： （1）论文写好并发给代理或者杂志社。（文章质量要有保证） （2）根据论文字数内容和作者的发表意向确定所发表的期刊及费用。 （3）支付定金。 （4）杂志社进行审稿，审稿通过后邮寄给您稿件录用通知单。 （5）在你收到用稿通知后，三天内请付清余款，以确保你的论文能及时发表。 （6）杂志出刊后杂志社会给每个作者邮寄两本样刊，以供您使用。
评职称发表论文可以自己投稿给杂志社，也可以找杂志社的编辑，让他们帮你投。自己投稿需要自己把稿件写好修饰好，字符数以及查重等都要符合要求才可以。找杂志社的编辑要认清别是子，价格太低的要小心，因为检索网站可能不稳定。主要就看自己的需求，看评职文件的要求，别到时花钱了却不能用，白花钱不说还耽误了评职，得不偿失。