职称论文百科

google发表的论文

发布时间:2024-07-06 21:08:33

google发表的论文

Google已经被大陆屏蔽了 你可以去Google香港的服务器

Google在科学杂志《自然》上发表的一篇新文章中正式宣布已实现“量子霸权” ,这离公司最初泄漏该事件的发生刚好一个月,当时,Google的论文被意外地提前发表。不过,Google现在的正式宣布则意味着这项研究的全部细节都会被公开的,科学界可以更广泛地审查Google所说的成就。

谷歌表示,其54比特Sycamore处理器能够在200秒内完成世界上最强大的超级计算机花费10000年所需的随机数计算量,这让目前所有的非量子计算机相形见绌。

而就在今天,另一家超级计算机公司IBM正在对谷歌的说法提出异议。在周一抢先发表的博客文章中,该公司表示,在传统系统上可以在2.5天之内完成相同的任务,而不是Google声称的10000年。 IBM说,在估算其传统超级计算机执行计算所需的时间时,Google“未能充分考虑大量磁盘存储”的开销。

尽管IBM试图淡化Google的成就,但研究界人士对此消息表示欢迎,《纽约时报》引述科学家的话将Google的突破与莱特兄弟1903年的首次飞机飞行相提并论。

距离量子计算开始逐渐被运用,我们可能还需要数年的时间,但是Google的发现最终可以提供证据,证明量子计算的未来已经有了可能。

国内没办法直接上谷歌的网站 你可以搜索下载个E9代理加速器 这样就能上Google下载东西了

google发表的三篇论文

第一阶段,运营式系统阶段。在上世纪七八十年代,用户购物时产生的记录一条条输入数据库,当时都是由这些运营系统生成这些数据的。

第二阶段,由用户原创内容阶段。2002年的时候,开始有了博客,后来发展成微博,到后来出现的微信,这些让每个网民都成了自媒体,都可以自己随心所欲地向网络发布相关的信息,这个时候数据产生的速度要远远大于之前的仅仅由运营系统产生的数据。

第三阶段,感知式系统阶段。真正让大数据时代由量变到质变是因为数据产生的方式到了第三个阶段——感知式系统阶段。

感知式系统阶段也就是物联网的大规模普及,物联网的迅速发展让大数据时代最终到来。

大数据是互联网发展到一定阶段的必然产物:

由于互联网在资源整合方面的能力在不断增强,互联网本身必须通过数据来体现出自身的价值,所以从这个角度来看,大数据正在充当互联网价值的体现者。

随着更多的社会资源进行网络化和数据化改造,大数据所能承载的价值也必将不断提到提高,大数据的应用边界也会不断得到拓展,所以在未来的网络化时代,大数据自身不仅能够代表价值,大数据自身更是能够创造价值。

因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。从 Spark 超越 Hadoop 勇攀高峰,到 Flink 横空出世挑战 Spark 成为大数据处理领域一颗耀眼的新星,再到如今 Google 又决心用 Apache Beam 一统天下。大数据开源技术的发展可谓是继往开来,跌宕起伏,波澜壮阔,俨然一副绵绵不断的辉煌画卷。

大数据技术发展史:大数据的前世今生

今天我们常说的大数据技术,其实起源于Google在2004年前后发表的三篇论文,也就是我们经常听到的“三驾马车”,分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。

你知道,搜索引擎主要就做两件事情,一个是网页抓取,一个是索引构建,而在这个过程中,有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的,你从介绍中也能看出来,一个文件系统、一个计算框架、一个数据库系统。

现在你听到分布式、大数据之类的词,肯定一点儿也不陌生。但你要知道,在2004年那会儿,整个互联网还处于懵懂时代,Google发布的论文实在是让业界为之一振,大家恍然大悟,原来还可以这么玩。

因为那个时间段,大多数公司的关注点其实还是聚焦在单机上,在思考如何提升单机的性能,寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群,通过分布式的方式将海量数据存储在这个集群上,然后利用集群上的所有机器进行数据计算。 这样,Google其实不需要买很多很贵的服务器,它只要把这些普通的机器组织到一起,就非常厉害了。

当时的天才程序员,也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch,阅读了Google的论文后,他非常兴奋,紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。

两年后的2006年,Doug Cutting将这些大数据相关的功能从Nutch中分离了出来,然后启动了一个独立的项目专门开发维护大数据技术,这就是后来赫赫有名的Hadoop,主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。

当我们回顾软件开发的历史,包括我们自己开发的软件,你会发现,有的软件在开发出来以后无人问津或者寥寥数人使用,这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业,每年创造数百亿美元的价值,创造百万计的就业岗位,这些软件曾经是Windows、Linux、Java,而现在这个名单要加上Hadoop的名字。

如果有时间,你可以简单浏览下Hadoop的代码,这个纯用Java编写的软件其实并没有什么高深的技术难点,使用的也都是一些最基础的编程技巧,也没有什么出奇之处,但是它却给社会带来巨大的影响,甚至带动一场深刻的科技革命,推动了人工智能的发展与进步。

我觉得,我们在做软件开发的时候,也可以多思考一下,我们所开发软件的价值点在哪里?真正需要使用软件实现价值的地方在哪里?你应该关注业务、理解业务,有价值导向,用自己的技术为公司创造真正的价值,进而实现自己的人生价值。而不是整天埋头在需求说明文档里,做一个没有思考的代码机器人。

Hadoop发布之后,Yahoo很快就用了起来。大概又过了一年到了2007年,百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。

2008年,Hadoop正式成为Apache的顶级项目,后来Doug Cutting本人也成为了Apache基金会的主席。自此,Hadoop作为软件开发领域的一颗明星冉冉升起。

同年,专门运营Hadoop的商业公司Cloudera成立,Hadoop得到进一步的商业支持。

这个时候,Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了,于是便开发了Pig。Pig是一种脚本语言,使用类SQL的语法,开发者可以用Pig脚本描述要对大数据集上进行的操作,Pig经过编译后会生成MapReduce程序,然后在Hadoop上运行。

编写Pig脚本虽然比直接MapReduce编程容易,但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算,比如说你可以写个Select语句进行数据查询,然后Hive会把SQL语句转化成MapReduce的计算程序。

这样,熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度,迅速得到开发者和企业的追捧。据说,2011年的时候,Facebook大数据平台上运行的作业90%都来源于Hive。

随后,众多Hadoop周边产品开始出现,大数据生态体系逐渐形成,其中包括:专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop;针对大规模日志进行分布式收集、聚合和传输的Flume;MapReduce工作流调度引擎Oozie等。

在Hadoop早期,MapReduce既是一个执行引擎,又是一个资源调度框架,服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用,也使得MapReduce非常臃肿。于是一个新项目启动了,将MapReduce执行引擎和资源调度分离开来,这就是Yarn。2012年,Yarn成为一个独立的项目开始运营,随后被各类大数据产品支持,成为大数据平台上最主流的资源调度系统。

同样是在2012年,UC伯克利AMP实验室(Algorithms、Machine和People的缩写)开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差,因为机器学习算法通常需要进行很多次的迭代计算,而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业,带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质,而2012年的时候,内存已经突破容量和成本限制,成为数据运行过程中主要的存储介质。Spark一经推出,立即受到业界的追捧,并逐步替代MapReduce在企业应用中的地位。

一般说来,像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算,因为它们通常针对以“天”为单位产生的数据进行一次计算,然后得到需要的结果,这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据,而是历史数据,所以这类计算也被称为大数据离线计算。

而在大数据领域,还有另外一类应用场景,它们需要对实时产生的大量数据进行即时计算,比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算,相应地,有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据,所以这类计算也被称为大数据实时计算。

在典型的大数据的业务场景下,数据业务最通用的做法是,采用批处理的技术处理历史全量数据,采用流式计算处理实时新增数据。而像Flink这样的计算引擎,可以同时支持流式计算和批处理计算。

除了大数据批处理和流处理,NoSQL系统处理的主要也是大规模海量数据的存储与访问,所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆,涌现出HBase、Cassandra等许多优秀的产品,其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。

我们回顾软件发展的历史会发现,差不多类似功能的软件,它们出现的时间都非常接近,比如Linux和Windows都是在90年代初出现,Java开发中的各类MVC框架也基本都是同期出现,Android和iOS也是前脚后脚问世。2011年前后,各种NoSQL数据库也是层出不群,我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。

事物发展有自己的潮流和规律,当你身处潮流之中的时候,要紧紧抓住潮流的机会,想办法脱颖而出,即使没有成功,也会更加洞悉时代的脉搏,收获珍贵的知识和经验。而如果潮流已经退去,这个时候再去往这个方向上努力,只会收获迷茫与压抑,对时代、对自己都没有什么帮助。

但是时代的浪潮犹如海滩上的浪花,总是一浪接着一浪,只要你站在海边,身处这个行业之中,下一个浪潮很快又会到来。你需要敏感而又深刻地去观察,略去那些浮躁的泡沫,抓住真正潮流的机会,奋力一搏,不管成败,都不会遗憾。

正所谓在历史前进的逻辑中前进,在时代发展的潮流中发展。通俗的说,就是要在风口中飞翔。

上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成;数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等,内置了主要的机器学习和数据挖掘算法。

此外,大数据要存入分布式文件系统(HDFS),要有序调度MapReduce和Spark作业执行,并能把执行结果写入到各个应用系统的数据库中,还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。

图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系,我将会在专栏后面逐个分析,帮你能够对大数据技术原理和应用算法构建起完整的知识体系,进可以专职从事大数据开发,退可以在自己的应用开发中更好地和大数据集成,掌控自己的项目。

希望对您有所帮助!~

可按照时间点划分大数据的发展历程。

大数据时代发展的具体历程如下:

2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目,后来因其技术的高效性,被Apache Software Foundation公司引入并成为开源应用。

Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统,这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。这两项服务的共同目标是,提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。

2008年末,“大数据”得到部分美国知名计算机科学研究人员的认可,业界组织计算社区联盟 (Computing Community Consortium),发表了一份有影响力的白皮书《大数据计算:在商务、科学和社会领域创建革命性突破》。它使人们的思维不仅局限于数据处理的机器,并提出:大数据真正重要的是新用途和新见解,而非数据本身。此组织可以说是最早提出大数据概念的机构。

2009年印度政府建立了用于身份识别管理的生物识别数据库,联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。同年,美国政府通过启动网站的方式进一步开放了数据的大门,这个网站向公众提供各种各样的政府数据。该网站的超过4.45万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息,这一行动激发了从肯尼亚到英国范围内的政府们相继推出类似举措。

2009年,欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。

2010年2月,肯尼斯ž库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据,无所不在的数据》。库克尔在报告中提到:“世界上有着无法想象的巨量数字信息,并以极快的速度增长。从经济界到科学界,从政府部门到艺术领域,很多方面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇:“大数据”。库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。

2011年2月,IBM的沃森超级计算机每秒可扫描并分析4TB(约2亿页文字量)的数据量,并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。后来纽约时报认为这一刻为一个“大数据计算的胜利。” 相继在同年5月,全球知名咨询公司麦肯锡(McKinsey&Company)肯锡全球研究院(MGI)发布了一份报告——《大数据:创新、竞争和生产力的下一个新领域》,大数据开始备受关注,这也是专业机构第一次全方面的介绍和展望大数据。报告指出,大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。报告还提到,“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来,产生、传送、分享和访问数据的能力也得到彻底变革。

2011年12 月,工信部发布的物联网十二五规划上,把信息处理技术作为4 项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。

2012年1月份,瑞士达沃斯召开的世界经济论坛上,大数据是主题之一,会上发布的报告《大数据,大影响》(Big Data, Big Impact) 宣称,数据已经成为一种新的经济资产类别,就像货币或黄金一样。

2012年3月,美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》,这一倡议标志着大数据已经成为重要的时代特征。2012年3月22日,奥巴马政府宣布2亿美元投资大数据领域,是大数据技术从商业行为上升到国家科技战略的分水岭,在次日的电话会议中,政府对数据的定义“未来的新石油”,大数据技术领域的竞争,事关国家安全和未来。并表示,国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力;国家数字主权体现对数据的占有和控制。数字主权将是继边防、海防、空防之后,另一个大国博弈的空间。

2012年4月,美国软件公司Splunk于19日在纳斯达克成功上市,成为第一家上市的大数据处理公司。鉴于美国经济持续低靡、股市持续震荡的大背景,Splunk首日的突出交易表现尤其令人们印象深刻,首日即暴涨了一倍多。Splunk是一家领先的提供大数据监测和分析服务的软件提供商,成立于2003年。Splunk成功上市促进了资本市场对大数据的关注,同时也促使IT厂商加快大数据布局。2012年7月,联合国在纽约发布了一份关于大数据政务的白皮书,总结了各国政府如何利用大数据更好地服务和保护人民。这份白皮书举例说明在一个数据生态系统中,个人、公共部门和私人部门各自的角色、动机和需求:例如通过对价格关注和更好服务的渴望,个人提供数据和众包信息,并对隐私和退出权力提出需求;公共部门出于改善服务,提升效益的目的,提供了诸如统计数据、设备信息,健康指标,及税务和消费信息等,并对隐私和退出权力提出需求;私人部门出于提升客户认知和预测趋势目的,提供汇总数据、消费和使用信息,并对敏感数据所有权和商业模式更加关注。白皮书还指出,人们如今可以使用的极大丰富的数据资源,包括旧数据和新数据,来对社会人口进行前所未有的实时分析。联合国还以爱尔兰和美国的社交网络活跃度增长可以作为失业率上升的早期征兆为例,表明政府如果能合理分析所掌握的数据资源,将能“与数俱进”,快速应变。在这一年的7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立“首席数据官”一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台——“聚石塔”,为天猫、淘宝平台上的电商及电商服务商等提供数据云服务。随后,阿里巴巴董事局主席马云在2012年网商大会上发表演讲,称从2013年1月1日起将转型重塑平台、金融和数据三大业务。马云强调:“假如我们有一个数据预报台,就像为企业装上了一个GPS和雷达,你们出海将会更有把握。”因此,阿里巴巴集团希望通过分享和挖掘海量数据,为国家和中小企业提供价值。此举是国内企业最早把大数据提升到企业管理层高度的一次重大里程碑。阿里巴巴也是最早提出通过数据进行企业数据化运营的企业。

2014年4月,世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告(第13版)》。报告认为,在未来几年中针对各种信息通信技术的政策甚至会显得更加重要。在接下来将对数据保密和网络管制等议题展开积极讨论。全球大数据产业的日趋活跃,技术演进和应用创新的加速发展,使各国政府逐渐认识到大数据在推动经济发展、改善公共服务,增进人民福祉,乃至保障国家安全方面的重大意义。5月份,美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据:抓住机遇、守护价值》。报告鼓励使用数据以推动社会进步,特别是在市场与现有的机构并未以其他方式来支持这种进步的领域;同时,也需要相应的框架、结构与研究,来帮助保护美国人对于保护个人隐私、确保公平或是防止歧视的坚定信仰。2014年,“大数据”首次出现在当年的《政府工作报告》中。《报告》中指出,要设立新兴产业创业创新平台,在大数据等方面赶超先进,引领未来产业发展。“大数据”旋即成为国内热议词汇。

2015年,国务正式印发《促进大数据发展行动纲要》,《纲要》明确,推动大数据发展和应用,在未来5至10年打造精准治理、多方协作的社会治理新模式,建立运行平稳、安全高效的经济运行新机制,构建以人为本、惠及全民的民生服务新体系,开启大众创业、万众创新的创新驱动新格局,培育高端智能、新兴繁荣的产业发展新生态。标志着大数据正式上升这国家战略。

2016年,大数据“十三五”规划将出台,《规划》已征求了专家意见,并进行了集中讨论和修改。《规划》涉及的内容包括,推动大数据在工业研发、制造、产业链全流程各环节的应用;支持服务业利用大数据建立品牌、精准营销和定制服务等。

大数据的技术:

1. Hadoop

Hadoop诞生于2005年,其最初只是雅虎公司用来解决网页搜索问题的一个项目,后来因其技术的高效性,被Apache Software Foundation公司引入并成为开源应用。Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统, 这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据 存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。

2. Hive

Hive是一种建立在Hadoop文件系统上的数据仓库架构,并能对存储在HDFS中的数据进行分析和管理。它最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。后来其他公司也开始使用和开发Apache Hive,例如Netflix、亚马逊等。

3. Storm:

Storm是一个分布式计算框架,主要由Clojure编程语言编写。最初是由Nathan Marz及其团队创建于BackType,这家市场营销情报企业于2011年被Twitter收购。之后Twitter将该项目转为开源并推向GitHub平台,最终Storm加入Apache孵化器计划并于2014年9月正式成为Apache旗下的顶级项目之一。

google发表论文

相信这两天大家朋友圈都被Google Map新功能演示刷屏了,视频中介绍说Google Map将在一些城市实现实景渲染,在手机中能够就从不同视角能逼真地浏览城市场景,甚至还能实现从室外到室内的无缝融合。

这个视频引发很多讨论,看明白的、看不明白的都在各抒己见,真的非常有意思。有人看到视频中从室外飞到室内,就联想到国内房地产行业做的一些卖房应用,直言房地产公司已经吊打谷歌;也有人看到视频中围绕着威斯敏特大教堂转一圈,就觉得这不就是倾斜摄影,早就烂大街的东西。

那正在看这篇文章的读者,你的心里又是什么看法呢?

究竟是不是谷歌不行了呢?

02

Block-NeRF是什么?

伟人说过,没有调查就没有发言权。想搞清楚这背后的技术细节,最好的办法就是去看文献。刚好在CVPR 2022会议上就有一篇Google员工发表的论文《 Block-NeRF: Scalable Large Scene Neural View Synthesis 》,该论文就是Google Map这次产品更新背后的实现技术。

单看论文题目,可以知道这篇文章主要介绍一种叫做Block-NeRF的新方法,这个方法可以进行大场景神经视图合成。

视图合成,简单来说就是根据已有的视图(也就是图片)来合成一张不同视角下的新图片。举个不恰当的例子,你站在一个人左侧拍了一张照片,又站在一个人的右侧拍了一张照片,这时候你想知道站在这个人正前方拍的照片是什么样的。你在这个人左右两侧拍的照片就是已有的视图,而你想要的正前方的照片就是需要合成的视图。

当然,实际操作中一般会拍摄更多的照片,否则就难以达到理想的效果。视图合成并不是什么新概念,早期很多Image Based Rendering方向的论文就是做这个的,比较基础的方法也就是通过对现有图像进行插值来生成新的图像。当然,为了不断地提升合成图像的质量,方法变得越来越复杂。

来到AI时代,自然也会有人考虑用AI做视图合成,其中的佼佼者就是NeRF。NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作,其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度,仅用2D的姿态已知的图像作为监督,即可表示复杂的三维场景,在新视角合成这一任务上取得非常好的效果。但是NeRF受限于有限的模型容量,只能重建小尺度场景,比如一个物体、一个房间、一栋建筑等等。

Google在NeRF的基础上更进一步,通过将场景分割为多个部分,每个部分单独用一个NeRF进行训练,最后将各个NeRF合成的视图混合,从而实现大场景的视图合成。这就是Block-NeRF最核心的思想。

03

你还认为Google Map渲染的是倾斜吗?

我们现在文章里找找证据。文章在研究现状首先就介绍了大场景三维重建的内容,提到COLMAP、PMVS等知名计算机视觉项目,但同时也提到通过3D重建得到的模型存在很多变形和黑洞,这正是现在倾斜摄影模型存在的严重问题。

最后,总结说三维重建更加注重精度,而本文的任务属于新视图合成领域,甚至Block-NeRF算法都没有利用SfM(Structure from Motion)算法来获取相机位姿,仅利用车载传感器读数作为模型训练数据。

看到这里,我想大家都知道Google Map渲染的不是倾斜模型了。可是为什么要大费周章地用几百万张图片来训练Block-NeRF模型呢?从视频中不难看出,浏览过程中非常平滑,没有倾斜那种LOD过渡的感觉,而且,合成出来的图像还可以进行光照、天气等效果的调整。

当然,肯定还会有人说,现在把倾斜摄影模型导入 游戏 引擎也能有各种光照和天气效果,但是倾斜摄影模型本身的纹理就已经记录拍摄时的光照信息,即使添加一些 游戏 引擎的效果,所看到的画面也没有Google Map那么纯净。

另外,Block-Neft里还提到在制作训练数据时,把图片中的移动目标(如车和行人)等遮罩掉,使得合成的图像里不会出现车和行人的干扰。相较之下,倾斜摄影模型中的车辆和行人往往需要人工去压平修复。

从个人角度来说,我觉得Block-NeRF比倾斜摄影更加优雅。只要根据用户浏览的位置和朝向,就可以在云端实时渲染出一张以假乱真的图片。虽然倾斜也可以走云渲染的路线,但就显示效果和渲染效率来说,目前看到的应用案例也仅仅时刚刚够用而已。至于Block-NeRF会不会取代倾斜摄影,个人觉得目前并不需要此类的担心。

Google在科学杂志《自然》上发表的一篇新文章中正式宣布已实现“量子霸权” ,这离公司最初泄漏该事件的发生刚好一个月,当时,Google的论文被意外地提前发表。不过,Google现在的正式宣布则意味着这项研究的全部细节都会被公开的,科学界可以更广泛地审查Google所说的成就。

谷歌表示,其54比特Sycamore处理器能够在200秒内完成世界上最强大的超级计算机花费10000年所需的随机数计算量,这让目前所有的非量子计算机相形见绌。

而就在今天,另一家超级计算机公司IBM正在对谷歌的说法提出异议。在周一抢先发表的博客文章中,该公司表示,在传统系统上可以在2.5天之内完成相同的任务,而不是Google声称的10000年。 IBM说,在估算其传统超级计算机执行计算所需的时间时,Google“未能充分考虑大量磁盘存储”的开销。

尽管IBM试图淡化Google的成就,但研究界人士对此消息表示欢迎,《纽约时报》引述科学家的话将Google的突破与莱特兄弟1903年的首次飞机飞行相提并论。

距离量子计算开始逐渐被运用,我们可能还需要数年的时间,但是Google的发现最终可以提供证据,证明量子计算的未来已经有了可能。

google的论文都在哪发表的

你说的可能是这三个吧:2003年发表了《The Google File System》2004年发表了《MapReduce: Simplified Data Processing on Large Clusters 》2006年发表了《Bigtable: A Distributed Storage System for Structured Data》

发表论文通常只有两种渠道,要么自己投,要么找论文发表机构代投,不管走哪种渠道,最后都是要发表到期刊上的。

期刊,也叫杂志,在上个世纪在出版界曾经是重量级的存在,那个时候互联网还没有兴起,人们阅读文章获取资讯远远没有现在方便,杂志就成为一个很重要的传播媒介。

但现在随着社会的进步,科技的发展,纸媒已经大大没落了,很多期刊被砍掉了,剩下来的大多数不得不自谋出路,学术期刊更是如此,因为这个受众面是很窄的,基本没法盈利,所以只能靠收取版面费来维持,当然,有国家财政拨款的那种不在这个范围。

我们现在发表学术论文,出于严谨性权威性等原因的考虑,还是要发表到纸质期刊上,编辑会用电子邮箱或者内部的系统来收稿,但不会有一个网络平台有发表论文的资质,即使是知网和万方这样的网站,也只是论文数据库,并不是论文发表平台。

所以发表论文的时候,还是要先去选取目标期刊,然后再找到这本期刊的投稿邮箱,或者是找到靠谱的论文发表机构,由代理进行代投,最后都是发表到纸质期刊上的,见刊后一两个月左右被知网收录,就可以检索到了。

Google在科学杂志《自然》上发表的一篇新文章中正式宣布已实现“量子霸权” ,这离公司最初泄漏该事件的发生刚好一个月,当时,Google的论文被意外地提前发表。不过,Google现在的正式宣布则意味着这项研究的全部细节都会被公开的,科学界可以更广泛地审查Google所说的成就。

谷歌表示,其54比特Sycamore处理器能够在200秒内完成世界上最强大的超级计算机花费10000年所需的随机数计算量,这让目前所有的非量子计算机相形见绌。

而就在今天,另一家超级计算机公司IBM正在对谷歌的说法提出异议。在周一抢先发表的博客文章中,该公司表示,在传统系统上可以在2.5天之内完成相同的任务,而不是Google声称的10000年。 IBM说,在估算其传统超级计算机执行计算所需的时间时,Google“未能充分考虑大量磁盘存储”的开销。

尽管IBM试图淡化Google的成就,但研究界人士对此消息表示欢迎,《纽约时报》引述科学家的话将Google的突破与莱特兄弟1903年的首次飞机飞行相提并论。

距离量子计算开始逐渐被运用,我们可能还需要数年的时间,但是Google的发现最终可以提供证据,证明量子计算的未来已经有了可能。

Google发表的元数据论文

大数据技术发展史:大数据的前世今生

今天我们常说的大数据技术,其实起源于Google在2004年前后发表的三篇论文,也就是我们经常听到的“三驾马车”,分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。

你知道,搜索引擎主要就做两件事情,一个是网页抓取,一个是索引构建,而在这个过程中,有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的,你从介绍中也能看出来,一个文件系统、一个计算框架、一个数据库系统。

现在你听到分布式、大数据之类的词,肯定一点儿也不陌生。但你要知道,在2004年那会儿,整个互联网还处于懵懂时代,Google发布的论文实在是让业界为之一振,大家恍然大悟,原来还可以这么玩。

因为那个时间段,大多数公司的关注点其实还是聚焦在单机上,在思考如何提升单机的性能,寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群,通过分布式的方式将海量数据存储在这个集群上,然后利用集群上的所有机器进行数据计算。 这样,Google其实不需要买很多很贵的服务器,它只要把这些普通的机器组织到一起,就非常厉害了。

当时的天才程序员,也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch,阅读了Google的论文后,他非常兴奋,紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。

两年后的2006年,Doug Cutting将这些大数据相关的功能从Nutch中分离了出来,然后启动了一个独立的项目专门开发维护大数据技术,这就是后来赫赫有名的Hadoop,主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。

当我们回顾软件开发的历史,包括我们自己开发的软件,你会发现,有的软件在开发出来以后无人问津或者寥寥数人使用,这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业,每年创造数百亿美元的价值,创造百万计的就业岗位,这些软件曾经是Windows、Linux、Java,而现在这个名单要加上Hadoop的名字。

如果有时间,你可以简单浏览下Hadoop的代码,这个纯用Java编写的软件其实并没有什么高深的技术难点,使用的也都是一些最基础的编程技巧,也没有什么出奇之处,但是它却给社会带来巨大的影响,甚至带动一场深刻的科技革命,推动了人工智能的发展与进步。

我觉得,我们在做软件开发的时候,也可以多思考一下,我们所开发软件的价值点在哪里?真正需要使用软件实现价值的地方在哪里?你应该关注业务、理解业务,有价值导向,用自己的技术为公司创造真正的价值,进而实现自己的人生价值。而不是整天埋头在需求说明文档里,做一个没有思考的代码机器人。

Hadoop发布之后,Yahoo很快就用了起来。大概又过了一年到了2007年,百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。

2008年,Hadoop正式成为Apache的顶级项目,后来Doug Cutting本人也成为了Apache基金会的主席。自此,Hadoop作为软件开发领域的一颗明星冉冉升起。

同年,专门运营Hadoop的商业公司Cloudera成立,Hadoop得到进一步的商业支持。

这个时候,Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了,于是便开发了Pig。Pig是一种脚本语言,使用类SQL的语法,开发者可以用Pig脚本描述要对大数据集上进行的操作,Pig经过编译后会生成MapReduce程序,然后在Hadoop上运行。

编写Pig脚本虽然比直接MapReduce编程容易,但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算,比如说你可以写个Select语句进行数据查询,然后Hive会把SQL语句转化成MapReduce的计算程序。

这样,熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度,迅速得到开发者和企业的追捧。据说,2011年的时候,Facebook大数据平台上运行的作业90%都来源于Hive。

随后,众多Hadoop周边产品开始出现,大数据生态体系逐渐形成,其中包括:专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop;针对大规模日志进行分布式收集、聚合和传输的Flume;MapReduce工作流调度引擎Oozie等。

在Hadoop早期,MapReduce既是一个执行引擎,又是一个资源调度框架,服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用,也使得MapReduce非常臃肿。于是一个新项目启动了,将MapReduce执行引擎和资源调度分离开来,这就是Yarn。2012年,Yarn成为一个独立的项目开始运营,随后被各类大数据产品支持,成为大数据平台上最主流的资源调度系统。

同样是在2012年,UC伯克利AMP实验室(Algorithms、Machine和People的缩写)开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差,因为机器学习算法通常需要进行很多次的迭代计算,而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业,带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质,而2012年的时候,内存已经突破容量和成本限制,成为数据运行过程中主要的存储介质。Spark一经推出,立即受到业界的追捧,并逐步替代MapReduce在企业应用中的地位。

一般说来,像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算,因为它们通常针对以“天”为单位产生的数据进行一次计算,然后得到需要的结果,这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据,而是历史数据,所以这类计算也被称为大数据离线计算。

而在大数据领域,还有另外一类应用场景,它们需要对实时产生的大量数据进行即时计算,比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算,相应地,有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据,所以这类计算也被称为大数据实时计算。

在典型的大数据的业务场景下,数据业务最通用的做法是,采用批处理的技术处理历史全量数据,采用流式计算处理实时新增数据。而像Flink这样的计算引擎,可以同时支持流式计算和批处理计算。

除了大数据批处理和流处理,NoSQL系统处理的主要也是大规模海量数据的存储与访问,所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆,涌现出HBase、Cassandra等许多优秀的产品,其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。

我们回顾软件发展的历史会发现,差不多类似功能的软件,它们出现的时间都非常接近,比如Linux和Windows都是在90年代初出现,Java开发中的各类MVC框架也基本都是同期出现,Android和iOS也是前脚后脚问世。2011年前后,各种NoSQL数据库也是层出不群,我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。

事物发展有自己的潮流和规律,当你身处潮流之中的时候,要紧紧抓住潮流的机会,想办法脱颖而出,即使没有成功,也会更加洞悉时代的脉搏,收获珍贵的知识和经验。而如果潮流已经退去,这个时候再去往这个方向上努力,只会收获迷茫与压抑,对时代、对自己都没有什么帮助。

但是时代的浪潮犹如海滩上的浪花,总是一浪接着一浪,只要你站在海边,身处这个行业之中,下一个浪潮很快又会到来。你需要敏感而又深刻地去观察,略去那些浮躁的泡沫,抓住真正潮流的机会,奋力一搏,不管成败,都不会遗憾。

正所谓在历史前进的逻辑中前进,在时代发展的潮流中发展。通俗的说,就是要在风口中飞翔。

上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成;数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等,内置了主要的机器学习和数据挖掘算法。

此外,大数据要存入分布式文件系统(HDFS),要有序调度MapReduce和Spark作业执行,并能把执行结果写入到各个应用系统的数据库中,还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。

图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系,我将会在专栏后面逐个分析,帮你能够对大数据技术原理和应用算法构建起完整的知识体系,进可以专职从事大数据开发,退可以在自己的应用开发中更好地和大数据集成,掌控自己的项目。

希望对您有所帮助!~

第一阶段,运营式系统阶段。在上世纪七八十年代,用户购物时产生的记录一条条输入数据库,当时都是由这些运营系统生成这些数据的。

第二阶段,由用户原创内容阶段。2002年的时候,开始有了博客,后来发展成微博,到后来出现的微信,这些让每个网民都成了自媒体,都可以自己随心所欲地向网络发布相关的信息,这个时候数据产生的速度要远远大于之前的仅仅由运营系统产生的数据。

第三阶段,感知式系统阶段。真正让大数据时代由量变到质变是因为数据产生的方式到了第三个阶段——感知式系统阶段。

感知式系统阶段也就是物联网的大规模普及,物联网的迅速发展让大数据时代最终到来。

大数据是互联网发展到一定阶段的必然产物:

由于互联网在资源整合方面的能力在不断增强,互联网本身必须通过数据来体现出自身的价值,所以从这个角度来看,大数据正在充当互联网价值的体现者。

随着更多的社会资源进行网络化和数据化改造,大数据所能承载的价值也必将不断提到提高,大数据的应用边界也会不断得到拓展,所以在未来的网络化时代,大数据自身不仅能够代表价值,大数据自身更是能够创造价值。

Google已经被大陆屏蔽了 你可以去Google香港的服务器

相信这两天大家朋友圈都被Google Map新功能演示刷屏了,视频中介绍说Google Map将在一些城市实现实景渲染,在手机中能够就从不同视角能逼真地浏览城市场景,甚至还能实现从室外到室内的无缝融合。

这个视频引发很多讨论,看明白的、看不明白的都在各抒己见,真的非常有意思。有人看到视频中从室外飞到室内,就联想到国内房地产行业做的一些卖房应用,直言房地产公司已经吊打谷歌;也有人看到视频中围绕着威斯敏特大教堂转一圈,就觉得这不就是倾斜摄影,早就烂大街的东西。

那正在看这篇文章的读者,你的心里又是什么看法呢?

究竟是不是谷歌不行了呢?

02

Block-NeRF是什么?

伟人说过,没有调查就没有发言权。想搞清楚这背后的技术细节,最好的办法就是去看文献。刚好在CVPR 2022会议上就有一篇Google员工发表的论文《 Block-NeRF: Scalable Large Scene Neural View Synthesis 》,该论文就是Google Map这次产品更新背后的实现技术。

单看论文题目,可以知道这篇文章主要介绍一种叫做Block-NeRF的新方法,这个方法可以进行大场景神经视图合成。

视图合成,简单来说就是根据已有的视图(也就是图片)来合成一张不同视角下的新图片。举个不恰当的例子,你站在一个人左侧拍了一张照片,又站在一个人的右侧拍了一张照片,这时候你想知道站在这个人正前方拍的照片是什么样的。你在这个人左右两侧拍的照片就是已有的视图,而你想要的正前方的照片就是需要合成的视图。

当然,实际操作中一般会拍摄更多的照片,否则就难以达到理想的效果。视图合成并不是什么新概念,早期很多Image Based Rendering方向的论文就是做这个的,比较基础的方法也就是通过对现有图像进行插值来生成新的图像。当然,为了不断地提升合成图像的质量,方法变得越来越复杂。

来到AI时代,自然也会有人考虑用AI做视图合成,其中的佼佼者就是NeRF。NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作,其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度,仅用2D的姿态已知的图像作为监督,即可表示复杂的三维场景,在新视角合成这一任务上取得非常好的效果。但是NeRF受限于有限的模型容量,只能重建小尺度场景,比如一个物体、一个房间、一栋建筑等等。

Google在NeRF的基础上更进一步,通过将场景分割为多个部分,每个部分单独用一个NeRF进行训练,最后将各个NeRF合成的视图混合,从而实现大场景的视图合成。这就是Block-NeRF最核心的思想。

03

你还认为Google Map渲染的是倾斜吗?

我们现在文章里找找证据。文章在研究现状首先就介绍了大场景三维重建的内容,提到COLMAP、PMVS等知名计算机视觉项目,但同时也提到通过3D重建得到的模型存在很多变形和黑洞,这正是现在倾斜摄影模型存在的严重问题。

最后,总结说三维重建更加注重精度,而本文的任务属于新视图合成领域,甚至Block-NeRF算法都没有利用SfM(Structure from Motion)算法来获取相机位姿,仅利用车载传感器读数作为模型训练数据。

看到这里,我想大家都知道Google Map渲染的不是倾斜模型了。可是为什么要大费周章地用几百万张图片来训练Block-NeRF模型呢?从视频中不难看出,浏览过程中非常平滑,没有倾斜那种LOD过渡的感觉,而且,合成出来的图像还可以进行光照、天气等效果的调整。

当然,肯定还会有人说,现在把倾斜摄影模型导入 游戏 引擎也能有各种光照和天气效果,但是倾斜摄影模型本身的纹理就已经记录拍摄时的光照信息,即使添加一些 游戏 引擎的效果,所看到的画面也没有Google Map那么纯净。

另外,Block-Neft里还提到在制作训练数据时,把图片中的移动目标(如车和行人)等遮罩掉,使得合成的图像里不会出现车和行人的干扰。相较之下,倾斜摄影模型中的车辆和行人往往需要人工去压平修复。

从个人角度来说,我觉得Block-NeRF比倾斜摄影更加优雅。只要根据用户浏览的位置和朝向,就可以在云端实时渲染出一张以假乱真的图片。虽然倾斜也可以走云渲染的路线,但就显示效果和渲染效率来说,目前看到的应用案例也仅仅时刚刚够用而已。至于Block-NeRF会不会取代倾斜摄影,个人觉得目前并不需要此类的担心。

相关百科
热门百科
首页
发表服务