当前位置: 殷汇新闻 > 科技 > PyTorch横扫顶会,TensorFlow退守业界:机器学

PyTorch横扫顶会,TensorFlow退守业界:机器学

作者:殷汇新闻   日期:2019-11-07 17:27:00    阅读:4153次

鱼、羊和栗子来自奥菲庙

量子位报告

Tensorflow 2.0几天前正式发布,pytorch 1.3也于今天发布。

疯狂强调“易用性”和整个移动部署。老兵和新手都在努力工作。

毕竟,在机器学习框架的世界里,情况变化太快,如果你不注意它,你的领地就会被抢走。

一年前,tensorflow是主要顶级会议所选论文的主流框架。今天,顶级会议几乎是pytorch的天下。

在cvpr 2019中,有280篇论文只提到pytorch,125篇论文只提到tensorflow。然而,这还不是最大的会议。

一些网民(@程序员奇利)说,尽管他们知道大量研究人员逃离tf去拥抱pt:

然而,我从未预料到增长会达到这个水平。

那么,pytorch的优势是什么?

Pytorch的成功多年来一直影响着tensorflow的运营模式。

这一次,康奈尔大学的青少年贺拉斯·何(horace he)用一份详细的调查报告总结了现状,并为潜在的初学者提供了方向:

报告开头提到,目前的背景是大量研究人员已经从张量流转向pytorch。

然而,我们可能不知道这一势头有多强。让我们看看2018年和2019年,并比较它们:

△ icml阻塞为32.5%

该表列出了cvpr、naacl、acl、iclr和icml的五大会议,仅提及pytorch/仅提及tensorflow的论文数量。

2018年,所有五个pytorch数据都低于tensorflow。

2019年,pytorch的所有五个数字都将超过tensorflow。

pytorch的数据增长率在192%到450%之间,这是非常激烈的。

其中,naacl (450%)和acl (290%)在nlp中最为突出。视觉峰会上,cvpr也有了显著的提高(240%)。

相比之下,张量流有三个数据下降。其中,naacl数据下降了38.2%,这也是pytorch增长迅猛的地方。

一年之内,pytorch将弱点变成了压倒性优势:

280:125 (cvpr),两次以上。

66:21 (acl),三次以上。

103:33 (naacl),三次以上。

Pytorch的主导地位在语言和视觉的顶级会议上最为明显。这与文章中提到的增长是一致的。

如果有人把pytorch视为新手,试图在tensorflow统治的世界上开拓自己的领地,那么数据告诉他们,情况不再是这样了。

虽然tensorflow似乎仍有两个数据在增长,但事实上只有icml有所增长(32.5%),与会议接受的论文总数的增长保持同步。

换句话说,在其他四次会议中,张量流已经开始下降。

一个很简单。它类似于numpy,具有非常蟒蛇的风格。它可以很容易地与python生态学集成。

例如,如果您只是在pytorch模型中抛出一个pdb断点,它就可以直接使用。

相比之下,张量流模型中的调试要复杂得多。

第二,api很好。大多数研究人员更喜欢pytorch的api,而不是tensorflow的。Pytorch的设计更加科学;然而,张量流必须在各种api之间切换,这不便于操作:

层'-> '纤细'-> '估计'-> 'tf.keras '

第三是表现。尽管pytorch的动态图提供了更少的优化空间,但许多用户反馈说pytorch和tensorflow一样快,甚至更快。

虽然没有严格的测试数据来显示谁更快,但至少张量流没有明显的优势。

这样,加上前两点,足以让许多研究人员拥抱pytorch。

张量流在研究领域会做什么?

即使tensorflow将来变得像pytorch一样友好,pytorch的地盘已经很大了。

换句话说,pytorch的代码实现更容易找到,人们更愿意发布pytorch的代码供每个人使用。如果队友与他人合作,他们也可能更喜欢pytorch。

因此,回到张量流2.0的问题不大可能进展得很快。

当然,谷歌和deepmind的内部研究仍将使用tensorflow。他们的研究结果可能给了一些研究者继续使用张量流的信心。

然而,贺拉斯听说谷歌有许多研究人员渴望逃离张量流。

另一方面,pytorch变得越来越占主导地位,谷歌研究人员可能会与整个社区疏远:他们很难在外部研究的基础上构建自己的应用程序,外部研究人员也很难从谷歌的代码中学习。

最后,看看张量流2.0能否拯救一些研究人员还需要时间。热切的执行肯定是一个吸引人的地方,但喀拉拉邦不是。

Tensorflow为工业辩护

虽然“pytorch真香”理论在各个开发者社区中非常强大,现在在顶级会议数据中压倒性的张量流(tensorflow),但事实上张量流在行业中仍然有优势。

例如,根据媒体博客作者杰夫黑尔的统计,2019年,tensorflow在网上发布了1541份新工作,而pytorch有1437份。

从arxiv的论文数量来看,tensorflow仍然占据第一位,但它的领先地位正在缩小。

一方面,张量流的诞生早于pytorch。工业界不像学术界那样渴望追求新事物。张量流的使用已经成为行业惯性。

此外,许多企业代码都是基于tensorflow构建的,要迁移到pytorch并不容易。

另一方面,与pytorch相比,tensorflow本身是为工业量身定制的。

与研究实验相比,工业将有更多的限制和要求,例如:

不要使用蟒蛇。Python太贵了,无法在服务器上运行,有些公司负担不起。

流动性。Python解释器不能嵌入移动二进制文件中。

服务。无停机更新、模型间无缝切换、具有可预测时间的批处理等。

张量流在这些领域显然比pytorch做得好得多。例如,培训一个模型并使用tf lite部署它是目前最可靠的生产管道之一。

一些网民举了一个例子:

Tensorflow可以将模型导出到coreml安卓模型中,并可以轻松将其转移到任何形式的生产环境中,如gcp(谷歌云平台)环境。

相比之下,pytorch的部署有些秃:模型不能导出到非python环境,不能优化,也不能在移动设备上运行(随着pytorch 1.3的发布,无法在移动端部署的问题已经得到解决)。

此外,tensorflow将keras作为一个好伙伴。

然而,一些网民认为pytorch在行业中占据领先地位只是时间问题。

毕竟,在2018年峰会上,张量流仍然是主流。仅仅一年时间,王位就易手了。

Pytorch正在获得动力,但tensorflow并没有等待死亡。

一个有趣的现象是,这两个机器学习框架现在呈现出“整合”的趋势。

十一月假期期间,tensorflow 2.0正式推出,进一步整合tensorflow和keras,提高易用性。官员们表示,这是一个快速、可扩展、灵活且强大的平台,可以投入生产。

Keras作者franç ois chollet甚至说:“tensorflow 2.0是未来的机器学习平台。它改变了一切。”

在默认的渴望执行模式下,tensorflow 2.0可以提供pytorch渴望模式的大部分优势,如易用性、调试等。

此外,2.0版还提供了一个易于使用的api来解决tensorflow的api过于复杂的问题。模型的培训和服务无缝集成到基本框架中。

Pytorch在2018年底引入了jit编译器和“torchscript”来添加图形功能。

就在今天,pytorch 1.3发布了,增加了移动部署、量化和命名张量。

未来机器学习框架中的游戏规则将会发生怎样的变化,这确实是意料之中的。

最后,介绍这份详细报告的作者:

来自康奈尔大学的贺拉斯·何(Horace he)是2016年注册的本科生。

自从进入大学,他每年暑假都在一家大工厂实习:2017年在脸谱网,2018年在谷歌,2019年在脸谱网上实习。

此外,青少年也是vscodevim (star 6.2k)的主要贡献者之一:

那么,tensorflow和pytorch,你会选谁?

参考:

http://the gradigent . pub/state-of-ml-framework-2019-pytorch-overrides-research-tensorflow-overrides-industry/

http://towardsdata science . com/what-deep-learning-framework-is-growth-fast-3f 77 f 14 aa 318

-完毕-

真诚的招聘

量子比特正在北京中关村招聘编辑/记者。期待有才华和热情的学生加入我们!详情请回复qbitai对话界面中的“招聘”一词。

量子位qbitai

跟踪人工智能技术和产品的新发展

秒速赛车下注 uedbet 吉林11选5投注




© Copyright 2018-2019 dubmethod.com殷汇新闻 Inc. All Rights Reserved.