搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 雷克世界 > 厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文

厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文

雷克世界 2017-11-29

厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文

图:pexels


原文来源:arXiv

「雷克世界」编译:嗯~阿童木呀


厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文现如今,随着深度学习领域大量研究论文的涌现,现有研究的重现性或采用逐渐成为一个挑战。而造成这一现象的主要原因是作者所提供的开放源码缺乏实现。此外,在不同的库中重新实现研究论文也是一项异常艰巨的任务。为了解决这些挑战,我们提出了一种全新的可扩展方法——DLPaper2Code,用于提取和理解研究论文中提供的深度学习设计流程图和表格,并将其转换为抽象的计算图,随后提取的计算图被实时地转换为执行就绪的实时Keras和Caffe源码。就这样,一个类似arXiv的网站被创建出来了,其中为5000篇研究论文提供自动生成的设计得以实现。生成的设计可以使用直观的拖放(drag-and-drop)UI框架以众包的方式对其进行评论和编辑。为了对我们的方法进行评估,我们使用手动定义的语法创建了一个具有超过216000个有效设计可视化的模拟数据集。在模拟数据集上进行的实验结果表明,所提出的框架在流程图内容提取上的准确率达到93%以上。

 

厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文


在过去的十年里,人工智能领域中的深度学习(DL)以惊人的速度迅速发展,其中,自2016年以来大约有35800篇相关研究论文得以发表。对于越来越多的研究人员和实践者来说,与日益增长的文学发展齐驱并进,逐渐成为一场真正的战争。在最近的一次AI会议——NIPS 2016上,有关主题“深度学习或神经网络”所提交的论文数最多(约685/2500)。但是,这些研究论文中的大多数并没有伴随相应的实现。在NIPS 2016中,只有101/567份(约18%)论文中的源码资源得以实现。对软件工程师来说,假设他们在深度学习领域的认知有限,那么至少需要花费几天时间才能将研究论文得以实现。


而另一个主要挑战是以多种编程语言实现DL算法的各种库的可用性,比如Tensorflow(Abadi等人于2016年提出)、Theano(Bastien等人于2012年提出)、Caffe(Jia等人于2014年提出)、Torch(于2011年提出)、MXNet(Chen于2015年提出)、DL4J(Gibson 于2015年提出)、CNTK(Seide和Agarwal 于2016年提出),以及诸如Keras(Chollet等人于2015年提出)、Lasagne(Dieleman 于2015年提出)和PyTorch(Chintala 于2016年提出)等封装的可用性。深度学习研究论文的公开实现可以在各种库中得以使用,且它们之间几乎没有互操作性或通信能力。考虑一个研究人员在“图像注释”研究中的用例,其中被高度引用的关于图像注释这个问题的三篇研究论文分别是:


1.《Show and Tell 》(Vinallys等人于2015年提出):能够用Theano执行的原始实现;


2. 《NeuralTalk2》(Karpathy和Fei-Fei 于2015年提出):能够用Torch执行的原始实现;


3. 《LRCN》(Donahue等人于2015年提出):能够用Caffe执行的原始实现;


厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文

拟议的创意系统的体系结构,从深度学习研究论文中提取和理解流程图,并在两种不同的平台上: Keras和Caffe,生成一种执行深度学习代码


由于这些实现能够用各种不同的库中得以执行,因此研究人员不能直接将模型组合在一起,而且,对于仍然停留在使用Java代码库(DL4J)的从业者来说,直接利用这些公共实现中的任何一个都是非常艰巨的。因此,在这里我们着重强调深度学习中两个被忽视的挑战:


1.缺乏一个可供现有研究运行的公共实现,因此在重现其结果时会需要时间。


2.现有的实现仅限于一个(或少数)库,从而限制了移植到其他流行的深度学习库的可能性。


我们观察到,大部分的研究论文都是通过图形或者表格来解释深度学习模型设计的。因此,在这项研究中,我们提出了一种全新的算法,该算法能够自动解析一篇研究论文从而提取文中所描述的深度学习模型设计。该设计可被表示为独立于实现库或语言的抽象计算图。最后,可以从深度学习设计的抽象计算图中生成多个库中的源代码。结果显示,在Caffe(prototxt)和Keras(python)中自动生成5000篇arXiv论文的源代码。但是,由于缺乏对比标准,对生成的源代码所进行的评估还是具有一定难度的。为了克服这个挑战,我们在Caffe和Keras中模拟了一个有216000个有效DL模型设计的大型图像数据集。为了生成深度学习可视化,我们手动定义了深度学习模型的语法。由于这些可视化技术的高度变化,它们可与研究论文中所展示的图形相媲美。因此,主要的研究贡献是:


1.一种分析研究论文中的图形和表格来自动理解深度学习模型设计的技术,


2. 从一个深度学习设计的抽象计算图中Keras和Caffe中的源代码,


3.自动生成5000篇arXiv论文中所描述的设计,并构建一个UI系统,以众包的方式进行编辑,


4.使用手动定义的语法在216000个深度学习模型可视化的模拟数据集上评估所提出的方法以实现超过95%的准确度。


可以这样说,从此研究人员和开发人员不必再为重现深度学习领域的研究论文而苦苦挣扎。利用这一研究,就可以自动提取在研究论文中所描述的深度学习设计。使用一个直观的基于拖放的UI编辑器(我们设计将其作为这个研究的一部分),就可以对所提取的设计进行手动编辑和完善。此外,对于所提取的深度学习设计,源代码可以在Keras(Python)和Caffe(prototxt)中得以实时生成。所提出的DLpaper2Code框架能够从研究论文中提取图形和表格信息并将其转换为源代码。目前,创建了一个类似arXiv的网站,其中包含5000篇研究论文的DL设计和源代码。为了评估我们的方法,我们模拟了一组包含108000个独特的深度学习设计的数据集,这些设计通过一个提出的语法和相应的Keras和Caffe可视化进行验证。在一个包含216000个深度学习模型可视化图表和28120个出现在深度学习论文中但不含有模型可视化图表的数据集中,所提出的使用NNet分类器的二进制分类法获得了99.9%的准确率。使用提出的管道提取计算图形图表的性能提高了93%以上。虽然这项研究可能会对深度学习研究的再现性产生很大的影响,但我们已经计划了大量可能的扩展计划:


1.所提出的这个管道只能检测到图中的层(斑点)和边缘,它可以扩展到检测和提取每个层的超参数值,从而使计算图具有更丰富的内容。


2.目前,我们有两个独立的管道,用于从表格和图形中生成抽象的计算图,结合从多模源获得的信息可以提高提取的深度学习设计流的准确性。


3.除了Keras和Caffe之外,整个DLPaper2Code框架还可以扩展为支持附加的库,比如Torch、Tensorflow等。


4.更广泛的目标是提出一个能够在研究论文中表示深度学习模型设计的定义,从而实现统一性和更好的可读性。此外,未来论文的作者还可以在创建的网站上发布他们的设计,以便于社区的访问。


论文下载链接:



中国人工智能产业创新联盟于2017年6月21日成立,超200家成员共推AI发展,相关动态:

中新网:

ChinaDaily:

证券时报:

工信部网站:


点击下图加入联盟



关注“雷克世界”后不要忘记置顶哟

我们还在搜狐新闻、雷克世界官网、腾讯新闻、网易新闻、一点资讯、天天快报、今日头条、雪球财经……

↓↓↓点击阅读原文查看中国人工智能产业创新联盟手册

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《厉害了!IBM发表DLPaper2Code: 从深度学习论文中自动生成Keras或Caffe代码 | AAAI2018论文》的版权归原作者「雷克世界」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读