搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > Python程序员 > 数据挖掘的历史:支持向量机的发明

数据挖掘的历史:支持向量机的发明

Python程序员 2017-11-29


Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。

“这要从1989年说起,我那时正在研究神经网络和核方法的性能对比,直到我的丈夫决定使用Vladimir的算法,SVM就诞生了。”

——Isabelle Guyon

数据挖掘的历史:支持向量机的发明
使用核技巧的支持向量机是我在1991年提出来的,这是我最重要的一项工作。我那时在Larry Jackel的团队,Jackel的团队隶属贝尔实验室(Bell Labs),这使得我有机会接触到一些非常优秀的人,他们当中不少就是现在鼎鼎有名的大人物,比如说Vladimir Vapnik,Yann LeCun,Leon Bottou,Yoshua Bengio,Corinna Cortes等等。实验室充满竞争的氛围,会激励人去做一些伟大的事情。

故事开始于1989年的巴黎,那时我正跟着我的博导,Dreyfus教授和Personnaz教授,研究神经网络和核方法的性能对比(Parzen窗,隐函数,以及Poggio使用的最小二乘核回归)。同年,一起工作的两个物理学家,Mezard和Krauth,提出了一种名为minover的边缘算法,这引起了我的注意,但直到进入贝尔实验室,我才把它们联系起来。

那时,所有人都围绕多层感知器(深度学习的雏形)开展研究,我在边缘算法上的第一项工作是受minover的启发,简化一些有效集方法来优化边缘检测,我的丈夫Bernhard甚至还为多层感知器设计了专用的硬件!我和Vladimir就此展开了热烈的讨论,他和我一个办公室,那会儿正忙着推销他在60年代发明的另一种边缘算法。


支持向量机的出现是在我们搬往伯克利前的那三个月,Bernhard决定使用Vladimir的算法。在线性算法上获得初步的成功后,Vladimir建议引入特征的积,而我提出用隐函数算法的核技巧(kernel trick)更好。Vladimir起初很反对,因为隐函数算法的发明者(Aizerman、Braverman和Rozonoer)所在的团队是他60年代在俄罗斯呆的那个研究所的死对头。最后Bernhard还是尝试了,SVM也就诞生了!


编辑补充:

我给Isabelle发了数据挖掘的历史的链接,链接里面提到了她和Vapnik发明的支持向量机,我问她关于SVM有什么想说的,她就给我分享了她在脸书上po的一个故事,也就是你们现在看到的这个。为了让更多人了解SVM诞生的故事,得到她本人的许可后,我们转载到了这里。

作者介绍:

当了多年的机器学习顾问后,Isabelle Guyon现在是巴黎萨克雷大学的一名全职教授,同时也担任ChaLearn的主席(ChaLearn是加州一家专门组织机器学习竞赛的非赢利性机构)。她出生在巴黎,现在往返于巴黎和加州之间工作。


英文原文:http://www.kdnuggets.com/2016/07/guyon-data-mining-history-svm-support-vector-machines.html
译者:falconsysu


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《数据挖掘的历史:支持向量机的发明》的版权归原作者「Python程序员」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注Python程序员微信公众号

Python程序员微信公众号:pythonbuluo

Python程序员

手机扫描上方二维码即可关注Python程序员微信公众号

Python程序员最新文章

精品公众号随机推荐