搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 算法小白学习笔记 > 朴素贝叶斯算法小结

朴素贝叶斯算法小结

算法小白学习笔记 2020-07-01

一、判别式学习算法和生成式学习算法

对于一个分类问题来说(这里以二分类问题为例),不管是感知器算法还是逻辑回归算法,都是在解空间中寻找一条直线从而把两种类别的样例分开,对于新的样例只要判断在直线的哪一侧即可,这种直接对问题求解的方法可以成为判别学习方法。生成学习算法则是对两个类别分别进行建模,用新的样例去匹配两个模型,匹配度较高的作为新样例的类别。

二、贝叶斯公式

朴素贝叶斯算法的核心公式自然是贝叶斯公式:

在机器学习分类算法中,用以下形式可能会更清晰明了:

三、朴素贝叶斯算法的基本思想

  1. 如果要解决的是一个分类问题,那么我们的任务是根据样本的特征来判断样本属于哪个类别。首先我们要对训练集中的样本进行统计,并计算各个类别的概率(先验概率):
  1. 接着计算各个类别下各个特征取到某值的概率(条件概率):
  1. 朴素贝叶斯算法假设各个特征相互独立,这样的话,对于测试集上的一个新样本来说,有以下等式成立:
  1. 给定测试集上的一个样本(也就是告知样本的各个特征的取值),我们可以计算出:
  1. 想要计算出后验概率 P(类别y|特征),我们还需要计算出 P(特征),但是任一样本的 P(特征) 在各个类别下的值是完全相同的,又因为我们的目的是找出样本属于哪个类别的概率最大,为了简化计算,分母部分的 P(特征) 可以去掉。

四、拉普拉斯平滑

中有任何一部分的值为 0,则整个式子的值为 0。在对条件概率 进行建模时,发现它们很有可能为 0,为了避免出现这种情况,可以引入拉普拉斯平滑,在建模过程中,假定每个特征的每个取值至少出现 1 次,这样:

五、参考

  • 《统计学习方法》 —— 李航
  • 机器学习斯坦福公开课 —— 吴恩达


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《朴素贝叶斯算法小结》的版权归原作者「算法小白学习笔记」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注算法小白学习笔记微信公众号

算法小白学习笔记微信公众号:gh_aeeb92b73c3c

算法小白学习笔记

手机扫描上方二维码即可关注算法小白学习笔记微信公众号

算法小白学习笔记最新文章

精品公众号随机推荐