vlambda博客
学习文章列表

线性分类之朴素贝叶斯分类器

朴素贝叶斯(Naive Bayes)是一种典型的概率生成模型,也是一种最简单的概率图模型,在机器学习中用于样本分类。它的关键点在于贝叶斯定理和朴素的思想(条件独立性假设)。

朴素贝叶斯法

现有N个样本 ,其中 维列向量, 。给定一个样本 ,判断其分类 ?

对于样本 来说,根据条件独立性假设 ,得知:

由贝叶斯公式得知:

的公式带入上式,求得:

样本分类

首先根据 的分布对先验概率 进行极大似然估计,在此选择以下公式进行估计:

然后根据 的分布对条件概率 进行极大似然估计,在此选择以下公式进行估计:

最后基于 ,分别选择 按照下式进行计算:

选择令上式值最大的 确定为样本 的类别: