朴素贝叶斯与逻辑回归
区别：直接对后验概率P(y|x)建模，使用极大似然估计法使其最大化不需要优化参数，先用极大似然估计法估计出先验概率P(y)和条件概率P(x|y)，然后计算出极大后验概率P(y|x)
| 朴素贝叶斯 |
逻辑回归 |
| 生成模型 | 判别模型 |
| 对特征x和目标y的联合分布P(x,y)建模，使用极大后验概率估计法估计出最有可能的P(y|x) | 直接对后验概率P(y|x)建模，使用极大似然估计法使其最大化 |
| 不需要优化参数，先用极大似然估计法估计出先验概率P(y)和条件概率P(x|y)，然后计算出极大后验概率P(y|x) |
需要优化参数，先用极大似然估计法得出损失函数，再用梯度下降法等优化参数 |
| 假设特征之间相互独立，对于不相互独立的特征，朴素贝叶斯的分类效果会差一些 | 不必假设特征之间是相互独立的，对于不相互独立的特征，逻辑回归会在训练过程中对参数自动调整 |
通常来说，小数据可以用贝叶斯，大数据推荐逻辑回归。
对比两种方法的论文：http://ai.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf
本次实例是预测收入是否超过50000刀。
使用的方法为逻辑回归
首先是对数据进行读取并做好分割。
定义归一化函数。
定义训练集分割函数。
归一化数据并划分训练集与测试集。
定义将来需要使用的函数，如乱序，sigmoid函数，逻辑回归方程，准确率计算。
定义损失函数与梯度下降函数。
训练学习
画图比较
最终图像直观结果为