朴素贝叶斯算法与贝叶斯估计

空字符（公众号：月来客栈） 2017-12-14 21:11:09

3188

分类专栏：机器学习文章标签：算法贝叶斯贝叶斯分类器

本文链接：https://blog.csdn.net/The_lastest/article/details/78807198

版权

在看贝叶斯算法的相关内容时，你一定被突如其来的数学概念搞得头昏脑涨。比如极大似然估计(Maximum likelihood estimation )，极大后验概率估计(Maximum a posteriori estimation)，先验概率(Prior probability)，后验概率(Posteriori probability)等。所以后面我就本着先学会用，再谈概念的路线来进行。

1. 朴素贝叶斯算法

先说结论： 朴素贝叶斯就是用贝叶斯公式外加“朴素”的条件来求解样本所属类别的概率

1.1 理解朴素贝叶斯

先不予证明的给出条件概率公式，以及贝叶斯定理（公式）
$\begin{aligned} &P(A|B)=\frac{P(AB)}{P(B)} \end{aligned}\tag{1.1}$

$\begin{aligned} &P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum_{i=1}^nP(A_i)P(B|A_i)} \end{aligned}\tag{1.2}$

设输入空间 $\mathcal{X}\subseteq R^n$ ，为 $n$ 维向量的集合，输出空间为类标记 $\mathcal{Y}=\{c_1,c_2,...,c_m\}$ .输入为特征向量 $x\in\mathcal{X}$ ，输出为类标记 $y\in \mathcal{Y}$ ， $X$ 是定义在输入空间 $\mathcal{X}$ 上的随机向量， $Y$ 是定义在输出空间 $\mathcal{Y}$ 上的随机变量。也就是说 $X$ 是一个 $m\times n$ 的矩阵， $y$ 为类标签。训练集：
$T=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$

则有：
$\begin{aligned} &P(Y=c_k) = \frac{\#c_k}{m},k=1,2,...,K \end{aligned}\tag{1.3}$

$\begin{aligned} &(\#c_k\textrm{表示该类别一共有多少个样本})\\[2ex] &P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k) \end{aligned}\tag{1.4}$

又因为朴素贝叶斯对条件概率分布做了条件独立性假设，即有 $P (A B ∣ D) = P (A ∣ D) P (B ∣ D)$ ，而这也是“朴素”一词的由来，因此公式 $(1.4)$ 可写成如下形式：
$P(X=x|Y=c_k)=\prod_{i=1}^nP(X^{(i)}=x^{(i)}|Y=c_k)\tag{1.5}$

由贝叶斯公式 $(1.2)$ 可知：
$P(Y=c_k|X=x)\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{i=1}^nP(X=x|Y=c_i)P(Y=c_i)}\tag{1.6}$

根据公式 $(1.6)$ 我们可以计算出任一样本 $x_i$ 属于类别 $c_k$ 的概率，选择其中概率最大者便可作为其分类的类标。但我们发现， $(1.6)$ 中，对于每个样本的计算都有相同的分母，因此可以略去。则再代入公式 $(1.5)$ ，可化简为：
$y=arg\max_{c_k}P(Y=c_k)\prod_{i=1}^nP(X^{(i)}=x^{(i)}|Y=c_k)\tag{1.7}$

注： $y=arg\max_{c_k}$ 的含义是，取使得y最大时的 $c_k$ 的值

说了这么多，可能还是云里雾里的，举个例子就明白了：

试由下表的训练集学习一个朴素贝叶斯分类器，并确定 $x=(2,S)^T$ 的类标记 $y$ 。表中 $X^{(1)},X^{(2)}$ 为特征，取值集合分别为 $A_1=\{1,2,3\},A_2=\{S,M,L\},Y$ 为类标记， $Y\in C=\{1,0\}$

$\begin{array}{c|lr} & 1&2&3&4&5&6&7&8&9&10&11&12&13&14&15\\ \hline X^{(1)}&1&1&1&1&1&2&2&2&2&2&3&3&3&3&3\\ X^{(2)}&S&M&M&S&S&S&M&M&L&L&L&M&M&L&L \\ Y&0&0&1&1&0&0&0&1&1&1&1&1&1&1&0 \end{array}$

易知:
$\begin{aligned} &P(Y=1)=\frac{9}{15},P(Y=0)=\frac{6}{15}\\[1ex] &P(X^{(1)}=1|Y=1)=\frac{2}{9},P(X^{(1)}=2|Y=1)=\frac{3}{9},P(X^{(1)}=3|Y=1)=\frac{4}{9}\\[1ex] &P(X^{(2)}=S|Y=1)=\frac{1}{9},P(X^{(2)}=M|Y=1)=\frac{4}{9},P(X^{(2)}=L|Y=1)=\frac{4}{9}\\[1ex] &P(X^{(1)}=1|Y=0)=\frac{3}{6},P(X^{(1)}=2|Y=0)=\frac{2}{6},P(X^{(1)}=3|Y=0)=\frac{1}{6}\\[1ex] &P(X^{(2)}=S|Y=0)=\frac{3}{6},P(X^{(2)}=M|Y=0)=\frac{2}{6},P(X^{(2)}=L|Y=0)=\frac{1}{6} \end{aligned}$

以上的计算过程，就是用训练集训练好一个模型的参数，下面进行预测。

对于给定的 $x=(2,S)^T$ :
$\begin{aligned} &P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)=\frac{9}{15}\frac{3}{9}\frac{1}{9}=\frac{1}{45}\\[1ex] &P(Y=0)P(X^{(1)}=2|Y=0)P(X^{(2)}=S|Y=0)=\frac{6}{15}\frac{2}{6}\frac{3}{6}=\frac{1}{15} \end{aligned}$

于是我们可以知道，样本 $x=(2,S)^T$ 属于 $y = 0$ .

1.2 概念解释

先验概率： 所谓先验概率指的就是根据以往经验得出来的概率；
例如，可以通过西瓜的颜色，敲的声音来判断是否成熟；因为你已经有了通过颜色和声音来判断的“经验”，不管这个经验是你自己学习的还是别人告诉你的。又如在上面的例子中，在拿到一个新样本的时候，事先上面也不做，我们就可以通过训练集这一历史数据来得出 $P(Y=0)=\frac{6}{15},P(Y=1)=\frac{9}{15}$ ，因为这是我们通过已有的经验得到的；最后举个例子，办公室失窃了，理论上每个人都可能是小偷；但我们可以根据对每个人的了解，人品分析得出一个可能性，比如张三偷的可能性为20%，李四偷的可能性为30%，而这就被称之为先验概率，是通过历史经验得来的。
后验概率： 所谓后验概率指的就是贝叶斯定理（公式）求解的结果；
例如，上面说的办公室失窃，我们可以通过先验概率知道，张三偷的可能性为20%，李四偷的可能性为30%，但事实是多少呢？那就得通过贝叶斯公式来进行计算了。
极大似然概率估计： 所谓极大似然概率估计，就是求解满足某个样本最有可能出现时的概率以及此时的参数值。详见

1.3 求解步骤

输入：
训练数据 $T=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$ ，其中 $x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T$ ， $x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 维特征， $x_i^{(j)}\in\{a_{j1},a_{j2},...,a_{jS_j}\}$ ， $a_{jl}$ 是第 $j$ 维特征可能取得第 $l$ 个值， $j=1,2,...,n;\;\;l=1,2,...,S_j;\;\;y_i\in\{c_1,c_2,...,c_k\}$ ， $S_j$ 表示第j为特征可取值个数；
输出：实例 $x$ 的分类

（1）用极大似然估计计算先验概率及条件概率：
$\begin{aligned} &P(Y=c_k)=\frac{\displaystyle\sum_{i=1}^mI(y_i=c_k)}{m},k=1,2,...,K\tag{1.8}\\[2ex] \end{aligned}$

$\begin{aligned} &P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\displaystyle\sum_{i=1}^mI(x_i^{(j)}=a_{jl,}y_i=c_k)}{\displaystyle\sum_{i=1}^mI(y_i=c_k)}\tag{1.9}\\[1ex] &j=1,2,...,n;\;\;l=1,2,...,S_j;\;\;k=1,2,...,K \end{aligned}$

注：最好是结合着前面的例子来看公式

（2）对于给定的实例 $x=(x^{(1)},x^{(2)},...,x^{(n)})^T$

$\begin{aligned} P(Y=c_k)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,...,K\tag{1.10} \end{aligned}$

（3）确定实例 $x$ 的类别
$\begin{aligned} y = arg\max_{c_k}P(Y=c_k)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)\tag{1.11} \end{aligned}$

2. 贝叶斯估计

从上面我们可以算是大致了解了朴素贝叶斯的过程，但是有一个不能忽略的问题就是：在训练集不充分的情况下，缺少某个维度的条件概率时，（例如，如果 $P(X^{(1)}=1|Y=1)$ 为0的话）那么在预测的时候，将会产生很大的错差。解决这个问题的办法就是在各个估计中加入平滑项，即贝叶斯估计。

$\begin{aligned} &P_{\lambda}(Y=c_k)=\frac{\displaystyle\sum_{i=1}^mI(y_i=c_k)+\lambda}{m+K\lambda}\tag{2.1} \end{aligned}$
$\begin{aligned} &P_{\lambda}(X^{(j)}=a_{jl}|Y=c_k)=\frac{\displaystyle\sum_{i=1}^mI(x_i^{(j)}=a_{jl,}y_i=c_k)+\lambda}{\displaystyle\sum_{i=1}^mI(y_i=c_k)+S_j\lambda}\tag{2.2} \end{aligned}$

式中 $\lambda\geq0$ .当 $\lambda=0$ 时，就是极大似然估计；当 $\lambda=1$ 时，称为拉普拉斯平滑(Laplace smoothing)，这也是常用的做法。

我们将上面的例子用拉普拉斯平滑( $\lambda=1$ )再来计算一次。在计算之前我们知道，此时 $K$ 为类别数2， $S_j$ 表示第 $j$ 个维度可能取值的个数，即 $S_1=3,S_2=3$

易知:
$\begin{aligned} &P(Y=1)=\frac{10}{17},P(Y=0)=\frac{7}{17}\\[1ex] &P(X^{(1)}=1|Y=1)=\frac{3}{12},P(X^{(1)}=2|Y=1)=\frac{4}{12},P(X^{(1)}=3|Y=1)=\frac{5}{12}\\[1ex] &P(X^{(2)}=S|Y=1)=\frac{2}{12},P(X^{(2)}=M|Y=1)=\frac{5}{12},P(X^{(2)}=L|Y=1)=\frac{5}{12}\\[1ex] &P(X^{(1)}=1|Y=0)=\frac{4}{9},P(X^{(1)}=2|Y=0)=\frac{3}{9},P(X^{(1)}=3|Y=0)=\frac{2}{9}\\[1ex] &P(X^{(2)}=S|Y=0)=\frac{4}{9},P(X^{(2)}=M|Y=0)=\frac{3}{9},P(X^{(2)}=L|Y=0)=\frac{2}{9} \end{aligned}$

以上的计算过程，就是用训练集训练好一个模型的参数，下面进行预测。

对于给定的 $x=(2,S)^T$ :
$\begin{aligned} &P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)=\frac{10}{17}\frac{4}{12}\frac{2}{13}=\frac{5}{153}\\[1ex] &P(Y=0)P(X^{(1)}=2|Y=0)P(X^{(2)}=S|Y=0)=\frac{7}{17}\frac{3}{9}\frac{4}{9}=\frac{28}{459} \end{aligned}$