第二章 概率分布与参数估计 Probability Distribution & Parameter Estimation

贝叶斯公式

概率的概念、贝叶斯学派vs. 频率论学派、条件独立

伯努利分布、高斯分布

极大似然估计、最大后验估计

2.1 概率论 Probability Theory

★概率

为什么要表示不确定性？

这个世界充满了不确定性：

• 这副图像中是否有个人?
• 明天天气会怎样?
• 我会喜欢这部电影吗?

我们正试图构造一个系统来理解这个世界并和它打交道。

我们经常很难证明一些事情是真实的，但我们还是常想知道不同结果的可能性或者最可能的解释是什么。

解释概率的两大观点

lf l flip this coin, the probability that it will come upheads is 0.5. 如果我抛这枚硬币，它正面朝上的概率是0.5。

频率论观点 Frequentist Interpretation: lf we flip this coin many times, it will come up heads about half the time. Probabilities are the expected frequencies of events over repeated trials. 如果我们多次抛这枚硬币，它会有大约一半的次数正面朝上。概率是重复试验中预期的事件频率。

贝叶斯观点 Bayesian Interpretation: l believe that my next toss of this cois equally likely to come up heads or tails. Probabilities quantify subjective beliefs about single events. 我相信我的下一次投掷有相等的概率是正面或反面朝上。概率量化了对单个事件的主观信念。

★贝叶斯学派 vs. 频率论学派

频率论学派（Frequentist）通过大量独立实验将概率解释为事件发生频率的均值（大数定律）。

贝叶斯学派（Bayesian）则将概率解释为信念度（degree of belief）。当考虑的试验次数非常少的时候，贝叶斯方法的解释非常有用。此外，贝叶斯理论将我们对于随机过程的先验知识纳入考虑，当我们获得新数据的时候，这个先验的概率分布就会被更新到后验分布中。

频率学派与贝叶斯学派探讨「不确定性」这件事时的出发点与立足点不同。频率学派从「自然」角度出发，试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。

贝叶斯学派并不从试图刻画「事件」本身，而从「观察者」角度出发。贝叶斯学派并不试图说「事件本身是随机的」，或者「世界的本体带有某种随机性」，这套理论根本不言说关于「世界本体」的东西，而只是从「观察者知识不完备」这一出发点开始，构造一套在贝叶斯概率论的框架下可以对不确定知识做出推断的方法。

频率学派的代表是最大似然估计；贝叶斯学派的代表是最大后验概率估计。

频率派认为参数是客观存在不会改变的，虽然未知，但却是固定值；贝叶斯派则认为参数是随机值，因为不可能做完整的实验去确定，因此参数也可以有分布。

对于参数估计/参数分布（在给定观察数据集的条件下，确定参数的合适的值），在频率学家的观点中，我们通过最优化某些准则（例如似然函数）来确定参数的具体值。相反，在贝叶斯观点中，给定观察数据，我们引入参数的先验分布，然后使用贝叶斯定理来计算对应后验概率分布。

概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“已经完成一枚硬币上抛十次试验后”，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。

概率论基础

基本法则

联合概率 Joint Probability

$$p(X=x_i,Y=y_i)=\frac{n_{ij}}{N}$$

边缘概率 Marginal Probability

$$p(X=x_i)=\frac{c_i}{N}$$

条件概率 Conditional Probability

$$p(Y=y_i|X=x_i)=\frac{n_{ij}}{c_i}$$

加法法则 Sum Rule

$$p(X=x_i)=\frac{c_i}{N}=\frac{1}{N}\sum _{j=1}^L{n}_{ij}$$

$$p(X=x_i)=\sum _{j=1}^{L}p(X=x_i,Y=y_i)$$

$$p(X)=\sum _{Y}p(X,Y)$$

乘法法则 Product Rule

$$p(X=x_i,Y=y_i)=p(Y=y_i|X=x_i)p(X=x_i)$$

$$p(X,Y)=p(X|Y)p(X)$$

概率密度和分布函数

$P(x)$：分布函数

$p(x)$：概率密度 Probability Densities

离散变量的概率概念可扩展到连续变量的概率分布p(x)。

x位于区间(x, x + δx)的概率为p(x)δx，其中δx →0。

概率密度p(x)可以表⽰为累计密度函数P (x)的导数。

期望 Expectations

方差与协方差 Variances and Covariances

$f(x)$ 的方差

$$\text{var}[f]=\mathbb{E}\left[{\left(f(x)-\mathbb{E}[f(x)]\right)}^2\right]=\mathbb{E}[f(x{)}^2]-\mathbb{E}[f(x){]}^2$$

随机变量 $x,y$ 的协方差

$$\begin{array}{rl}\text{cov}[x,y]& ={\mathbb{E}}_{x,y}\left[\left\{x-\mathbb{E}[x]\right\}\left\{y-\mathbb{E}[y]\right\}\right]\\ & ={\mathbb{E}}_{x,y}[xy]-\mathbb{E}[x]\mathbb{E}[y]\\ \text{cov}[\mathbf{x},\mathbf{y}]& ={\mathbb{E}}_{\text{x},\text{y}}\left[\{\text{x}-\mathbb{E}[\text{x}]\}\{{\text{y}}^{\text{T}}-\mathbb{E}[{\text{y}}^{\text{T}}]\}\right]\\ & ={\mathbb{E}}_{\text{x},\text{y}}[{\text{xy}}^{\text{T}}]-\mathbb{E}[\text{x}]\mathbb{E}[{\text{y}}^{\text{T}}]\end{array}$$

★贝叶斯概率

贝叶斯定理 Bayes’ Theorem

在观察到数据之前，我们有⼀些关于参数 $w$ 的假设，以先验概率 $p(w)$ 的形式给出。

观测数据 $\mathcal{D}=\{t_1,\dots ,t_N\}$ 的效果可通过条件概率 $p(\mathcal{D}|w)$ 表达

$$p(w\mid \mathcal{D})=\frac{p(\mathcal{D}\mid w)p(w)}{p(\mathcal{D})}$$

通过后验概率 $p(w|\mathcal{D})$，在观测到 $\mathcal{D}$ 之后估计 $w$ 的不确定性。

$p(\mathcal{D}|w)$ 由观测数据集 $\mathcal{D}$ 来估计，是参数向量 $w$ 的函数，被称为似然函数（likelihood function），表达了在不同的参数向量 $w$ 下，观测数据出现的可能性的大小。

似然函数不是 $w$ 的概率分布，并且它关于 $w$ 的积分并不（⼀定）等于 $1$。

似然函数 $p(\mathcal{D}|w)$ 都起着重要的作用

• 频率学家：$w$ 被认为是⼀个固定的参数，常用最大似然（maximum likelihood）估计，其中 $w$ 的值是使 $p(\mathcal{D}|w)$ 达到最大值的 $w$ 值

• 贝叶斯观点：对先验概率的包含是很自然的，只有一个数据集 $\mathcal{D}$（实际观测到的数据集），参数的不确定性通过 $w$ 的后验概率分布表达，其中 $w$ 的值是使 $p(\mathcal{D}|w)$ 达到最大值的 $w$ 值

贝叶斯公式

$$p(Y|X)=\frac{p(X,Y)}{p(X)}=\frac{p(X|Y)p(Y)}{p(X)}$$

$$p(X)=\sum _{Y}p(X|Y)p(Y)$$

$$\begin{array}{ccccc}p(Y|X)& \propto & p(X|Y)& \times & p(Y)\\ \text{posterior}& \propto & \text{likelihood}& \times & \text{prior}\\ \text{后验}& \propto & \text{似然}& \times & \text{先验}\end{array}$$

共轭先验

在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。

共轭先验的好处主要在于代数上的方便性，可以直接给出后验分布的封闭形式，否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。

注：二项分布参数的共轭先验是Beta分布，多项式分布参数的共轭先验是Dirichlet分布，指数分布参数的共轭先验是Gamma分布，⾼斯分布均值的共轭先验是另⼀个⾼斯分布，泊松分布的共轭先验是Gamma分布。

例题1

记：

• A=得了流感
• B=咳嗽

假设 Assume:

• $P(A)=0.05$
• $P(B|A)=0.80$
• $P(B|\sim A)=0.2$

求咳嗽的人是得了流感的概率 what is $P(flu|cough)=P(A|B)$?

解：

$$\begin{array}{r}P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\sim A)P(\sim A)}\end{array}$$

例题2

例题3

一种癌症，得了这个癌症的人被检测出为阳性的几率为 90%，未得这种癌症的人被检测出阴性的几率为 90%，而人群中得这种癌症的几率为 1% 。一个人被检测出阳性，问这个人得癌症的几率为多少？

★参数估计

极大似然估计 MLE

Maximum Likelihood Estimate (MLE): choose $\theta$ that maximizes probability of observed data $\mathcal{D}$.
极大似然估计：选择最大化观测数据 $\mathcal{D}$ 概率的 $\theta$。

$$\theta =\arg \underset{\theta }{\max }P(\mathcal{D}\mid \theta )$$

$P(\mathcal{D}\mid \theta )$：似然函数

其中 $\hat{\theta }$ 是使得似然函数 $P(\mathcal{D}\mid \theta )$ 达到最大值的 $\theta$ 值，这对应于选择使观察到的数据集出现概率最大的 $\theta$ 值。似然函数的负对数即为误差函数，单调递减。

最大似然估计的求解步骤：

1. 确定似然函数
2. 将似然函数转换为对数似然函数
3. 求对数似然函数的最大值（求导，解似然方程）

最大后验估计 MAP

Maximum a Posteriori (MAP) Estimate: choose $\theta$ that is most probable given prior probability and the data.
最大后验估计：在给定先验概率和数据的情况下，选择最可能的 $\theta$。

$$\begin{array}{rl}\theta & =\arg \underset{\theta }{\max }P(\theta \mid \mathcal{D})\\ & =\arg \underset{\theta }{\max }\frac{P(\mathcal{D}\mid \theta )P(\theta )}{P(\mathcal{D})}\end{array}$$

$P(\theta \mid \mathcal{D})$：后验概率

$P(\theta )$：先验概率

最大后验概率估计的求解步骤：

1. 确定参数的先验分布以及似然函数
2. 确定参数的后验分布函数
3. 将后验分布函数转换为对数函数
4. 求对数函数的最大值（求导，解方程）

极大似然估计和最大后验估计

极大似然估计和最大后验参数特点：

极大似然参数估计先写成似然函数，然后通过对似然函数求极值来确定参数。

最大后验参数估计先写出后验概率分布或者似然乘以先验概率分布，然后通过最优化求解参数。

极大似然参数估计在样本少时容易过拟合，最大后验参数估计引入了先验分布，在样本少时也能很好工作，当样本多时，最大后验参数估计的结果通常会逼近极大似然参数估计的结果。

区别和联系：

最大后验估计（maximum a posteriori estimation，MAP），它与极大似然估计最大的区别就是，它考虑了参数本身的分布，也就是先验分布。 最大后验估计是根据经验数据获得对难以观察的量的点估计。 与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中（从第一节分析中我们可以得知这个先验分布可以理解为人们对事物的认识，也就是观察者的知识能力,先验分布的参数我们称为超参数 (hyperparameter)）,故最大后验估计可以看做规则化的最大似然估计。

总结：本质上MLE是根据样本数据直接计算概率参数，而MAP是预设一个参数的概率分布，然后通过样本数据去进行修正。如果样本量不够大的时候，MAP可能更符合人们的日常经验，比如一个硬币抛五次，都是正面朝上，那么MLE算出来就是这个硬币正面朝上概率为100%，而用先验概率50%加上MAP去算，可能只是51%，更符合人们的日常经验。

如果样本量足够大，这两个方法还是殊途同归的。
如果样本量适中，那么MAP使用比较合理的先验概率是很重要的。
如果没有先验概率，MAP和MLE是等价的。MAP多提供了一种途径，给了加入先验概率的途径。

贝叶斯估计

贝叶斯估计的求解步骤：

1. 确定参数的似然函数
2. 确定参数的先验分布，应是后验分布的共轭先验
3. 确定参数的后验分布函数
4. 根据贝叶斯公式求解参数的后验分布

最大似然曲线拟合

重新考查曲线拟合问题

给定x的条件下t的⾼斯条件概率分布

最大后验（贝叶斯）曲线拟合

极大似然应用

2.2 统计决策理论 Decision Theory

推断和决策

推断就是求出标签的后验概率或与特征的联合概率。

决策就是对标签做出具体的选择。

推断 Inference step: Determine either $p(t|\mathbf{x})$ or $p(\mathbf{x},t)$.

假设我们有⼀个输⼊向量 $\mathbf{x}$ 和对应的⽬标值向量 $\mathbf{t}$，我们的⽬标是对于⼀个新的 $\mathbf{x}$ 值，预测 $\mathbf{t}$。对于回归问题，$\mathbf{t}$ 由连续变量组成，⽽对于分类问题，$\mathbf{t}$ 表⽰类别标签。联合概率分布 $p(\mathbf{x};\mathbf{t})$ 完整地总结了与这些变量相关的不确定性。从训练数据集中确定 $p(\mathbf{x};\mathbf{t})$ 是推断（inference）问题的⼀个例⼦，并且通常是⼀个⾮常难的问题。对

决策 Decision step: For given $\mathbf{x}$ , determine optimal $t$.

决策（decision）步骤是决策论的主题，告诉我们在给定合适的概率的前提下，如何进⾏最优的决策。

最小化误分类率

最小化期望损失

示例: 把一个医学图像分类为癌症 (cancer) 或正常 (normal)

癌症诊断问题的损失矩阵的例⼦，
矩阵的元素为Lkj，
⾏对应于真实的类别，
列对应于决策准则做出的分类。

最⼩化期望损失的决策规则：对于每个新的x，把它分到能使下式取得最⼩值的第j类

拒绝选项 Reject Option

确定的自动化，不确定的人工处理

“推断”和“决策”的分离

1、最小损失（损失矩阵可能变化）
2、拒绝选项
3、不平衡的数据集
4、组合模型

解决决策问题的三种方法

我们已经把分类问题划分成了两个阶段：推断（inference）阶段和决策（decision）阶段。在推断阶段，我们使⽤训练数据学习 $p(C_k|x)$ 的模型。在接下来的决策阶段，我们使⽤这些后验概率来进⾏最优的分类。

另⼀种可能的⽅法是，同时解决两个问题，即简单地学习⼀个函数，将输⼊ $x$ 直接映射为决策。这样的函数被称为判别函数（discriminant function）。

事实上，我们可以区分出三种不同的⽅法来解决决策问题，这三种⽅法都已经在实际应⽤问题中被使⽤。这三种⽅法按照复杂度降低的顺序给出：

1) 生成式模型 Generative approach

生成式模型先计算联合概率再求后验概率，再使⽤决策论做出决策。

⾸先对于每个类别 $C_k$，独⽴地确定类条件密度 $p(\mathbf{x}|C_k)$。这是⼀个推断问题。然后，推断先验类概率 $p(C_k)$。之后，使⽤贝叶斯定理

$$p(C_k|\mathbf{x})=\frac{p(\mathbf{x}|C_k)p(C_k)}{p(\mathbf{x})}$$

求出后验类概率 $p(C_k|\mathbf{x})$。和往常⼀样，贝叶斯定理的分母可以⽤分⼦中出现的项表⽰，因为

$$p(x)=\sum p(\mathbf{x}|C_k)p(C_k)$$

等价地，我们可以直接对联合概率分布 $p(x,C_k)$ 建模，然后归⼀化，得到后验概率。得到后验概率之后，我们可以使⽤决策论来确定每个新的输⼊ $x$ 的类别。显式地或者隐式地对输⼊以及输出进⾏建模的⽅法被称为生成式模型（generative model），因为通过取样，可以⽤来⼈⼯⽣成出输⼊空间的数据点。

根据得到的后验概率再使用决策论做出最优的决策

2) 判别式模型 Discriminative approach

判别式模型直接求后验概率，再使⽤决策论做出决策。

⾸先解决确定后验类密度 $p(C_k|\mathbf{x})$ 这⼀推断问题，接下来使⽤决策论来对新的输⼊ $\mathbf{x}$ 进⾏分类。这种直接对后验概率建模的⽅法被称为判别式模型（discriminative models）。

Model $p(t|\mathbf{x})$ directly

根据得到的后验概率再使用决策论做出最优的决策

3) 判别函数 Discriminant function

判别函数直接将输入特征映射到决策。

找到⼀个函数 $f(\mathbf{x})$，被称为判别函数。这个函数把每个输⼊ $f(\mathbf{x})$ 直接映射为类别标签。例如，在⼆分类问题中，$f(\cdot )$ 可能是⼀个⼆元的数值，$f=0$ 表⽰类别 $C_1$，$f=1$ 表⽰类别 $C_2$。这种情况下，概率不起作⽤。

$f(\mathbf{x})$ directly

回归问题的损失函数

考虑回归问题，例如曲线拟合问题。决策阶段包括对于每个输⼊ $\mathbf{x}$，选择⼀个对于 $t$ 值的具体的估计 $y(\mathbf{x})$。假设这样做之后，我们造成了⼀个损失 $L(t,y(\mathbf{x}))$。平均损失（或者说期望损失）就是

$$\mathbb{E}[L]=\iint L(t,y(\mathbf{x}))p(\mathbf{x},t)\mathrm{d}\mathbf{x}\mathrm{d}t$$

回归问题中，损失函数的⼀个通常的选择是平方损失，定义为 $L(t,y(\mathbf{x}))=\{y(\mathbf{x})-t{\}}^2$。这种情况下，期望损失函数可以写成

$$\mathbb{E}[L]=\iint \{y(\mathbf{x})-t{\}}^{2}p(\mathbf{x},t)\mathrm{d}\mathbf{x}\mathrm{d}t$$

我们的⽬标是选择 $y(\mathbf{x})$ 来最⼩化 $\mathbb{E}[L]$。

如果我们假设⼀个完全任意的函数 $y(\mathbf{x})$，我们能够形式化地使⽤变分法求解：

$$\frac{\delta \mathbb{E}[L]}{\delta y(\mathbf{x})}=2\int \{y(\mathbf{x})-t\}p(\mathbf{x},t)\mathrm{d}t=0$$

求解 $y(\mathbf{x})$，使⽤概率的加和规则和乘积规则，我们得到

$$y(\mathbf{x})=\frac{\int tp(\mathbf{x},t)\mathrm{d}t}{p(\mathbf{x})}=\int tp(t\mid \mathbf{x})\mathrm{d}t={\mathbb{E}}_t[t\mid \mathbf{x}]$$

这是在 $x$ 的条件下 $t$ 的条件均值，被称为回归函数（regression function）。结果如图1.28所⽰。

这个结果可以扩展到多个⽬标变量（⽤向量 $\mathbf{t}$）的情形。这种情况下，最优解是条件均值 $y(\mathbf{x})={\mathbb{E}}_t[\mathbf{t}|\mathbf{x}]$。

我们也可以使⽤⼀种稍微不同的⽅式推导出这个结果，这也将透露出回归问题的本质。已经知道了最优解是条件期望，我们可以把平⽅项按照下⾯的⽅式展开：

$$\begin{array}{rl}\{y(\mathbf{x})-t{\}}^2& =\{y(\mathbf{x})-\mathbb{E}[t\mid \mathbf{x}]+\mathbb{E}[t\mid \mathbf{x}]-t{\}}^2\\ & =\{y(\mathbf{x})-\mathbb{E}[t\mid \mathbf{x}]{\}}^2+2\{y(\mathbf{x})-\mathbb{E}[t\mid \mathbf{x}]\}\{\mathbb{E}[t\mid \mathbf{x}]-t\}\\ & +\{\mathbb{E}[t\mid x]-t{\}}^2\end{array}$$

其中，为了不让符号过于复杂，我们使⽤E[t j x]来表⽰Et[t j x]。代⼊损失函数中，对t进⾏积分，我们看到交叉项消失，因⽽得到下⾯形式的损失函数：

$$\mathbb{E}[L]=\int \{y(\mathbf{x})-\mathbb{E}[t\mid \mathbf{x}]{\}}^{2}p(\mathbf{x})\mathrm{d}\mathbf{x}+\int \mathrm{var}[t\mid \mathbf{x}]p(\mathbf{x})\mathrm{d}\mathbf{x}$$

我们寻找的函数y(x)只出现在第⼀项中。当y(x)等于E[t | x]时第⼀项取得最⼩值，这时第⼀项会被消去。这正是我们之前推导的结果，表明最优的最⼩平⽅预测由条件均值给出。第⼆项是t的分布的⽅差，在x上进⾏了平均。它表⽰⽬标数据内在的变化性，可以被看成噪声。由于它与y(x)⽆关，因此它表⽰损失函数的不可减⼩的最⼩值。

2.3 信息论 Information Theory

信息量 $h(x)$

低概率事件对应高的信息量？

随机变量某一观测值的信息量的度量：

$$h(x)=-{\log }_{2}p(x)$$

可以看成是观察到 $x$ 的值的时候的 “惊讶程度”。

• 1.h是概率p的减函数
• 2.可加性h(x,y)=h(x)+h(y)
• 3.事件独立性p(x,y)=p(x)p(y)

信息熵 Entropy $H[x]$

$$H[x]=-\sum _{x}p(x){\log }_{2}p(x)$$

确定一个随机变量状态需要的平均信息量。

在下列领域的一个重要的量：

• 编码理论
• 统计物理学
• 机器学习

熵与最小编码长度

编码理论：随机变量 $x$ 有 $8$ 种可能的状态 $\{a,b,c,d,e,f,g,h\}$，需要多少比特 bits 来传送 $x$ 的状态？

每个状态都是等可能的情况：

$$H[x]=-8\times \frac{1}{8}{\log }_2\frac{1}{8}=3\text{ bits}$$

非均匀分布比均匀分布的熵要小：

平均编码长度

熵是传输一个随机变量状态值所需的比特位的下界。

熵与统计力学

熵成为描述统计力学中的无序程度的度量。

此后讲述 ，把熵的定义中的对数变成自然对数， 度量的单位是 nat。

无序意味着无差别，到处都一样。完全均匀分布，熵最大。

微分熵 Differential Entropy

连续随机变量

条件熵 Conditional Entropy $H[y|x]$

$x$、$y$ 联合分布的不确定度，等于 $x$ 的不确定度与知道 $x$ 后 $y$ 的不确定度之和。

KL 散度 (Kullback Leibler Divergence) / 相对熵

定义了用一个预估分布 $q(x)$近似一个未知分布 $p(x)$ 时，对 $x$ 进行编码所需要的额外期望信息量，相对熵越大，两个分布越不相似。

互信息 Mutual Information $I[x,y]$

在某个条件下，事情比原来会变得有序一些（随机），熵就会减少一些。

变量 $x,y$ 不独立，用联合概率分布与边缘概率分布乘积之间的 KL 散度判断是否接近独立 $p(x,y)=p(x)p(y)$

$x$、$y$ 的互信息可以用来判断它们是否 “接近” 于相互独立。

$x$、$y$ 的互信息可以理解为知道其中一个随机变量的取值后，另一个随机变量的不确定度的降低。

例题

考虑两个变量x和y，每个变量只有两个可能的取值。它们的联合概率分布在表中给出。计算下⾯各式的值。

解：

$$\begin{gathered} p\left(x=0\right)=\frac{2}{3},p\left(x=1\right)=\frac{1}{3} \\ H\left[x\right]=-\frac{2}{3}{\log }_2\frac{2}{3}-\frac{1}{3}{\log }_2\frac{1}{3}=-\frac{2}{3}\left(1+{\log }_2\frac{1}{3}\right)-\frac{1}{3}{\log }_2\frac{1}{3}=-\frac{2}{3}+{\log }_{2}3 \\ p\left(y=0\right)=\frac{1}{3},p\left(y=1\right)=\frac{2}{3} \\ H\left[y\right]=-\frac{1}{3}{\log }_2\frac{1}{3}-\frac{2}{3}{\log }_2\frac{2}{3}=-\frac{2}{3}\left(1+{\log }_2\frac{1}{3}\right)-\frac{1}{3}{\log }_2\frac{1}{3}=-\frac{2}{3}+{\log }_{2}3 \end{gathered}$$

$$\begin{array}{rl}H\left[y|x\right]& =-\frac{1}{3}{\log }_2\frac{1}{2}-\frac{1}{3}{\log }_2\frac{1}{2}-\frac{1}{3}{\log }_{2}1=\frac{2}{3}\\ H\left[x|y\right]& =-\frac{1}{3}{\log }_2\frac{1}{2}-\frac{1}{3}{\log }_2\frac{1}{2}-\frac{1}{3}{\log }_{2}1=\frac{2}{3}\\ H\left[x,y\right]& =H\left[y|x\right]+H\left[x\right]=\frac{2}{3}-\frac{2}{3}+{\log }_{2}3={\log }_{2}3\\ I\left[x,y\right]& =H\left[x\right]-H\left[x|y\right]=-\frac{2}{3}+{\log }_{2}3-\frac{2}{3}=-\frac{4}{3}+{\log }_{2}3\end{array}$$

2.4 二元变量 Binary Variables

★伯努利分布 Bernoulli Distribution (0-1分布)

Coin flipping: heads=1, tails=0

投掷硬币：

• 正面朝上：$x=1$
• 反面朝上：$x=0$

$x=1$ 的概率被记作参数 $\mu$

$$p(x=1|\mu )=\mu$$

$x$ 的概率分布：伯努利分布

$$\begin{array}{rlr}\text{Bern}(x|\mu )& ={\mu }^x(1-\mu {)}^{1-x}& \\ \mathbb{E}[x]& =\mu & \\ \text{var}[x]& =\mu (1-\mu )& \end{array}$$

二项分布 Binomial Distribution

$N$ coin flips 投掷 $N$ 枚硬币: $x=1$ 的观测出现的数量 $m$ 的概率分布

$$p(m\text{ heads}|N,\mu )$$

Binomial Distribution 二项分布：

$$\begin{array}{rl}\text{Bin}(m|N,\mu )& =\left(\genfrac{}{}{0ex}{}{N}{m}\right){\mu }^m(1-\mu {)}^{N-m}\\ \mathbb{E}[m]& \equiv \sum _{m=0}^{N}m\text{Bin}(m|N,\mu )=N\mu \\ \text{var}[m]& \equiv \sum _{m=0}^N{\left(m-\mathbb{E}[m]\right)}^2\text{Bin}(m|N,\mu )=N\mu (1-\mu )\end{array}$$

极大似然估计求解伯努利 ML for Bernoulli

Given: $\mathcal{D}=\{x_1,\dots ,x_N\}$, $m$ heads, $N-m$ tails
给定数据集：$\mathcal{D}=\{x_1,\dots ,x_N\}$, 其中 $m$ 次正面朝上, $N-m$ 次反面朝上

似然函数：

$$p(\mathcal{D}|\mu )=\prod _{n=1}^{N}p(x_n|\mu )=\prod _{n=1}^N{\mu }^{x_n}(1-\mu {)}^{1-x_n}$$

对数似然函数：

$$\begin{gathered} \ln p(\mathcal{D}|\mu )=\sum _{n=1}^N\ln p(x_n|\mu )=\sum _{n=1}^N\{x_n\ln \mu +(1-x_n)\ln (1-\mu )\} \\ {\mu }_{\text{ML}}=\frac{1}{N}\sum _{n=1}^N{x}_n=\frac{m}{N} \end{gathered}$$

Example: 最⼤似然中过拟合现象的⼀个极端例⼦

$$\mathcal{D}=\{1,1,1\}\to {\mu }_{\text{ML}}=\frac{3}{3}=1$$

最⼤似然结果预测：所有未来的观测值都是正⾯向上。

序贯估计 / 顺序估计 Sequential estimation

$$\begin{array}{rl}{\mu }_{\mathrm{M}\mathrm{L}}^{(N)}& =\frac{1}{N}\sum _{n=1}^N{\mathrm{x}}_n\\ & =\frac{1}{N}{\mathrm{x}}_N+\frac{1}{N}\sum _{n=1}^{N-1}{\mathrm{x}}_n\\ & =\frac{1}{N}{\mathrm{x}}_N+\frac{N-1}{N}{\mu }_{\mathrm{M}\mathrm{L}}^{(N-1)}\\ & ={\mu }_{\mathrm{M}\mathrm{L}}^{(N-1)}+\frac{1}{N}({\mathrm{x}}_N-{\mu }_{\mathrm{M}\mathrm{L}}^{(N-1)})\end{array}$$

共轭分布

Beta 分布 Beta Distribution

为 μ 引入先验分布，先验分布选择为 Beta 分布

Distribution over $\mu \in [0,1]$ .

$$\begin{array}{rl}\text{Beta}(\mu |a,b)& =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\mu }^{a-1}(1-\mu {)}^{b-1}\\ \mathbb{E}[\mu ]& =\frac{a}{a+b}\\ \text{var}[\mu ]& =\frac{ab}{(a+b{)}^2(a+b+1)}\end{array}$$

其中 Gamma 函数的定义为

$$\Gamma (x)\equiv {\int }_0^{\infty }{u}^{x-1}{e}^{-u}\text{d}u$$

贝叶斯伯努利 Bayesian Bernoulli

后验概率

The Beta distribution provides the conjugate prior (共轭先验) for the Bernoulli distribution.
Beta 分布为伯努利分布提供了共轭先验。

$a_0$: an effective number (有效观测数) of observations of $x=1$ (head)
$a_0$ 是 $x=1$（正面朝上）的有效观测数

$b_0$: an effective number of observations of $x=0$ (tail)
$b_0$ 是 $x=0$（反面朝上）的有效观测数

共轭性

在贝叶斯统计理论中，如果某个随机变量 $\theta$ 的后验概率 $p(\theta |x)$ 与先验概率 $p(\theta )$ 属于同一个分布簇的（同类分布），那么称 $p(\theta |x)$ 和 $p(\theta )$ 为共轭分布，这种性质叫共轭性。同时，也称 $p(\theta )$ 为似然函数 $p(x|\theta )$ 的共轭先验。

$$\begin{array}{ccccc}p(Y|X)& \propto & p(X|Y)& \times & p(Y)\\ \text{posterior}& \propto & \text{likelihood}& \times & \text{prior}\\ \text{后验}& \propto & \text{似然}& \times & \text{先验}\end{array}$$

Beta 分布关于µ的函数图像

参数a和b经常被称为超参数（hyperparameter），因为它们控制了参数µ的概率分布。

把先验概率中的超参数a0和b0分别看成x = 1和x = 0的有效观测数
观测到⼀个x = 1仅仅对应于把a0的值增加1，
观测到一个x = 0会使b0增加1

先验概率为Beta分布，参数为a0 = 2; b0 = 2，

似然函数

$$\mathrm{B}\mathrm{i}\mathrm{n}(m|N,\mu )=(\genfrac{}{}{0ex}{}{N}{m}){\mu }^m(1-\mu {)}^{N-m}$$

其中N = m = 1，对应于x = 1的⼀次观测，
从而后验概率为Beta分布，参数为a1 = 3; b1= 2

后验概率的性质

后验概率下的预测

下一次硬币投掷正面朝上的概率?

a0 = 2; b0 = 2

a1 = 3; b1 = 2

2.5 多项式变量 Multinomial Variables

多项式变量 Multinomial Variables

1-of-K coding scheme: $\mathbf{x}=(0,0,1,0,0,0{)}^{\mathrm{T}}$

a generalization of the Bernoulli distribution
可以看成是伯努利分布对于多输出的⼀个推 ⼴

$$p(\text{x}|\mathbf{\mu })=\prod _{k=1}^K{\mu }_k^{x_k}$$

$$\begin{array}{c}\forall k:{\mu }_k⩾0\text{and}\sum _{k=1}^K{\mu }_k=1\\ \mathbb{E}[\mathbf{x}|\mathbf{\mu }]=\sum _{\mathbf{x}}p(\mathbf{x}|\mathbf{\mu })\mathbf{x}=({\mu }_1,\dots ,{\mu }_K{)}^{\text{T}}=\mathbf{\mu }\\ \sum _{\mathbf{x}}p(\mathbf{x}|\mathbf{\mu })=\sum _{k=1}^K{\mu }_k=1\end{array}$$

极大似然参数估计

多项式分布 The Multinomial Distribution

狄利克雷分布 Dirichlet Distribution

Bayesian Multinomial

2.6 ★高斯分布 Gaussian Distribution (正态分布)

高斯分布

连续变量⼀种最重要的概率分布

一元高斯分布

对于一元实值变量x有

$$\mathcal{N}\left(x|\mu ,{\sigma }^2\right)=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}\exp \left\{-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right\}$$

$$\begin{gathered} \mathcal{N}(x|\mu ,{\sigma }^2)>0 \\ {\int }_{-\infty }^{\infty }\mathcal{N}\left(x|\mu ,{\sigma }^2\right)\mathrm{d}x=1 \end{gathered}$$

均值：

$$\mathbb{E}[x]={\int }_{-\infty }^{\infty }\mathcal{N}\left(x|\mu ,{\sigma }^2\right)x\mathrm{d}x=\mu$$

二阶矩：

$$\mathbb{E}[x^2]={\int }_{-\infty }^{\infty }\mathcal{N}\left(x|\mu ,{\sigma }^2\right)x^2\mathrm{d}x={\mu }^2+{\sigma }^2$$

方差：

$$\mathrm{var}[x]=\mathbb{E}[x^2]-\mathbb{E}[x{]}^2={\sigma }^2$$

精度： ⽅差的倒数 $=\beta =1/{\sigma }^2$

标准差： ⽅差的平⽅根 $\sigma$

众数：分布的最⼤值（即分布函数曲线的峰值对应的自变量 == 均值 $\mu$)

多元高斯分布

对于D维向量 $\mathbf{x}$ 的高斯分布，有

$$\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\Sigma })=\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathbf{\Sigma }{|}^{1/2}}\exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}$$

中心极限定理 Central Limit Theorem

当我们考虑多个随机变量之和的时候，也会产⽣⾼斯分布。

Example: N uniform $[0,1]$ random variables. 例如 N个 $[0,1]$ 均匀分布。当 N 增大时， N 个独立同分布的随机变量的和的分布逐渐趋近于高斯分布。

N个均匀分布的均值的直方图：

多元高斯的矩 moment

thanks to anti-symmetry of z

一阶矩

$$\mathbb{E}[\text{x}]=\mathbf{\mu }$$

二阶矩

$$\mathbb{E}[{\mathbf{x}\mathbf{x}}^{\mathrm{T}}]=\mathbf{\mu }{\mathbf{\mu }}^{\mathrm{T}}+\mathbf{\Sigma }$$

协⽅差

$$\text{cov}[\mathbf{x}]=\mathbb{E}\left[(\mathbf{x}-\mathbb{E}[\mathbf{x}])(\mathbf{x}-\mathbb{E}[\mathbf{x}]{)}^{\mathrm{T}}\right]=\mathbf{\Sigma }$$

高斯分布的重要性质

• All marginals of a Gaussian are again Gaussian 高斯的所有边缘都是高斯的
• Any conditional of a Gaussian is Gaussian 高斯的任何条件都是高斯的
• The product of two Gaussians is again Gaussian 两个高斯的乘积是高斯的
• Even the sum of two independent Gaussian RVs is a Gaussian 两个独立的高斯随机变量的和也是高斯的

高斯分布的划分

划分的条件分布和边缘分布

高斯变量的贝叶斯定理

高斯分布的极大似然估计

高斯分布的似然函数

高斯分布的似然函数为：（高斯概率分布的似然函数，由红色曲线表示。图中x轴上黑点表示数据集 $\{x_n\}$ 的值）

假定数据集 $\text{x}=x_n$ 是独立同分布，因此给定 $\mu$ 和 ${\sigma }^2$，可给出数据集概率

$$p(\text{x}|\mu ,{\sigma }^2)=\prod _{n=1}^N\mathcal{N}\left(x_n|\mu ,{\sigma }^2\right)$$

有一个观测的数据集 $\mathbf{x}=(x_1,\dots ,x_N{)}^T$，表示标量变量 $x$ 的 $N$ 次观测。

使用一个观测数据集来决定概率分布的参数的一个通用的标准是寻找使似然函数取得最大值的参数值。这个标准看起来可能很奇怪，因为从我们之前对于概率论的讨论来看，似乎在给定数据集的情况下最大化概率的参数（而不是在给定参数的情况下最大化数据集出现的概率）是更加自然的。事实上，这两个标准是相关的。

最大化似然函数

数据：$\text{x}=(x_1,\dots ,x_N{)}^T,\text{t}=(t_1,\dots ,t_N{)}^T$

似然函数：$p(\text{x}|\mu ,{\sigma }^2)=\prod _{n=1}^N\mathcal{N}(x_n|\mu ,{\sigma }^2)$

$\mathcal{N}\left(x|\mu ,{\sigma }^2\right)=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}\exp \left\{-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right\}$

取对数，一元实值变量x的高斯分布的对数似然函数可表示为：

$$\ln p\left(\text{x}|\mu ,{\sigma }^2\right)=-\frac{1}{2{\sigma }^2}\sum _{n=1}^N(x_n-\mu {)}^2-\frac{N}{2}\ln {\sigma }^2-\frac{N}{2}\ln (2\pi )\text{\hspace{1em}(1)}$$

关于 $\mu$，最大化函数(1)，我们可以得到最大似然解

$${\mu }_{\text{ML}}=\frac{1}{N}\sum _{n=1}^N{x}_n\text{\hspace{1em}(2)}$$

这是样本均值(sample mean)，即观测值 $\{x_n\}$ 的均值。类似地，关于 ${\sigma }^2$ 最大化函数(1)，我们得到了方差的最大似然解

$${\sigma }_{\text{ML}}^2=\frac{1}{N}\sum _{n=1}^N(x_n-{\mu }_{\text{ML}}{)}^2\text{\hspace{1em}(3)}$$

这是关于样本均值 ${\mu }_{\text{ML}}$ 的样本方差(sample variance)。注意，我们要同时关于 $\mu$ 和 ${\sigma }^2$ 来最大化函数(1)，但是在高斯分布的情况下， $\mu$ 的解和 ${\sigma }^2$ 无关，因此我们可以首先估计公式 (2) 然后使用这个结果来估计公式 (3) 。

最大似然方法系统化地低估了分布的方差，即分布的方差存在偏移（bias），可证得

$$\mathbb{E}[{\mu }_{ML}]=\mu ,\mathbb{E}[{\sigma }_{ML}^2]=\left(\frac{N-1}{N}\right){\sigma }^2$$

因此，均值是正确的，但是方差被系统性地低估，因为它是相对样本均值进行测量的，而不是相对真实的均值进行测量的。而无偏的方差参数估计应为

$${\tilde{\sigma }}^2=\frac{N}{N-1}{\sigma }_{ML}^2=\frac{1}{N-1}\sum _{n=1}^N(x_n-{\mu }_{ML}{)}^2$$

当数据点的数量N增大时，最大似然解的偏移会变得不太严重，并且在极限 $N\to \infty$ 的情况下，方差的最大似然解与产生数据的分布的真实方差相等。

最大似然的偏移问题是在多项式曲线拟合问题中遇到的过拟合问题的核⼼。

序贯估计

高斯分布的贝叶斯推断

对于一元高斯随机变量 $x$，假定高斯分布的方差已知为 ${\sigma }^2$，设均值为 $\mu$。给定 $\mu$ 的条件下，观测数据集出现的概率是关于 $\mu$ 的函数，

令先验概率分布，$p\left(\mu \right)=\mathcal{N}(\mu |{\mu }_0,{\sigma }_0^2)$，从而后验概率为，

多元高斯的极大似然估计

对于D维向量 $\text{x}$ 组成的数据集 $\text{X}={({\text{x}}_1,{\text{x}}_2,\dots ,{\text{x}}_N)}^T$，其中观测 ${\text{x}}_n$ 假定是独立从多元高斯分布中抽取。使用最大似然法估计分布的参数，则对数似然函数为，

对数似然函数关于 $\mu$ 的导数为，

令导数为零，得到均值的最大似然估计

即数据点的观测集合的均值。进一步可求得，

估计真实概率分布下最大似然解的期望，可得 $\mathbb{E}\left[{\mu }_{ML}\right]=\mu ,\mathbb{E}\left[{\mathbf{\Sigma }}_{ML}\right]=\frac{N-1}{N}\mathbf{\Sigma }$

总结：高斯分布的贝叶斯推断

一元高斯：

多元高斯：

2.7 指数族分布 Exponential Family

指数族分布定义

参数为 η 的变量 x 的 指数族分布 定义为具有下⾯形式的概率分布的集合

$$p(\mathbf{x}\mid \mathbf{\eta })=h(\mathbf{x})g(\mathbf{\eta })\exp \{{\mathbf{\eta }}^T\mathbf{u}(\mathbf{x})\}$$

x 标量/向量，离散的/连续的
η被称为概率分布的⾃然参数（natural parameters）
u(x)是x的某个函数
函数g(η)可以被看成系数，它确保概率分布是归⼀化的

$$g(\mathbf{\eta })\int h(\mathbf{x})\exp \{{\mathbf{\eta }}^T\mathbf{u}(\mathbf{x})\}\text{d}\mathbf{x}=1$$

指数族分布例子

Example 1: Bernoulli 伯努利

Example 2: Multinomial 多项式

Example 3: Gaussian Distribution 高斯分布

指数族的最大似然

共轭先验 Conjugate Priors

在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。
共轭先验的好处主要在于代数上的方便性，可以直接给出后验分布的封闭形式，否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。

对于指数族分布的任何成员，都存在⼀个共轭先验

$$p(\mathbf{\eta }|\mathbf{\chi },\nu )=f(\mathbf{\chi },\nu )g(\mathbf{\eta }{)}^{\nu }\exp \left\{\nu {\mathbf{\eta }}^{\text{T}}\mathbf{\chi }\right\}.$$

与似然

$$\begin{array}{c}p(\text{X}|\mathbf{\eta })=\left(\prod _{n=1}^{N}h({\mathbf{x}}_n)\right)g(\mathbf{\eta }{)}^N\exp \left\{{\mathbf{\eta }}^{\text{T}}\sum _{n=1}^N\mathbf{u}({\mathbf{x}}_n)\right\}\end{array}$$

相乘，得后验

$$p(\mathbf{\eta }|\mathbf{X},\mathbf{\chi },\nu )\propto g(\mathbf{\eta }{)}^{\nu +N}\exp \left\{{\eta }^{\mathrm{T}}\left(\sum _{n=1}^N\mathbf{u}({\mathbf{x}}_n)+\nu \mathbf{\chi }\right)\right\}.$$

我们看到参数ν可以看成先验分布中假想观测的有效观测数。

给定χ的情况下，每个假想观测都对充分统计量u(x)的值有贡献。

Conjugate Priors - Examples

• Beta for Bernoulli/binomial 伯努利分布中，共轭先验是Beta分布；二项分布中，共轭先验是Beta分布
• Dirichlet for categorical/multinomial
• Normal for mean of Normal ⾼斯分布中，均值的共轭先验是⾼斯分布
• Gamma for precision of Normal
• And many more...

Conjugate Prior Table:http://en.wikipedia.org/wiki/Conjugate_prior