第八章 高斯过程 Gaussian Process
高斯过程的基本原理
高斯分布
1D Gaussian Distribution 一维高斯分布
Parameters 参数
- Mean 均值, μμ
- Variance 方差, σ2σ^2
P(x∣μ,σ)=12πσ2e−(x−μ)22σ2P(x|\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{\frac{-(x-\mu)^2}{2\sigma^2}}
Multivariate Gaussian 多元高斯
P(x∣μ,Σ)=12π∣Σ∣exp{−12(x−μ)TΣ−1(x−μ)}P(x|\mu,\Sigma)=\frac{1}{\sqrt{2\pi|\Sigma|}}\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}
高斯过程
高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展。
高斯过程定义
高斯过程正式地定义为：对于所有 x=[x1,x2,⋯ ,xn],f(x)=[f(x1),f(x2),⋯ ,f(xn)]\boldsymbol{x}=[x_1,x_2,\cdots,x_n],f(\boldsymbol{x})=[f(x_1),f(x_2),\cdots,f(x_n)] 都服从多元高斯分布，则称 ff 是一个高斯过程，表示为 f(x)∼N(μ(x),κ(x,x))f(\pmb{x})\sim\mathcal{N}(\pmb{\mu}(\pmb{x}),\kappa(\pmb{x},\pmb{x}))。
- 这里 μ(x) :Rn→Rn\boldsymbol{\mu}(\boldsymbol{x})\colon\mathbb{R}^n\to\mathbb{R}^n 表示均值函数（Mean function），返回各个维度的均值；
- κ(x,x) :Rn×Rn→Rn×n\kappa(\boldsymbol{x},\boldsymbol{x})\colon\mathbb{R}^n\times\mathbb{R}^n\to\mathbb{R}^{n\times n} 为协方差函数 Covariance Function（也叫核函数 Kernel Function）返回两个向量各个维度之间的协方差矩阵。
一个高斯过程为一个均值函数和协方差函数唯一地定义，并且一个高斯过程的有限维度的子集都服从一个多元高斯分布（为了方便理解，可以想象二元高斯分布两个维度各自都服从一个高斯分布)。
核函数
核函数是一个高斯过程的核心，核函数决定了一个高斯过程的性质。核函数在高斯过程中起生成一个协方差矩阵（相关系数矩阵）来衡量任意两个点之间的“距离”。
不同的核函数有不同的衡量方法，得到的高斯过程的性质也不一样。
最常用的一个核函数为高斯核函数，也成为径向基函数 RBF。其基本形式 K(xi,xj)=σ2exp(−∥xi−xj∥22l2)K\big(x_i,x_j\big)=\sigma^2\text{exp}\left(-\frac{\|x_i-x_j\|^2}{2l^2}\right)。其中 σ\sigma 和 ll 是高斯核的超参数。
高斯过程缺点
高斯过程是一个非参数模型，每次都需要对所有的数据点进行（矩阵求逆）。对于没有经过任何优化的高斯过程回归，n个样本点时间复杂度大概是 O(n3)O(n^3)，空间复杂度是 O(n2)O(n^2)，在数据量大的时候高斯过程变得复杂度高。