- 智能语音处理
- 张雄伟 孙蒙 杨吉斌
- 612字
- 2021-04-01 02:36:05
3.4.2 GPLVM的理论来源
GPLVM的初衷和GMM、HMM并不相同,它起源于概率PCA(Probabilistic Principal Component Analysis),更主要的是为了解决高维数据的降维问题,特别是在无法确定高低维空间映射关系的情况下的降维问题。
PCA是一个实现数据降维的高效方法(详见第4章),它本质上是将方差最大的方向作为主要特征,并在各个正交方向上将数据“去相关”,通过保留能量最大的特征向量上的分量实现数据降维。
PCA方法的有效性可以从不同的角度解释。Tipping和Bishop从概率的角度分析PCA的处理过程,并提出了概率PCA。给定N个D维观测数据Y=[y1,y2,…,yn,…,yN],希望找到它们在低维空间ℝq中的表示X=[x1,x2,…,xn,…,xN]。同样地,假设高维和低维空间对应的两个点的关系满足:
yn=Wxn+ηn
(3-27)
其中,W是从低维向高维的映射。ηn∈ℝD,服从均值为零的高斯分布,,β-1为噪声方差。概率PCA的目标就是解出这个映射W。
该问题可以通过最大似然估计来求解。在已知X、W和β-1的条件下,yn的条件分布为。进一步,假设xn也服从正态分布(xn|0,I),则可以计算yn的边缘分布为
可以证明,基于式(3-28)计算令观测数据Y似然最大化的映射,所得的就是PCA的解。
从上述过程可以看出,GPLVM和概率PCA在模型上极为相似,两者存在紧密的联系。所不同的是,GPLVM将高低维空间的映射视为服从高斯分布的概率形式,采用的函数从线性函数形式推广至概率核函数形式,这样可以减少对模型先验的要求,只要设置待求空间的协方差函数,就能学习到更为丰富的函数形式。具体分析可以进一步阅读相关论文[8]。