概率机器学习笔记

文章列表

概率机器学习笔记

1.单变量高斯混合分布

原书对结果的得出没有给出解释，我比较困惑，网上找到了一篇推导的帖子，看完就明白了。

式2.49的解释:

红框即为关键处，这是显而易见的期望，不过是条件方差的期望：

该证明的作者：@MISC {16609,
TITLE = {What is the variance of the weighted mixture of two gaussians?},
AUTHOR = {whuber (https://stats.stackexchange.com/users/919/whuber)},
HOWPUBLISHED = {Cross Validated},
NOTE = {URL:https://stats.stackexchange.com/q/16609 (version: 2015-05-20)},
EPRINT = {https://stats.stackexchange.com/q/16609},
URL = {https://stats.stackexchange.com/q/16609}
}

这是一个完美的 $\\mathbb{V}\\left[X\\right]=E_Y\\left[\\mathbb{V}\\left.\\left[X\\mid Y\\right]\\right]+\\mathbb{V}_Y\\left[\\begin{array}{c}\\mu_{X\\mid Y}\\end{array}]\\right.\\right.$ 的推导。

$E_Y\\left[\\mathbb{V}\\left.\\left[X\\mid Y\\right]\\right]\\right.=\\sum_i{p_i \\sigma^2_i}$

$\\mathbb{V}_Y\\left[\\begin{array}{c}\\mu_{X\\mid Y}\\end{array}]\\right.={\\sum_i{p_i\\left(\\mu_i^{(1)}\\right)^2}-\\left(\\sum_i{p_i\\mu_i^{(1)}}\\right)^2.}$