最近总是碰到期望、方差、协方差等概念。遂下定决心整理一下。参考之bishop_PRML(page 20)

期望(Expectation)

也称为均值。在概率分布下的期望的定义如下：
1. 离散形式:
2. 连续形式:
当概率分布为均匀分布时，其与我们平常用的算术平均值一样（或者当样本数无限多时也是等于算术平均值的,TODO给出证明）。一般实际使用中概率分布也是取均匀分布

方差(Variance)

用来度量随机变量和其数学期望（即均值）之间的偏离程度。的方差的定义如下：

注意：当样本数为N时，求方差时除以(N-1)得到无偏移方差。对方差求期望就可以观察到，详细见bishop_PRML的Exercise1.12

协方差(Covariance)

用来度量两个变量之间的相关性。如果两个变量的变化趋势相同，则值为正，反之则为负。其公式如下：
two random variables x and y

two vectors of random variables x and y

注意：两个变量相互独立，则其协方差为0。反之不成立，协方差为0，只能说明两个变量不相关

相关系数(Correlation)

用来归一化协方差。其公式如下：

这样任何一个变量(或both)的全部样本乘上一个缩放因子都不会相关系数的值