什么是方差、协方差和协方差矩阵

方差是衡量随机变量离散程度的统计量，协方差揭示不同特征间的关联性，协方差矩阵则是所有维度间协方差的集合。

方差： 定义：方差衡量的是随机变量的离散程度。 计算方法：将每个样本值与平均值之差的平方求和，然后除以样本数量。 意义：方差越大，表示数据的离散程度越高，即数据波动越大；方差越小，表示数据的离散程度越低，即数据越集中。

协方差： 定义：协方差揭示的是两个不同特征之间的关联性。 计算方法：通过计算样本中两个特征与它们平均值的偏差的乘积和来判断它们是否同步变化。 意义：正相关表示两个特征的变化趋势一致；负相关表示两个特征的变化趋势相反；零协方差表示两个特征不相关。

协方差矩阵： 定义：协方差矩阵是所有维度间协方差的集合。 结构：对角线元素是各变量的方差，非对角线元素是变量间的协方差。 意义：协方差矩阵能够全面反映多个变量之间的关联性，是理解多维数据分布和变量间关系的重要工具。在机器学习中，协方差矩阵常用于数据预处理、特征选择和模型优化等环节。