义渠骇近日，圣母大学(University of Notre Dame)公开了一门统计学课程资源，包括：课程笔记和授课视频，课后作业（以及解决方案）以及课程信息和参考以及课程大纲。

　　这份资源非常丰富，但从营长以往推荐的文章和资源看，大家可真不待见“统计”这个词，从字面上看，它太无聊了，但它对很多机器学习的应用领域又是必不可少的，所以营长这次还是推荐给大家。

　　课程介绍：该部分包括课程，书籍和，目标，组织的介绍；概率统计学，概率，性，协方差，相关性等的基本原理; 和与乘的规则，边布和条件分布; 随机变量，矩，离散和连续分布; 单变量高斯分布。

　　二项式分布，伯努利分布，多项式分布，泊松分布，学生T分布，拉普拉斯分布，伽玛分布，贝塔分布，帕累托分布，多元高斯和狄利克雷分布; 联合概率分布; 随机变量的变换; 中心极限和基本的蒙特卡罗近似; 概率不等式; 信息理论综述，KL散度，熵，互信息，詹森不等式。

　　信息理论，KL散度，熵，互信息，詹森不等式（续）; 中心极限的例子，检查数据集的高斯性质; 多元高斯，马氏距离，几何解释; 单变量和多变量的高斯连续最大似然估计; 连续最大似然估计，用于连续最大似然估计的Robbins-Monro算法。

　　高斯Robbins-Monro算法的连续最大似然估计（续）; 回到多元高斯，马氏距离，几何解释，均值和矩，形式; 维数灾难，高维的多项式回归中的挑战，高维的和超立方体的体积/面积，高维的高斯分布; 条件和边缘高斯分布，配方法，伍德伯里矩阵求逆引理，内插无噪数据和数据插补的例子，高斯的信息形式。

　　高斯的信息形式（续）; 贝叶斯推断和似然函数计算，加法和乘法误差; 最大后验估计和正则化式的最小二乘法; 用高斯先验估计高斯的均值; 传感器融合的应用; 先验平滑和内插噪声数据。

　　参数化建模，充分性原则，可能性原则，停止规则，条件性原则，p值和频率统计问题，最大似然估计以及可能性和条件性原则; 贝叶斯背景中的推论，后验和预测分布，最大后验估计，迹，贝叶斯推理的序列性质，例子; 指数分布族，例子，计算矩，填充和Neymann因式分解，充分统计量和最大似然估计。

　　指数族分布，计算矩，Neymann因式分解，充分统计量和最大似然估计（续）; 广义线性模型，规范响应，批处理和顺序IRLS算法; 对多元高斯分布，Wishart分布和逆Wishart分布，最大后验估计和后边布的均值和方差/精度进行贝叶斯推断。

　　共轭前体（续）和局限性，共轭先验的混合; 非信息先验，最大熵先验; 迁移和尺度不变的先验; 非正常先验; 杰弗里先验; 分层贝叶斯模型和经验贝叶斯/第二类最大似然斯坦因估计。

　　过拟合和最大似然估计，点估计和最小二乘法，后验和预测分布，模型; 贝叶斯信息准则，贝叶斯因子，奥卡姆剃刀定律，贝叶斯模型的比较和选择。

　　线性基函数模型，顺序学习，多输出，数据中心，当σ^2未知时的贝叶斯推断，Zellner的g先验，无信息的半共轭先验，贝叶斯回归相关性确定的介绍。

　　卡特回归问题; 共轭先验，条件和边缘后验，预测分布，共轭先验的影响; Zellner的G先验，边缘后验的均值和方差，可信区间; Jeffrey的非信息性先验，Zellner的非信息性G先验，指出用于选择解释性的输入变量零假设和贝叶斯因子的计算; 变量选择，模型比较，先验变量选择，最可能模型的抽样搜索，变量选择的吉布斯抽样; 实现细节。

　　中心极限，大数定律的回顾。π值计算，指标函数和蒙特卡罗误差估计; 蒙特卡罗估计，性质，变异系数，性，蒙特卡罗和维数灾难; 蒙特卡罗高维度集成，蒙特卡罗样本的最佳数量; 蒙特卡罗估计器的样本表示; 用蒙特卡罗方法估计贝叶斯因子; 从离散分布抽样; 从连续分布反向抽样; 变换方法，Box-Muller算法，从多元高斯样本中抽样。

　　从离散分布中抽样; 对连续分布进行反向采样; 变换方法，Box-Muller算法，从多元高斯中抽样; 模拟构图，接受抽样; 带条件的蒙特卡洛;分层抽样和系统抽样。

　　重要抽样方法，从高斯混合抽样; 最佳重要性抽样分布，归一化重要性抽样; 渐近方差/ Delta法，渐近偏差; 应用于贝叶斯推断; 高维重要性抽样，重要性抽样与抽样; 用重要性抽样求解Ax = b，计算奇异积分，其他例子。

　　重要性抽样回顾，重要性抽样解Ax = b，抽样重要性重采样（续）; 吉布斯抽样，系统和随机扫描，块和吉布斯，在贝叶斯回归变量选择中的应用; 马尔科夫链蒙特卡洛，Metropolis-Hastings抽样，例子。

　　状态空间模型; 例子，问题，语音增强，波动模型; 具有观察的状态空间模型，例子; 状态空间模型中的贝叶斯推理，前向滤波，前向后向滤波; 在线参数估计; 蒙特卡洛状态空间模型，最优重要性分布，顺序重要性抽样。

　　顺序重要性抽样（续）; 最优重要性分布，局部最优重要性分布，次优重要性分布; 例子，机器人定位，，随机波动; 重采样，有效采样大小，多项重采样，带重采样的连续采样，各种示例; Rao-Blackwellised粒子滤波器，卡尔曼滤波器的混合，切换LG-SSM，快速重击; 误差估计，退化，。

　　序列重要性抽样重采样的一般框架; 在两个维度上生长聚合物; 序列蒙特卡罗静态问题; 在线参数估计; 用于平滑的序列蒙特卡罗。

　　在线参数估计; 平滑序列蒙特卡罗; 卡尔曼滤波器回顾线性高斯模型;用于条件线性高斯模型的序列蒙特卡罗，Rao-Blackwellized粒子滤波器，应用; 时间序列模型; 部分观察线性高斯模型; 动态Tobit和动态Probit模型。

　　跨维的马尔可夫链蒙特卡罗，自回归的动机和高斯混合模型; 跨维移动的设计，生/死移动，拆分/合并移动，移动混合; 用于自回归的贝叶斯RJ-MCMC模型和高斯混合。

　　潜变量模型; K-Means，图像压缩; 高斯混合，后验属性和潜变量视角; 伯努利分布的混合; 期望最大化泛化，变分推理视角。

　　高斯混合; 伯努利分布的混合;用于贝叶斯线性回归的期望最大化算法; 最大后验概率和期望最大化; 增量期望最大化; 使用期望最大化处理丢失的数据; 变分推理的角度。

　　连续的潜变量模型，数据集的低维流形，生成观点，不可辨认性; 主成分分析，最大方差公式，最小误差公式，主成分分析与奇异值分解; 典型相关分析; 应用程序，离线数字图像，用主成分分析白化数据，用于可视化的主成分分析; 高维数据的主成分分析; 概率主成分分析，最大似然解，期望最大化算法，模型选择。

　　双重表示回归，核函数; 内核设计，结合内核，高斯内核，概率内核，Fisher内核; 径向基函数，Nadaraya-Watson模型; 高斯过程，用于回归的高斯过程与基函数方法，学习参数，自动相关性确定; 高斯过程分类，拉普拉斯近似，与贝叶斯神经网络的连接。

　　高斯过程分类，将高斯过程连接到贝叶斯神经网络; 课程概要 - 概率不等式，大数定律，最大似然估计和偏差，贝叶斯和后验探索，预测分布，边际可能性，指数族和共轭先验，经验贝叶斯和逼近，抽样方法，方法，重要性采样，马尔可夫链蒙特卡罗，吉布斯抽样，序列重要性抽样和粒子方法，可逆跳跃的马尔可夫链蒙特卡罗，潜变量和期望最大化，模型简化，概率主成分分析和生成模型。

　　本文由 恒宇国际（www.neivn.cn）整理发布