概率论与数理统计 - Probability Theory and Mathematical Statistics

Posted on Edited on In , Views: Word count in article: 5.4k Reading time ≈ 20 mins.

公式整理

  • 全概率
  • 贝叶斯
  • 随机变量
  • 参数估计
  • 假设校验

第一章 概率论的基本概念

条件概率与乘法公式

Undefined control sequence \dfrac

全概率公式

其中 是 的一个划分

贝叶斯 (Bayes) 公式

Undefined control sequence \dfrac

独立性

如果两事件 满足

则这两事件相互独立

第二章 随机变量及其分布

随机变量

设随机试验的样本空间为 ， 是定义在样本空间 上的实值单值函数. 称 为随机变量.

分布函数

则

对于极限情况有

Unknown environment 'aligned'

概率密度函数

存在非负可积函数 有

则称 为随机变量 的概率密度函数，简称概率密度

Undefined control sequence \dfrac

0-1 分布 (Bernoulli Distribution)

概率质量函数 (PMF):

Unknown environment 'cases'

分布函数 (CDF):

Unknown environment 'cases'

二项分布 (Binomial Distribution)

概率质量函数 (PMF):

Undefined control sequence \binom

分布函数 (CDF):

Undefined control sequence \binom

其中 是不大于 的最大整数。

泊松分布 (Poisson Distribution)

  • 泊松定理 Undefined control sequence \binom

概率质量函数 (PMF):

其中 且

分布函数 (CDF):

其中 是不大于 的最大整数。

均匀分布 (Uniform Distribution)

概率密度函数 (PDF):

Unknown environment 'cases'

分布函数 (CDF):

Unknown environment 'cases'

指数分布 (Exponential Distribution)

概率密度函数 (PDF):

Unknown environment 'cases'

分布函数 (CDF):

Unknown environment 'cases'

正态分布 (Normal Distribution)

概率密度函数 (PDF):

Undefined control sequence \dfrac

分布函数 (CDF):

Undefined control sequence \dfrac

标准正态分布 (Standard Normal Distribution)

概率密度函数 (PDF):

Undefined control sequence \dfrac

分布函数 (CDF):

Undefined control sequence \dfrac

重要性质:

若 ，则 Undefined control sequence \dfrac.

随机变量的函数分布

设随机变量 具有概率密度函数 ，又设函数 处处可导且恒有 (或 )，则随机变量 其概率密度为

Unknown environment 'cases'

其中 ， 是 的反函数

第三章 多维随机变量及其分布（二维）

分布函数

记成

有

离散型

连续型

特别的，有点 落在 上的概率

以及

Undefined control sequence \dfrac

边缘分布

以及

离散型

连续型

其中

同理

分别称为关于 和关于 的边缘概率密度

条件分布

离散型

Undefined control sequence \dfrac

以及

Undefined control sequence \dfrac

连续型

有条件概率密度

Undefined control sequence \dfrac

同理

Undefined control sequence \dfrac

那么有条件概率分布

Undefined control sequence \dfrac

同理

Undefined control sequence \dfrac

相互独立的随机变量

若对于所有

Unknown environment 'aligned'

则称随机变量 和 相互独立

两个随机变量的函数分布

Z = X + Y 的分布

做变量代换 可得

那么根据定义

通常 与 独立，那么有

Unknown environment 'aligned'

这两个公式又称为卷积公式

M = max{X,Y} 以及 N = min{X,Y} 的分布

相互独立

对于

即

对于

由于分布函数是个上界函数，无法约束下界，因此我们需要 获得下界

Unknown environment 'aligned'

第四章 随机变量的数字特征

数学期望

离散型

连续型

性质
  4. 相互独立时，

方差

定义

性质

常见分布的期望与方差

分布名称 (Distribution) 符号表示 数学期望 (Expected Value) 方差 (Variance)
0-1 分布 (Bernoulli)
二项分布 (Binomial)
泊松分布 (Poisson)
均匀分布 (Uniform)
指数分布 (Exponential)
正态分布 (Normal)
标准正态分布 (Standard Normal)

协方差及相关系数

协方差定义

协方差的性质
相关系数的定义

Undefined control sequence \dfrac

相关系数的性质
  2. 的大小表示 之间存在线性关系的概率
  3. 时表示 不相关

切比雪夫不等式

设随机变量 具有数学期望 ，方差 ，则对于任意 ，有

Unknown environment 'aligned'

第五章 大数定理及中心极限定理

大数定理

弱大数定理

设 是相互独立，服从同一分布的随机变量序列，且具有数学期望 ，作前 个的平均 Undefined control sequence \dfrac，则对任意 ，有

Undefined control sequence \dfrac

记为 概率收敛于 , 即

伯努利大数定理

设 是 次伯努利试验中事件发生的次数, 是事件发生的概率，则对于任意 ，有

Undefined control sequence \dfrac

或

Undefined control sequence \dfrac

中心极限定理

设 是相互独立，服从同一分布的随机变量序列，且具有数学期望 ，方差 ，则随机变量之和 的标准化变量

Undefined control sequence \dfrac

的分布函数 对于任意 满足

Unknown environment 'aligned'

也就是说，只要 足够大，那么总体和的标准化变量近似服从标准正态分布

Undefined control sequence \dfrac

上下同除去 可得

Undefined control sequence \dfrac

或

第六章 样本及抽样分布

抽样分布

设 是来自总体 的一个样本， 是 的函数，若其不含未知参数，则称 是一统计量

设 是相应于样本 的一个样本值，则称 是 的观察值

样本均值

Undefined control sequence \dfrac

样本方差

Undefined control sequence \dfrac

是因为少一个自由度，因为有

样本标准差

Undefined control sequence \dfrac

样本 k 阶(原点)矩

Undefined control sequence \dfrac

样本 k 阶中心矩

Undefined control sequence \dfrac

卡方分布

定义

设 是来自总体 的样本，则统计量

服从自由度为 的 分布，记为

和项数并不相关，只跟自由度有关， 的自由度为

性质
  • PDF 图形不对称
  • 可加性 ，其中
期望和方差

t 分布 或 学生氏（Student）分布

定义

设 ， ，且 相互独立，则称随机变量

Undefined control sequence \dfrac

为服从自由度为 的 分布，记作

性质
  • PDF 图像为单峰，关于 对称

F 分布

定义

设 ，且 相互独立，则称随机变量

Undefined control sequence \dfrac

服从自由度为 的 分布，记作

性质
  • PDF 图像不对称
  • Undefined control sequence \dfrac

正态总体的样本均值与样本方差的分布

定义

设总体 ，的均值为 ，方差为 ， 为来自 的一个样本， 分别是样本均值和样本方差，则有

而

Unknown environment 'aligned'

由此也可知 是为了无偏估计

进而

性质
  1. Undefined control sequence \dfrac
  2. 与 相互独立.
  3. Undefined control sequence \dfrac

第七章 参数估计

矩估计法 (Method of Moments)

矩估计法的基本思想是用样本矩来估计相应的总体矩。

设总体 的分布函数为 ，其中 是待估计的 个未知参数。

  1. 计算总体矩： 假设总体的前 阶原点矩存在，并记为：

    （连续型）

    或

    （离散型）

    其中 。这些 都是未知参数 的函数，即 。

  2. 建立矩估计方程： 用样本的前 阶原点矩 来估计对应的总体矩 。样本 阶原点矩的定义为：

    令总体矩等于样本矩，得到一个包含 个未知参数的方程组：

    Unknown environment 'cases'

  3. 求解估计量： 从上述方程组中解出 ，它们都是样本 的函数。我们将解出的结果记为 。

    称 为参数 的矩估计量 (Moment Estimator)。

最大似然估计法 (Method of Maximum Likelihood)

最大似然估计法的基本思想是：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个 值作为 的估计。

设总体 的概率密度函数（连续型）或概率质量函数（离散型）为 ，其中 是待估参数。 是来自总体 的一个样本， 是其样本观测值。

  1. 构造似然函数 (Likelihood Function)： 似然函数是样本观测值的联合概率密度（或联合概率），但它被看作是未知参数 的函数。

    这里的 可以是一个向量 。

  2. 取对数： 为了便于计算，通常对似然函数取自然对数，得到对数似然函数 。

    由于对数函数是单调递增函数， 和 在相同的 处取得最大值。

  3. 求导并令其为零： 对对数似然函数关于每个未知参数 求偏导数，并令其等于零，得到似然方程组：

  4. 求解估计值： 解这个似然方程组，得到的解记为 。这些解是使似然函数达到最大值的参数值，它们是样本观测值 的函数。

    称 为参数 的最大似然估计值 (Maximum Likelihood Estimate, MLE)。

注意：如果似然方程无解，或者参数 的取值范围有边界，则需要根据似然函数的单调性，在参数空间的边界上寻找最大值点。

无偏性

若估计量 的数学期望 存在，且对于任意 有

则称 是 的无偏估计量

有效性

设 ，与 ，都是对 的无偏估计量，若对于任意 有

且至少对某一个 上式中的不等式成立，则称 较 有效

相合性

若对于任意 、任意 满足

则称 为 的相合估计量

区间估计

则称随机区间 是 置信水平为 的置信区间， 分别称为双侧置信区间的置信下限和置信上限， 为置信水平.

单个正态总体均值和方差的区间估计

假设 是来自总体 的样本，样本均值为 ，样本方差为 。

  1. 已知

    • 使用统计量：Undefined control sequence \dfrac
    • 置信区间：
    • 其中 是标准正态分布的上 分位点。

  2. 未知

    • 使用统计量：Undefined control sequence \dfrac
    • 置信区间：
    • 其中 是自由度为 的 分布的上 分位点。
单个总体 方差 的置信区间

假设 是来自总体 的样本，样本方差为 。

  1. 未知

    • 使用统计量：Undefined control sequence \dfrac
    • 置信区间：
    • 其中 和 分别是自由度为 的 分布的上 和上 分位点。

  2. 已知

    • 使用统计量：Undefined control sequence \dfrac
    • 置信区间：
    • 其中 和 分别是自由度为 的 分布的上 和上 分位点。

第八章 假设检验

单个正态总体 的参数假设检验

设总体 ， 为来自总体的样本，样本均值 ，样本方差 ，检验显著性水平为 。

一、 均值 的假设检验
  1. 方差 已知（ 检验）

原假设与备择假设 分为以下三种情况：

检验类型 原假设 备择假设
双侧检验
单侧（右侧）检验
单侧（左侧）检验

检验统计量：

拒绝域：

  • 双侧检验：
  • 右侧检验：
  • 左侧检验：

其中 为标准正态分布的上 分位点，满足 。

  1. 方差 未知（ 检验）

原假设与备择假设 同上述三种情况。

检验统计量：

拒绝域：

  • 双侧检验：
  • 右侧检验：
  • 左侧检验：

其中 为自由度为 的 分布的上 分位点，满足 。

二、 方差 的假设检验（ 检验）

前提：均值 未知（若 已知，将统计量中的 替换为 ，自由度为 ）

原假设与备择假设 分为以下三种情况：

检验类型 原假设 备择假设
双侧检验
单侧（右侧）检验
单侧（左侧）检验

检验统计量：

拒绝域：

  • 双侧检验： 或
  • 右侧检验：
  • 左侧检验：

其中 为自由度为 的 分布的上 分位点，满足 。