概率论笔记

一、随机事件和概率

（一）概率的定义和性质

概率的公理化定义

设 $Ω$ 为样本空间， $A$ 为事件，对每一个事件 $A$ 都有一个实数 $P (A)$ ，若满足下列三个条件：

（1） $0 \leq P (A) \leq 1$ .

（2） $P (Ω) = 1$ .

（3）对于两辆互不相容的事件 $A_{1}$ ， $A_{2}$ ， $\dots$ 有 $P (i = 1 ⋃ \infty A_{i}) = \sum_{i = 1}^{\infty} P (A_{i})$ .（该性质通常称为可列（完全）可加性）

则称 $P (A)$ 为事件 $A$ 的概率。

古典概型（等可能概型）

$Ω = {ω_{1}, ω_{2}, \dots, ω_{n}}$ ， $P (ω_{1}) = P (ω_{2}) = \dots = P (ω_{n}) = \frac{1}{n}$

设任一事件 $A$ ，它是由 $ω_{1}$ 、 $ω_{2}$ 、 $\dots$ 、 $ω_{m}$ 组成的，则有 $P (A) = {ω_{1} ⋃ ω_{2} ⋃ \dots ⋃ ω_{m}} = P (ω_{1}) + P (ω_{2}) + \dots + P (ω_{m}) = \frac{m}{n} = \frac{A 所包含的基本事件数}{基本事件总数}$

排列组合公式： $A_{m}^{n} = \frac{m !}{( m - n )!}$ ， $C_{m}^{n} = \frac{m !}{( m - n )! n !}$ ， $(m n) = C_{m}^{n} = \frac{A _{m}^{n}}{A _{n}^{n}} = \frac{A _{m}^{n}}{n !}$

要排序用 $A$ ，不用排序用 $C$

比如： $C_{2}^{12} = \frac{12 \times 11}{2 !} = 66$

（二）概率的五大公式

加法公式

$P (A + B) = P (A) + P (B) - P (A B)$ .（当 $P (A B) = 0$ 时， $P (A + B) = P (A) + P (B)$ ）

$P (A + B + C) = P (A) + P (B) + P (C) - P (A B) - P (A C) - P (BC) + P (A BC)$ .

减法公式

$P (A - B) = P (A) - P (A B)$ （ $= P (A (1 - B)) = P (A \overline{B})$ ）

当 $B \subset A$ 时， $P (A - B) = P (A) - P (B)$

当 $A = Ω$ 时， $P (\overline{B}) = 1 - P (B)$

条件概率和乘法公式

条件概率：设 $A$ 、 $B$ 是两个事件，且 $P (A) > 0$ ，则称 $\frac{P ( A B )}{P ( A )}$ 为事件 $A$ 发生条件下，事件 $B$ 发生的条件概率，记为 $P (B ∣ A) = \frac{P ( A B )}{P ( A )}$ .

（条件概率时概率的一种，所有概率的性质都适合于条件概率。）

概率的乘法公式： $P (A_{1} A_{2} \dots A_{n}) = P (A_{1}) P (A_{2} ∣ A_{1}) P (A_{3} ∣ A_{1} A_{2}) \dots P (A_{n} ∣ A_{1} A_{2} \dots A_{n - 1})$ .

全概率公式

设事件 $B_{1}$ ， $B_{2}$ ， $\dots$ ， $B_{n}$ 满足：

（1） $B_{1}$ ， $B_{2}$ ， $\dots$ ， $B_{n}$ 两两互不相容， $P (B_{i}) > 0$ （ $i = 1, 2, \dots, n$ ）

（2） $A \subset i = 1 ⋃ n B_{i}$

则有

$P (A) = P (B_{1}) P (A ∣ B_{1}) + P (B_{2}) P (∣ A ∣ B_{2}) + \dots + P (B_{n}) P (A ∣ B_{n}) = i = 1 \sum n P (B_{i}) P (A ∣ B_{i})$

此公式即为全概率公式。

贝叶斯公式

若事件 $B_{1}$ ， $B_{2}$ ， $\dots$ ， $B_{n}$ 及 $A$ 满足：

（1） $B_{1}$ ， $B_{2}$ ， $\dots$ ， $B_{n}$ 两两互不相容， $P (B_{i}) > 0$ （ $i = 1, 2, \dots, n$ ）

（2） $A \subset i = 1 ⋃ n B_{i}$ ， $P (A) > 0$

则

$P (B_{i} ∣ A) = \frac{P ( B _{i} ) P ( A ∣ B _{i} )}{\sum _{j = 1}^{n} P ( B _{j} ) P ( A ∣ B _{j} )} = \frac{P ( A B _{i} )}{P ( A )}$

此公式即为贝叶斯公式。

$P (B_{i})$ （ $i = 1, 2, \dots, n$ ）通常叫先验概率。 $P (B_{i} ∣ A)$ （ $i = 1, 2, \dots, n$ ）通常称为后验概率。如果我们把 $A$ 当作观察的“结果”，而 $B_{1}, B_{2}, \dots, B_{n}$ 理解为“原因”，则贝叶斯公式反映了“因果”的概率规律，并作出了“由果溯因”的推断。

（三）事件的独立性和伯努利试验

两个事件的独立性

设事件 $A$ 、 $B$ 满足 $P (A B) = P (A) P (B)$ ，则称事件 $A$ 、 $B$ 是相互独立的。

若事件 $A$ 、 $B$ 相互独立，且 $P (A) > 0$ ，则有 $P (B ∣ A) = \frac{P ( A B )}{P ( A )} = \frac{P ( A ) P ( B )}{P ( A )} = P (B)$ .

若事件 $A$ 、 $B$ 相互独立，则可得到 $\overline{A}$ 与 $B$ 、 $A$ 与 $\overline{B}$ 、 $\overline{A}$ 与 $\overline{B}$ 也都相互独立。

由定义，我们可知必然事件 $Ω$ 和不可能事件 $\emptyset$ 与任何事件都相互独立，同时 $\emptyset$ 与任何事件都互斥。

区分：互不相容和独立

互不相容指 $A B = \emptyset$ ，即 $A$ 、 $B$ 不会同时发生。

独立指两件事发生的概率不相互影响，此时 $A$ 、 $B$ 仍有可能同时发生。

多个事件的独立性

设 $A$ 、 $B$ 、 $C$ 是三个事件，如果满足两两独立的条件（即 $P (A B) = P (A) P (B)$ ， $P (BC) = P (B) P (C)$ ， $P (A C) = P (A) P (C)$ ），并且同时满足 $P (A BC) = P (A) P (B) P (C)$ ，那么 $A$ 、 $B$ 、 $C$ 相互独立。对于 $n$ 个事件独立的条件类似。

伯努利试验

定义：我们做了 $n$ 次试验，且满足

每次试验只有两种可能结果， $A$ 发生或 $A$ 不发生.
$n$ 次试验是重复进行的，即 $A$ 发生的概率每次均一样.
每次试验是独立的，即每次试验 $A$ 发生与否与其他次试验 $A$ 发生与否是互不影响的.

则这种试验称为伯努利概型，或称为 $n$ 重伯努利试验。

用 $p$ 表示每次试验 $A$ 发生的概率，则 $\overline{A}$ 发生的概率为 $1 - p = q$ ，用 $P_{n} (k)$ 表示 $n$ 重伯努利试验中 $A$ 出现 $k$ （ $0 \leq k \leq n$ ）次的概率， $P_{n} (k) = C_{n}^{k} p^{k} (1 - p)^{n - k}$ 。

二、随机变量及其分布

（一）随机变量的分布函数

离散型随机变量的分布率

设离散型随机变量 $X$ 的可能取值为 $x_{k}$ （ $k = 1, 2, \dots$ ），且取各个值的概率为 $p_{k}$ ，即事件 $(X = x_{k})$ 的概率为 $P (X = x_{k}) = p_{k}$ （ $k = 1, 2, \dots$ ），则称上式为离散型随机变量 $X$ 的概率分布或分布律。有时也用分布列的形式给出：

$X$	$x_{1}$	$x_{2}$	$\dots$	$x_{k}$	$\dots$
$P (X = x_{k})$	$p_{1}$	$p_{2}$	$\dots$	$p_{k}$	$\dots$

显然分布律应满足下列条件：

（1） $p_{k} \geq 0$ ， $k = 1, 2, \dots$ .

（2） $\sum_{k = 1}^{\infty} p_{k} = 1$ .

分布函数

对于非离散型随机变量，通常有 $P (X = x) = 0$ ，不可能用分布律表达，例如日光灯管的寿命 $X$ ， $P (X = x_{0}) = 0$ ，所以我们考虑用 $X$ 落在某个区间 $(a, b]$ 内的概率表示。

定义：设 $X$ 为随机变量， $x$ 是任意实数，则函数 $F (x) = P (X \leq x)$ 称为随机变量 $X$ 的分布函数。

$P (a < X \leq b) = F (b) - F (a)$ 可以得到 $X$ 落入区间 $(a, b]$ 的概率。也就是说，分布函数完整地描述了随机变量 $X$ 随机取值的统计规律性。

分布函数 $F (x)$ 是一个普通的函数，它表示随机变量落入区间 $(- \infty, x]$ 内的概率。

$F (x)$ 的图形是阶梯图形， $x_{1}, x_{2}, \dots$ 是第一类间断点，随机变量 $X$ 在 $x_{k}$ 处的概率就是 $F (x)$ 在 $x_{k}$ 处的跃度。

分布函数具有如下性质（对连续型和离散型都适用）：

（1） $0 \leq F (x) \leq 1$ ， $- \infty < x < + \infty$ .

（2） $F (x)$ 是单调不减的函数，即 $x_{1} < x_{2}$ ，有 $F (x_{1}) \leq F (x_{2})$ .

（3） $F (- \infty) = x \to - \infty lim F (x) = 0$ ， $F (+ \infty) = x \to + \infty lim F (x) = 1$ .

（4） $F (x + 0) = F (x)$ ，即 $F (x)$ 是右连续的.

（5） $P (X = x) = P (X \leq x) - P (X < x) = F (x) - F (x - 0)$ .

离散型一般是右连续的分段函数，而连续型是变上限积分，整个函数都连续（如果被积函数是分段函数，那么在分段处不可导）

连续型随机变量的密度函数

定义：设 $F (x)$ 是随机变量 $X$ 的分布函数，若存在非负函数 $f (x)$ ，对任意实数 $x$ ，有 $F (x) = \int_{- \infty}^{x} f (x) d x$ ，则称 $X$ 为连续性随机变量， $f (x)$ 称为 $X$ 的概率密度函数（或密度函数），简称概率密度。 $f (x)$ 的图形是一条曲线，称为密度（分布）曲线。

由上式可知，连续型随机变量的分布函数 $F (x)$ 是连续函数，所以 $P (x_{1} \leq X \leq x_{2}) = P (x_{1} < X \leq x_{2}) = P (x_{1} \leq X < x_{2}) = P (x_{1} < X < x_{2}) = F (x_{2}) - F (x_{1})$ ，即端点处的值取不取不影响概率。

密度函数具有以下性质：

（1） $f (x) \geq 0$ .

（2） $F (+ \infty) = \int_{- \infty}^{+ \infty} f (x) d x = 1$ ，几何意义：在横轴上面、密度曲线下面的全部面积等于1.

如果一个函数 $f (x)$ 满足性质1、2，则它一定是某个随机变量的密度函数。

（3） $P (x_{1} < X \leq x_{2}) = F (x_{2}) - F (x_{1}) = \int_{x_{1}}^{x_{2}} f (x) d x$ .

（4）若 $f (x)$ 在 $x$ 处连续，则有 $F^{'} (x) = f (x)$ ， $P (x < X \leq x + d x) \approx f (x) d x$ ，它在连续型随机变量理论中所起的作用与 $P (X = x_{k}) = p_{k}$ 在离散型随机变量理论中所起的作用类似。

对于连续型随机变量 $X$ ，虽然有 $P (X = x) = 0$ ，但事件 $(X = x)$ 并非是不可能事件 $\emptyset$ 。

$P (X = x) \leq P (x < X \leq x + h) = \int_{x}^{x + h} f (x) d x$ ，令 $h \to 0$ ，则右端为零，而概率 $P (X = x) \geq 0$ ，故得 $P (X = x) = 0$ 。

连续型在任意一点处的概率都为0，概率密度函数反映的时在该点附近的概率是多少。

不可能事件（ $\emptyset$ ）的概率为零，而概率为零的事件不一定是不可能事件。同理，必然事件（ $Ω$ ）的概率为1，而概率为1的事件也不一定是必然事件。

例：已知密度函数 $f (x) = \frac{1}{π ( 1 + x ^{2} )}$ ，求在 $x > 1$ 的条件下的条件分布

解： $x \leq 1$ 时， $F (x ∣ X > 1) = 0$

$x > 1$ 时， $F (x ∣ x > 1) = P {X \leq x ∣ X > 1} = \frac{P { X \leq x , X > 1 }}{P { X > 1 }}$

$P {1 < X \leq x} = \int_{1}^{x} \frac{1}{π ( 1 + t ^{2} )} d t = \frac{1}{π} arctan t ∣_{1}^{x} = \frac{1}{π} arctan x - \frac{1}{4}$

$P {X > 1} = \int_{1}^{+ \infty} \frac{1}{π ( 1 + t ^{2} )} d t = \frac{1}{4}$

$∴ F (x ∣ X > 1) = {0 \frac{4}{π} arctan x - 1, x \leq 1, x > 1$

（二）常见分布

0-1分布

$P (X = 1) = p$ ， $P (X = 0) = q$

或写成 $P (X = k) = p^{k} (1 - p)^{1 - k}$ ， $k = 0, 1$ ，即看作是只做一次的伯努利试验，这是 $n = 1$ 时的二项分布。

二项分布

在 $n$ 重伯努利试验中，设事件 $A$ 发生的概率为 $p$ 。事件 $A$ 发生的次数是随机变量，设为 $X$ ，则 $X$ 可能取值为 $0, 1, 2, \dots, n$ ，那么在 $n$ 次伯努利试验中恰有 $k$ 次发生 $A$ 事件的概率为：

$P (X = k) = P_{n} (k) = C_{n}^{k} p^{k} q^{n - k}$

其中 $q = 1 - p$ ， $0 < p < 1$ ， $k = 0, 1, 2, \dots, n$ ，则称随机变量 $X$ 服从参数为 $n$ 、 $p$ 的二项分布，记为 $X \sim B (n, p)$

容易验证，二项分布满足离散型分布律的条件。

当 $(n + 1) p$ 不是整数时， $k = [(n + 1) p]$ 时取得最大值（其中”[ ]“是取整符号）

当 $(n + 1) p$ 是整数时， $k = (n + 1) p$ 或 $k = (n + 1) p - 1$ 时取得最大值

（二项分布在满足一定条件时可以用泊松分布或正态分布近似）

泊松分布

设随机变量 $X$ 的分布律为

$P (X = k) = \frac{λ ^{k}}{k !} e^{- λ}, λ > 0, k = 0, 1, 2, \dots$

则称随机变量 $X$ 服从参数为 $λ$ 的泊松分布，记为 $X \sim π (λ)$ 或者 $P (λ)$ 或 $P o i (λ)$ 。

泊松分布其实时 $e^{- λ}$ 乘以 $e^{λ}$ 的泰勒展开的第 $n$ 项，因此分布函数 $F (+ \infty)$ （即 $\sum \frac{λ ^{k}}{k !} e^{- λ}$ ）等于1，而且此时 $k$ 只能取正整数。

泊松分布为二项分布的极限分布，即当二项分布的 $n$ 很大，而 $n p$ 是一个常数时，二项分布可以用泊松分布近似，此时 $n p = λ$ 。（一般是 $n \geq 100$ ，而 $0 < n p \leq 10$ 时可以近似；如果不满足条件，那么当 $n$ 很大时，根据后面的中心极限定理，二项分布也可以用正态分布近似，但是要先进行标准化）

证明泊松分布为二项分布的极限分布：

$B (n, \frac{λ}{n}) = C_{n}^{k} (\frac{λ}{n})^{k} (1 - \frac{λ}{n})^{n - k} = \frac{n ( n - 1 ) \dots ( n - k + 1 )}{k !} (\frac{λ}{n})^{k} (1 - \frac{λ}{n})^{n} (1 - \frac{λ}{n})^{- k} = \frac{λ ^{k}}{k !} \frac{n ( n - 1 ) \dots ( n - k + 1 )}{n ^{k}} (1 - \frac{λ}{n})^{n} (1 - \frac{λ}{n})^{- k}$

当 $n \to \infty$ 时， $\frac{n ( n - 1 ) \dots ( n - k + 1 )}{n ^{k}} = 1$ ， $(1 - \frac{λ}{n})^{- k} = 1$ ， $(1 - \frac{λ}{n})^{n} = 重要极限 e^{- λ}$

$∴ n \to \infty lim B (n, \frac{λ}{n}) = \frac{λ ^{k}}{k !} e^{- λ} = P o i (λ)$

泊松分布的和仍是泊松分布（相减为Skellam分布）。

$X$ 服从参数为 $λ_{1}$ 的泊松分布， $Y$ 服从参数为 $λ_{2}$ 的泊松分布， $X$ 与 $Y$ 相互独立， $Z = X + Y$ ，求证 $Z$ 服从参数为 $λ_{1} + λ_{2}$ 的泊松分布：

（和卷积公式类似）

$P (Z = z) = \sum_{n = 0}^{z} P (X = n, Y = z - n) = 独立 \sum_{n = 0}^{z} P (X = n) P (Y = z - n) = \sum_{n = 0}^{z} \frac{λ _{1}^{n}}{n !} e^{- λ_{1}} \frac{λ _{2}^{z - n}}{( z - n )!} e^{- λ_{2}} = \frac{e ^{- (λ_{1} + λ_{2})}}{z !} \sum_{n = 0}^{z} \frac{z !}{n ! ( z - n )!} λ_{1}^{n} λ_{2}^{z - n} = 二项定理 \frac{e ^{- (λ_{1} + λ_{2})}}{z !} (λ_{1} + λ_{2})^{z}$

即 $X + Y \sim P o i (λ_{1} + λ_{2})$

若在任意两个长度的区间上，事件发生的概率相等，且两段区间事件的发生是相互独立的，则可以用泊松分布计算概率。

比如，假设一个收费站，每隔15分钟平均通过10辆车，那么问15分钟内恰好通过5辆车的概率是多少

这里 $λ$ 等于10，指在一个区间内事件发生次数的期望； $k$ 等于5，指事件在一个区间内发生的次数。

超几何分布

$P (X = k) = \frac{C _{M}^{k} \cdot C _{N - M}^{n - k}}{C _{N}^{n}}, k = 0, 1, 2, \dots, l, l = min (M, n)$

则称随机变量 $X$ 服从参数为 $n$ 、 $N$ 、 $M$ 的超几何分布。

超几何分布和二项分布联系密切，它们的不同之处是：超几何概率分布中，各次试验不是独立的，并且各次试验中成功的概率不等；或者说二项分布是放回的，而超几何分布是不放回的。

举个例子，有 $N$ 个球，其中 $M$ 个白球， $N - M$ 个黑球，采用不放回抽样，抽取 $n$ 个球，那么问抽取的 $n$ 个球中恰好有 $k$ 个白球， $n - k$ 个黑球的概率是多少，这时的概率就服从超几何分布。

当 $N$ 很大， $n$ 很小（即样本很大，抽取的数量很小），这时虽然要求不放回，但是即使放回了对结果影响也不大，这时超几何分布可以用二项分布近似。

几何分布

$P (X = k) = q^{k - 1} p, k = 1, 2, 3, \dots$

其中 $p \geq 0$ ， $q = 1 - p$ ，则称随机变量 $X$ 服从参数为 $p$ 的几何分布。

几何分布用于求解概率 $p$ 对应的事件在第 $k$ 次才首次发生的概率。

均匀分布

设随机变量 $X$ 的值只落在 $[a, b]$ 内，其密度函数 $f (x)$ 在 $[a, b]$ 上为常数 $k$ ，即

$f (x) = {\frac{1}{b - a} 0, a \leq x \leq b, 其他$

则称随机变量 $X$ 在 $[a, b]$ 上服从均匀分布，记为 $X \sim U (a, b)$ 。

均匀分布为连续型概型，其分布函数为

$F (x) = ⎩ ⎨ ⎧ 0 \frac{x - a}{b - a} 1, x < a, a \leq x \leq b, x > b$

当 $a \leq x_{1} < x_{2} \leq b$ ， $X$ 落在区间 $(x_{1}, x_{2})$ 内的概率为 $P (x_{1} < X < x_{2}) = \int_{x_{1}}^{x_{2}} f (x) d x = \int_{x_{1}}^{x_{2}} \frac{1}{b - a} d x = \frac{x _{2} - x _{1}}{b - a}$ 。

指数分布

设随机变量 $X$ 的密度函数为

$f (x) = {λ e^{- λ x} 0, x \geq 0, x < 0$

其中 $λ > 0$ ，则称随机变量 $X$ 服从参数为 $λ$ 的指数分布，记为 $X \sim ϵ (λ)$ 。

$X$ 的分布函数为

$F (x) = {1 - e^{- λ x} 0, x \geq 0, x < 0$

指数分布具有无记忆性：若 $X \sim ϵ (λ)$ ，取 $s > 0$ ， $t > 0$ ，则 $P {X > s + t ∣ X > s} = P {X > t}$ 。

无记忆性的证明：

$P {X > s + t ∣ X > s} = \frac{P {{ X > s + t } ⋂ { X > s }}}{P { X > s }} = \frac{\int _{s + t}^{+ \infty} λ e ^{- λ x} d x}{\int _{s}^{+ \infty} λ e ^{- λ x} d x} = \frac{- e ^{λ x} ∣ _{s + t}^{+ \infty}}{- e ^{λ x} ∣ _{s}^{+ \infty}} = \frac{e ^{- λ (s + t)}}{e ^{- λ s}} = e^{- λ t}$ 。

比如，若灯泡寿命满足指数分布，那么灯泡在使用了 $s$ 年的基础上可以再 $t$ 年的概率，和直接可以使用 $t$ 年的概率是一样的。

指数分布的最小顺序统计量：

若有一系列 $T_{i} \sim ϵ (λ_{i})$ ，且 $T_{i}$ 之间相互独立，令 $X = min (T_{1}, T_{2}, \dots, T_{n})$ ，则 $P (X > t) = P (T_{1} > t, T_{2} > t, \dots, T_{n} > t) = 独立 \prod_{i = 1}^{n} P (T_{i} > t) = \prod_{i = 1}^{n} e^{- λ_{i} t} = Exp (- t \sum_{i = 1}^{n} λ_{i})$ ，即 $X \sim ϵ (λ_{1} + λ_{2} + \dots + λ_{n})$ ，期望 $E (x) = \frac{1}{λ _{1} + λ _{2} + \dots + λ _{n}}$ 。

指数分布常用的几个积分：

$\int_{0}^{+ \infty} x e^{- x} d x = 1$ ， $\int_{0}^{+ \infty} x^{2} e^{- x} d x = 2$ ， $\int_{0}^{+ \infty} x^{n - 1} e^{- x} d x = (n - 1)!$

伽马函数 $Γ (α) = \int_{0}^{+ \infty} x^{α - 1} e^{- x} d x$ ， $Γ (α + 1) = α Γ (α)$

$\int_{- \infty}^{+ \infty} e^{- x^{2}} d x = π$

$\int_{- \infty}^{+ \infty} e^{- x^{2}} d x = π$ 是通过二重积分得出的：

求 $D \iint e^{- x^{2} - y^{2}} d x d y$ ，其中 $D$ 是 $x$ 从 $0$ 到 $R$ 、 $y$ 从 $0$ 到 $R$ 的方形区域

解：对区域进行更改， $D_{1}$ 是小 $\frac{1}{4}$ 圆的面积， $D$ 是矩形的面积， $D_{2}$ 是大 $\frac{1}{4}$ 圆的面积

由于被积函数大于等于0，于是， $D_{1} \iint e^{- x^{2} - y^{2}} d x d y \leq D \iint e^{- x^{2} - y^{2}} d x d y \leq D_{2} \iint e^{- x^{2} - y^{2}} d x d y$

对于 $D_{1}$ ，换成极坐标 $\int_{0}^{\frac{π}{2}} d θ \int_{0}^{R} e^{- r^{2}} r d r = \frac{π}{4} (1 - e^{- R^{2}})$ ， $D_{2}$ 同理，得 $D_{2} \iint e^{- x^{2} - y^{2}} d x d y = \frac{π}{4} (1 - e^{- 2 R^{2}})$

当 $R \to + \infty$ 时，左右两边都等于 $\frac{π}{4}$ ，根据夹逼定理， $D \iint e^{- x^{2} - y^{2}} d x d y = \frac{π}{4}$

即当 $R \to + \infty$ 时， $D \iint e^{- x^{2} - y^{2}} d x d y = \int_{0}^{R} e^{- x^{2}} d x \int_{0}^{R} e^{- y^{2}} d y = (\int_{0}^{R} e^{- x^{2}} d x)^{2} = \frac{π}{4}$ ，于是 $\int_{0}^{R} e^{- x^{2}} d x = \frac{π}{2}$

由于被积函数是偶函数， $\int_{- R}^{R} e^{- x^{2}} d x = 2 \int_{0}^{R} e^{- x^{2}} d x = π$ ，把 $R = + \infty$ 代进去，可得上面结论。

正态分布

设随机变量 $X$ 的密度函数为

$f (x) = \frac{1}{2 π σ} e^{- \frac{( x - μ ) ^{2}}{2 σ ^{2}}}, - \infty < x < + \infty$

其中 $μ$ 、 $σ > 0$ 为常数，则称随机变量 $X$ 服从参数为 $μ$ 、 $σ$ 的正态分布（或叫高斯(Gauss)分布），记为 $X \sim N (μ, σ^{2})$ .

$f (x)$ 具有如下性质：

（1） $f (x)$ 的图形是关于 $x = μ$ 对称的.

（2）当 $x = μ$ 时， $f (μ) = \frac{1}{2 π σ}$ 为最大值.

（3） $f (x)$ 以 $o x$ 轴为渐近线.

特别地，当 $σ$ 固定、改变 $μ$ 时， $f (x)$ 的图形形状不变，只是集体沿 $o x$ 轴平行移动，所以 $μ$ 又称为位置参数。

当 $μ$ 固定、改变 $σ$ 时， $f (x)$ 的图形形状要发生变化。随 $σ$ 变大， $f (x)$ 图形的形状变得平坦，所以又称 $σ$ 为形状参数。

正态分布的分布函数为

$F (x) = \frac{1}{2 π σ} \int_{- \infty}^{x} e^{- \frac{( t - μ ) ^{2}}{2 σ ^{2}}} d t$

参数 $μ = 0$ 、 $σ = 1$ 时的正态分布称为标准正态分布，记为 $X \sim N (0, 1)$ ，其密度函数为

$φ_{0} (x) = \frac{1}{2 π} e^{- \frac{x ^{2}}{2}}, - \infty < x < + \infty$

分布函数为

$Φ_{0} (x) = \frac{1}{2 π} \int_{- \infty}^{x} e^{- \frac{t ^{2}}{2}} d t$

由于 $Φ (x)$ 是不可求积函数，其函数值已编制成表可供查用。

如果 $X \sim N (μ, σ^{2})$ ，则 $\frac{X - μ}{σ} \sim N (0, 1)$ ，此时 $P (x_{1} < X < x_{2}) = Φ_{0} (\frac{x _{2} - μ}{σ}) - Φ (\frac{x _{1} - μ}{σ})$ 。

如果一个函数是正态分布，但不是标准状态分布，需要先转换称标准正态分布才能查表，转换公式如下（若其密度函数为 $φ (x)$ ，分布函数为 $Φ (x)$ ）：

$φ (x) = \frac{1}{σ} φ_{0} (\frac{x - μ}{σ})$ ， $Φ (x) = Φ_{0} (\frac{x - μ}{σ})$

证明： $φ (x) = \frac{1}{σ} [\frac{1}{2 π} Exp (- \frac{( \frac{x - μ}{σ} ) ^{2}}{2})]$ ， $Φ (x) = \frac{1}{2 π} \int_{- \infty}^{x} Exp (- \frac{( \frac{t - μ}{σ} ) ^{2}}{2}) d (\frac{t - μ}{σ})$ ，即写成标准正态分布的形式直接看出。

$φ_{0} (x)$ 和 $Φ_{0} (x)$ 有如下性质：

（1） $φ_{0} (x)$ 是偶函数， $φ_{0} (x) = φ_{0} (- x)$ .

（2）当 $x = 0$ 时， $φ_{0} (x) = \frac{1}{2 π}$ 为最大值.

（3） $Φ_{0} (- x) = 1 - Φ_{0} (x)$ ，且 $Φ_{0} (0) = \frac{1}{2}$ .

（三）随机变量函数的分布

随机变量 $Y$ 时随机变量 $X$ 的函数， $Y = g (X)$ ，若 $X$ 的分布函数 $F_{X} (x)$ 或密度函数 $f_{X} (x)$ 已知，如何求出 $Y = g (X)$ 的分布函数 $F_{Y} (y)$ 或密度函数 $f_{Y} (y)$

X是离散型随机变量

已知 $X$ 的分布列为

$X$	$x_{1}$	$x_{2}$	$\dots$	$x_{n}$	$\dots$
$P (X = x_{i})$	$p_{1}$	$p_{2}$	$\dots$	$p_{n}$	$\dots$

显然， $Y = g (X)$ 的取值只可能是 $g (x_{1})$ 、 $g (x_{2})$ 、 $\dots$ 、 $g (x_{n})$ 、 $\dots$ ，若 $g (x_{i})$ 互不相等，则 $Y$ 的分布列如下：

$Y$	$g (x_{1})$	$g (x_{2})$	$\dots$	$g (x_{n})$	$\dots$
$P (Y = y_{i})$	$p_{1}$	$p_{2}$	$\dots$	$p_{n}$	$\dots$

若有某些 $g (x_{i})$ 相等，则应将对应的 $P_{i}$ 相加作为 $g (x_{i})$ 的概率。

X是连续型随机变量

先利用 $X$ 的概率密度 $f_{X} (x)$ 写出 $Y$ 的分布函数 $F_{Y} (y)$ ，再利用变上下限积分的求导公式求出 $f_{Y} (y)$ 。

例1：若已知 $X$ 的密度函数 $f_{X} (x)$ ，而 $Y = 3 X + 2$ ，求 $Y$ 的密度函数 $f_{Y} (x)$

解： $F_{Y} (y) = P {Y \leq y} = P {3 X + 2 \leq y} = P {X \leq \frac{y - 2}{3}} = F_{X} (\frac{y - 2}{3})$

（因为 $F_{X} (x) = P {X \leq x}$ ， $x$ 的地方变成了 $\frac{y - 2}{3}$ ）

然后两边同时求导（注意右边是复合函数求导）

$∴ f_{Y} (y) = \frac{1}{3} f_{X} (\frac{y - 2}{3})$

例2：若 $X \sim N (μ, σ^{2})$ ， $Y = a X + b$ ， $a \neq = 0$

解： $a > 0$ 时， $F_{Y} (y) = P {Y \leq y} = P {a X + b \leq y} = P {X \leq \frac{y - b}{a}} = Φ (\frac{y - b}{a})$

$f_{Y} (y) = \frac{1}{a} Φ (\frac{y - b}{a}) = \frac{1}{2 π aσ} Exp (- \frac{( y - ( b + a μ ) ) ^{2}}{2 a ^{2} σ ^{2}})$ ，即 $Y \sim N (a μ + b, a^{2} σ^{2})$

当 $a < 0$ 时，同理可得 $f_{Y} (y) = \frac{1}{2 π ( - aσ )} Exp (- \frac{( y - ( b + a μ ) ) ^{2}}{2 a ^{2} σ ^{2}})$

三、二维随机变量及其分布

（一）二维随机变量的基本概念

$f (x, y)$ - (联合)分布密度

对于二维随机变量 $ξ \in (X, Y)$ ，如果存在非负函数 $f (x, y)$ （ $- \infty < x < + \infty$ ， $- \infty < y < + \infty$ ），使对任意一个其邻边分别平行于坐标轴的矩形区域 $D$ ，即 $D = {(X, Y) ∣ a < x < b, c < y < c}$ ，有

$P {(X, Y) \in D} = D \iint f (x, y) d x d y$

则称 $ξ$ 为连续型随机变量，并称 $f (x, y)$ 为 $ξ \in (X, Y)$ 的分布密度，或称为 $X$ 和 $Y$ 的联合分布密度。

这时 $P {x_{1} < x < x_{2}, y_{1} < y < y_{2}} = F (x_{2}, y_{2}) - F (x_{2}, y_{1}) - F (x_{1}, y_{2}) + F (x_{1}, y_{1})$

分布密度 $f (x, y)$ 具有下面的性质：

（1） $f (x, y) \geq 0$ .

（2） $\int_{- \infty}^{+ \infty} \int_{- \infty}^{+ \infty} f (x, y) d x d y = 1$ .

$f_{X} (x)$ 或 $f_{Y} (y)$ - 边缘分布密度

一般来说，当 $(X, Y)$ 为连续型随机变量，并且其联合分布密度为 $f (x, y)$ ，则 $X$ 和 $Y$ 的边缘分布密度为

$f_{X} (x) = \int_{- \infty}^{+ \infty} f (x, y) d y f_{Y} (y) = \int_{- \infty}^{+ \infty} f (x, y) d x$

简单地说， $X$ 的边缘分布密度就是对 $y$ 积分（连续型）或求和（离散型）； $Y$ 的边缘分布密度就是对 $x$ 积分（连续型）或求和（离散型）。 $X$ 的边缘分布指在不考虑 $Y$ 的情况下， $X$ 发生的概率（ $Y$ 同理）。

从图像上看：

比如离散型，先求出行和、列和：

$X \ Y 12 10 \frac{1}{8} \frac{1}{8} 2 \frac{1}{2} \frac{1}{8} \frac{5}{8} 3 \frac{1}{8} \frac{1}{8} \frac{1}{4} \frac{5}{8} \frac{3}{8}$

因此 $X$ 的边缘分布为：

$X P 1 \frac{5}{8} 2 \frac{3}{8}$

（边缘分布中 $X = 1$ 的概率就是对前面表格中，当 $X = 1$ 时对应 $Y$ 的所有可能进行求和，也就是前面表格中第一行的行和，其他同理）

$Y$ 的边缘分布为：

$Y P 1 \frac{1}{8} 2 \frac{5}{8} 3 \frac{1}{4}$

$F (x ∣ y)$ 或 $F (y ∣ x)$ - 条件分布

当 $(X, Y)$ 为离散型，并且联合分布律为 $P {(X, Y) = (x_{i}, y_{j})} = p_{ij}$ （ $i, j = 1, 2, \dots$ ），在已知 $X = x_{i}$ 的条件下， $Y$ 取值的条件分布为：

$P (Y = y_{j} ∣ X = x_{i}) = \frac{P _{ij}}{P _{i ∙}}$

$X$ 的条件分布同理。其中 $p_{i ∙}$ 、 $p_{∙ j}$ 分别为 $X$ 、 $Y$ 的边缘分布

当 $(X, Y)$ 为连续型随机变量，并且其联合分布密度为 $f (x, y)$ ，则在已知 $Y = y$ 的条件下， $X$ 的条件分布密度和分布函数为：

$f (x ∣ y) = \frac{f ( x , y )}{f _{Y} ( y )} P {X \leq x ∣ Y = y} = F (x ∣ y) = \int_{- \infty}^{x} \frac{f ( u , y )}{f _{Y} ( y )} d u$

在已知 $X = x$ 的条件下， $Y$ 的条件分布密度为：

$f (y ∣ x) = \frac{f ( x , y )}{f _{X} ( x )}$

其中 $f_{X} (x) > 0$ 、 $f_{Y} (y) > 0$ 分别为 $X$ 、 $Y$ 的边缘分布密度。

$F (x, y)$ - (联合)分布函数

设 $(X, Y)$ 为二维随机变量，对于任意实数 $x$ 、 $y$ ，二元函数

$F (x, y) = P {X \leq x, Y \leq y}$

称为二维随机变量 $(X, Y)$ 的分布函数，或称为随机变量 $X$ 和 $Y$ 的联合分布函数。

分布函数是一个以全平面为定义域、以事件 ${(ω_{1}, ω_{2}) ∣ - \infty < X (ω_{1}) \leq x, - \infty < Y (ω_{2}) \leq y}$ 的概率为函数值的一个实值函数。

分布函数具有以下性质：

（1） $0 \leq F (x, y) \leq 1$ .

（2） $F (x, y)$ 分别对 $x$ 、 $y$ 是非减的，即，当 $x_{2} > x_{1}$ 时，由 $F (x_{2}, y) \geq F (x_{1}, y)$ ；当 $y_{2} > y_{1}$ 时，有 $F (x, y_{2}) \geq F (x, y_{1})$ .

（3） $F (x, y)$ 分别对 $x$ 和 $y$ 是右连续的，即 $F (x, y) = F (x + 0, y)$ ， $F (x, y) = F (x, y + 0)$ .

（4） $F (- \infty, + \infty) = F (- \infty, y) = F (x, - \infty) = 0$ ， $F (+ \infty, + \infty) = 1$ .

在已知 $(X, Y)$ 联合分布密度 $f (x, y)$ 的情况下，如果 $Z$ 是关于 $X$ 、 $Y$ 的函数， $Z = g (X, Y)$ ，那么如何求解 $Z$ 的分布：

$F_{Z} (z) = P {Z \leq z} = P {g (X, Y) \leq z} = D_{z} \iint f (x, y) d x d y$ ，其中 $D_{z} = {(x, y) ∣ g (x, y) \leq z}$

例：已知 $f (x, y) = \frac{1}{2 π} e^{- \frac{x ^{2} + y ^{2}}{2}}$ ， $Z = X^{2} + Y^{2}$ ，求 $F_{Z} (z)$

解：当 $z < 0$ 时， $F_{Z} (z) = P {Z \leq z} = P {X^{2} + Y^{2} \leq z} = 0$ .

当 $z \geq 0$ 时， $D_{z}$ 是 $x^{2} + y^{2} \leq z^{2}$ 的一个圆的内部，

$F_{Z} (z) = P {X^{2} + Y^{2} \leq z} = D_{z} \iint \frac{1}{2 π} e^{- \frac{x ^{2} + y ^{2}}{2}} d x d y = \int_{0}^{2 π} d θ \int_{0}^{z} \frac{1}{2 π} e^{- \frac{r ^{2}}{2}} r d r = 1 - e^{- z^{2}}$

（二）随机变量的独立性

连续型随机变量

若 $X$ 与 $Y$ 独立，则密度函数与边缘分布之间的关系，以及分布函数的关系分别为：

$f (x, y) = f_{X} (x) f_{Y} (y) F (x, y) = F_{X} (x) F_{Y} (y)$

即独立意味着联合分布密度等于边缘分布密度相乘（联合分布密度就是两件事同时发生的概率函数，对于独立事件，同时发生就是概率相乘）

此时 $f (x ∣ y) = f_{X} (x)$ .

直接判断是否独立，充要条件：

（1）可分离变量.

（2）正概率密度区间为矩形.

如果 $X$ 和 $Y$ 独立， $Z = X + Y$ ，那么可以得到卷积公式：

$F_{Z} (z) = P {Z \leq z} = P {X + Y \leq z} = X + Y \leq z \iint f (x, y) d x d y = \int_{- \infty}^{+ \infty} d x \int_{- \infty}^{z - x} f (x, y) d y$

令 $t = x + y$ ，则 $y = t - x$ ， $F_{Z} (z) = \int_{- \infty}^{+ \infty} d x \int_{- \infty}^{z} f (x, t - x) d t$ ，这是一个 $X$ 型的积分，画出积分区域后，把它改写成 $Y$ 型的积分

$F_{Z} (z) = \int_{- \infty}^{z} d t \int_{- \infty}^{+ \infty} f (x, t - x) d x$

$∴ f_{Z} (z) = F_{Z}^{'} (z) = \int_{- \infty}^{+ \infty} f (x, z - x) d x = X 与 Y 独立 \int_{- \infty}^{+ \infty} f_{X} (x) f_{Y} (z - x) d x$ ， $f_{Z} (z) = \int_{- \infty}^{+ \infty} f (z - y, y) d y = \int_{- \infty}^{+ \infty} f_{X} (z - y) f_{Y} (y) d y$

随机变量函数的独立性

若 $X$ 与 $Y$ 独立， $h$ 、 $g$ 为连续函数，则 $h (X)$ 与 $g (Y)$ 独立。

（三）常见的二维分布

均匀分布

设随机变量 $(X, Y)$ 的分布密度函数为

$f (x, y) = {\frac{1}{S _{D}} 0, (x, y) \in D, 其他$

其中 $S_{D}$ 为区域 $D$ 的面积，则称 $(X, Y)$ 服从 $D$ 上的均匀分布，记为 $(X, Y) \sim U (D)$ .

正态分布

设随机变量 $(X, Y)$ 的分布密度函数为

$f (x, y) = \frac{1}{2 π σ _{1} σ _{2} 1 - ρ ^{2}} e^{- \frac{1}{2 ( 1 - ρ ^{2} )} [(\frac{x - μ _{1}}{σ _{1}})^{2} - \frac{2 ρ ( x - μ _{1} ) ( y - μ _{2} )}{σ _{1} σ _{2}} + (\frac{y - μ _{2}}{σ _{2}})^{2}]}$

其中 $μ_{1}$ 、 $μ_{2}$ 、 $σ_{1} > 0$ 、 $σ_{2} > 0$ 、 $∣ ρ ∣ < 1$ ，是5个参数，称为 $(X, Y)$ 服从二维正态分布，记为 $(X, Y) \sim N (μ_{1}, μ_{2}, σ_{1}^{2}, σ_{2}^{2}, ρ)$ .

由边缘密度的计算公式，可以推出二维正态分布的两个边缘分布仍为正态分布，即 $X \sim N (μ_{1}, σ_{1}^{2})$ ， $Y \sim N (μ_{2}, σ_{2}^{2})$ 。（但是反过来不一定成立，即，即使 $X$ 和 $Y$ 都是正态分布，但他们的联合分布密度不确定）

只有当 $X$ 和 $Y$ 是相互独立的正态分布，且 $Z = X + Y$ 的时候， $X$ 与 $Y$ 的联合分布 $Z$ 才是正态分布。

证明：

设 $X \sim N (0, 1)$ ， $Y \sim N (0, 1)$ ， $X$ 与 $Y$ 独立， $Z = X + Y$

由卷积公式，得

$Φ_{Z} (z) = \int_{- \infty}^{+ \infty} φ_{X} (x) φ_{Y} (z - x) d x = \int_{- \infty}^{+ \infty} \frac{1}{2 π} e^{- \frac{x ^{2}}{2}} \frac{1}{2 π} e^{- \frac{( z - x ) ^{2}}{x}} d x = \int_{- \infty}^{+ \infty} \frac{1}{2 π} e^{- \frac{z ^{2}}{4}} e^{- (x - \frac{z}{2})^{2}} d x = \frac{1}{2 π} e^{- \frac{z ^{2}}{4}} \int_{- \infty}^{+ \infty} e^{- (x - \frac{z}{2})^{2}} d (x - \frac{z}{2}) = \frac{1}{2 π \cdot 2} e^{- \frac{z ^{2}}{2 ( 2 ) ^{2}}}$

即 $Z \sim N (0, 2)$

同理，若 $X$ 、 $Y$ 不是标准的正态分布，而是普通的正态分布时： $X \sim N (μ, σ_{1}^{2})$ ， $X \sim N (μ_{2}, σ_{2}^{2})$ ， $X + Y \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})$ .

$ρ = 0$ 时，二维状态分布是独立的，此时 $f (x, y) = f_{X} (x) f_{Y} (y)$ ，而且，对于二维正态分布来说，不相关等价于独立。

四、随机变量的数字特征

（一）期望

期望的定义与性质

离散型

设 $X$ 是离散型随机变量，其分布律为 $P (X = x_{k}) = p_{k}$ （ $k = 1, 2, \dots, n$ ），则其期望为

$E (X) = k = 1 \sum n x_{k} p_{k}$

期望也称作均值。

连续型

设 $X$ 是连续型随机变量，其概率密度为 $f (x)$ ，则

$E (X) = \int_{- \infty}^{+ \infty} x f (x) d x$

（二维的形式：如果已知 $f (x, y)$ ，那么先算出 $f_{X} (x)$ ， $E (X) = \int_{- \infty}^{+ \infty} x f_{X} (x) d x$ ）

期望的性质

（1） $E (C) = C$ ， $E (X + C) = E (X) + C$ （ $C$ 是常数）.

（2） $E (CX) = CE (X)$ .

（3） $E (X \pm Y) = E (X) \pm E (Y)$ ， $E (\sum_{i = 1}^{n} C_{i} X_{i}) = \sum_{i = 1}^{n} C_{i} E (X_{i})$ .

（4）若 $X$ 与 $Y$ 独立（充分条件），或 $X$ 与 $Y$ 不相关（充要条件），则 $E (X Y) = E (X) E (Y)$ .

注意， $X$ 和 $X$ 自身并不独立，因为一个 $X$ 增加，另一个也必然会相应增加。像 $E (X^{2})$ 只能用性质（5）求。

（5）若 $Y = g (X)$

离散：若 $P (X = x_{k}) = p_{k}$ （ $k = 1, 2, \dots, n$ ），则 $E (Y) = \sum_{k = 1}^{n} g (x_{k}) p_{k}$
连续：若 $E (X) = \int_{- \infty}^{+ \infty} x f (x) d x$ ，则 $E (Y) = \int_{- \infty}^{+ \infty} g (x) f (x) d x$

二维的形式，若 $Z = g (X, Y)$

离散： $E (Z) = \sum_{i = 1}^{n} \sum_{j = 1}^{m} g (x_{i}, y_{j}) p_{ij}$
连续： $E (Z) = \int_{- \infty}^{+ \infty} \int_{- \infty}^{+ \infty} g (x, y) f (x, y) d x d y$

（6）条件期望

离散： $E (X ∣ y = y_{j}) = \sum_{i = 1}^{n} x_{i} P {X = x_{i} ∣ Y = y_{j}}$

连续： $E (X ∣ Y = y) = \int_{- \infty}^{+ \infty} x (x ∣ y) d x$

例1：已知某商品的需求量 $x$ 满足在 $[2000, 4000]$ 上的均匀分布（单位：吨），若每卖出1吨可赚3万，卖不出10吨亏损1万，求收益最高为多少。

解： $f (x) = {\frac{1}{2000} 0, 2000 \leq x \leq 4000, else$ 设 $y$ 为生产数量， $Y$ 为收益，则 $Y = g (x) = {3 y 3 x - (y - x), x \geq y, x < y$

$E (Y) = \int_{- \infty}^{+ \infty} g (x) f (x) d x = \int_{2000}^{4000} \frac{g ( x )}{2000} d x = \frac{1}{2000} [\int_{2000}^{y} (4 x - y) d x + \int_{y}^{4000} 3 y d x] = \frac{1}{1000} (- y^{2} + 7000 y - 4000000)$

$∴$ 当生产数量 $y = 3500$ 时收益达到最高， $Y = \dots$

例2：假设某商品的进货量 $X$ 与需求量 $Y$ 独立，且 $X$ 和 $Y$ 都在 $[10, 20]$ 上满足均匀分布，若每卖一件赚1000元，如果不够可以从其他商店进货，但只赚500元，问平均利润是多少？

解：设利润 $Z = g (X, Y) = {1000 Y 1000 X + 500 (Y - X), Y \leq X, Y > X$

$f_{X} (x) = {\frac{1}{10} 0, 10 \leq x \leq 20, else$ ， $f_{Y} (y) = {\frac{1}{10} 0, 10 \leq x \leq 20, else$

$f (x, y) = f_{X} (x) f_{Y} (y) = {\frac{1}{100} 0, 10 \leq x \leq 20, 10 \leq y \leq 20, else$

$E (Z) = \int_{- \infty}^{+ \infty} \int_{- \infty}^{+ \infty} g (x, y) f (x, y) d x d y = \frac{1}{100} \int_{10}^{20} \int_{10}^{20} g (x, y) d x d y = \frac{1}{100} \int_{10}^{20} d y \int_{10}^{20} g (x, y) d x = \frac{1}{100} \int_{10}^{20} d y [\int_{10}^{y} 500 (x + y) d x + \int_{y}^{20} 1000 y d x] \approx 14166.67$

条件期望

离散型随机变量的条件期望

在已知 $Y = y_{j}$ 的情况下， $X$ 的条件期望为：

$E (X ∣ Y = y_{j}) = i = 1 \sum \infty x_{i} P (X = x_{i} ∣ Y = y_{j}) = i = 1 \sum \infty \frac{x _{i} P _{ij}}{P _{∙ j}}$

连续型随机变量的条件期望

在已知 $Y = y$ 的情况下， $X$ 的条件期望为：

$E (X ∣ Y = y) = \int_{- \infty}^{+ \infty} x f (x ∣ y) d x = \int_{- \infty}^{+ \infty} \frac{x f ( x , y )}{f _{Y} ( y )} d x = \frac{\int _{- \infty}^{+ \infty} x f ( x , y ) d x}{\int _{- \infty}^{+ \infty} f ( x , y ) d x}$

同理， $E (Y ∣ X = x) = \int_{- \infty}^{+ \infty} y f (y ∣ x) d y$ .

条件期望的性质：

（1）全期望公式： $E [E (X ∣ Y)] = E (x)$ ；

对原本进行分类，单独求每个分类的期望后，再求分类的总体期望，与直接求总体期望的结果一样。

证明：

离散时，

$左边 = \sum_{j = 1}^{\infty} E (X ∣ Y = y_{j}) \times P (Y = y_{j}) = \sum_{j = 1}^{\infty} \sum_{i = 1}^{\infty} \frac{x _{i} P _{ij}}{P _{∙ j}} P_{∙ j} = \sum_{i = 1}^{\infty} x_{i} \sum_{j = 1}^{\infty} P_{ij} = \sum_{i = 1}^{\infty} x_{i} P_{i ∙} = 右边$ ，

其中，如果 $Y$ 是离散型随机变量，那么 $E (X ∣ Y)$ 也是离散型随机变量，其分布列为 $E (X ∣ Y) P E [X ∣ Y = y_{1}] P (Y = y_{1}) \dots \dots E [X ∣ Y = y_{j}] P (Y = y_{j})$

连续时，

$左边 = \int_{- \infty}^{+ \infty} E (X ∣ Y = y) f_{Y} (y) d y = \int_{- \infty}^{+ \infty} \frac{\int _{- \infty}^{+ \infty} x f ( x , y ) d x}{\int _{- \infty}^{+ \infty} f ( x , y ) d x} f_{Y} (y) d y = \int_{- \infty}^{+ \infty} \frac{\int _{- \infty}^{+ \infty} x f ( x , y ) d x}{\int _{- \infty}^{+ \infty} f ( x , y ) d x} [\int_{- \infty}^{+ \infty} f (x, y) d x] d y = \int_{- \infty}^{+ \infty} x d x \int_{- \infty}^{+ \infty} f (x, y) d y = \int_{- \infty}^{+ \infty} x f_{X} (x) d x = 右边$

（2） $X$ 与 $Y$ 独立时， $E (X ∣ Y) = E (X)$ ；

证明：

离散时， $E (X ∣ Y = y_{j}) = \sum_{i = 1}^{\infty} \frac{x _{i} P _{ij}}{P _{∙ j}} = \sum_{i = 1}^{\infty} x_{i} P_{i ∙}$ ；

连续时， $E (X ∣ Y = y) = \int_{- \infty}^{+ \infty} \frac{x f ( x , y )}{f _{Y} ( y )} d x = X 与 Y 独立 \int_{- \infty}^{+ \infty} \frac{x f _{X} ( x ) f _{Y} ( y )}{f _{Y} ( y )} d x = \int_{- \infty}^{+ \infty} x f_{X} (x) d x$ .

（3） $E (\sum_{i = 1}^{n} c_{i} X_{i} ∣ Y) = \sum_{i = 1}^{n} c_{i} E (X_{i} ∣ Y) a . s .$ ，比如： $E [(c_{1} X_{1} + c_{2} X_{2}) ∣ Y] = c_{1} E (X_{1} ∣ Y) + c_{2} E (X_{2} ∣ Y) a . s .$ ；

（4）对于任意实函数 $h (x)$ ，都有 $E [h (x) E (X ∣ Y)] = E [h (x) X]$ ；

证明： $左边 = \int h (x) E (X ∣ Y = y) f_{Y} (y) d y = \int h (x) \frac{\int x f ( x , y ) d x}{\int f ( x , y ) d x} f_{Y} (y) d y = \iint h (x) x f (x, y) d x d y = 右边$ .

（5）对于任意实函数 $h (y)$ ，都有 $E [h (y) X ∣ Y] = h (y) E (X ∣ Y) a . s .$ ；

证明： $\forall y \in R$ ， $E [h (y) X ∣ Y = y] = \frac{\int h ( y ) x f ( x , y ) d x}{\int f ( x , y ) d x} = h (y) \frac{\int x f ( x , y ) d x}{\int f ( x , y ) d x} = h (y) E (X ∣ Y = y)$ .

特别地， $E (X ∣ X) = X$ ，因为对于 $E (X ∣ X = x_{j})$ ，只有 $P (X = x_{i} = x_{j} ∣ X = x_{j})$ 才不为0.

（6）当 $Z$ 与 $(X, Y)$ 独立时， $E (ZX ∣ Y) = E (Z) E (X ∣ Y) a . s .$ ；

因为 $P (ZX ∣ Y) = \frac{P ( X Y Z )}{P ( Y )} = P (Z ∣ X Y) P (X ∣ Y) = P (Z) P (X ∣ Y)$ .

随机向量的条件期望

定义：随机变量 $X$ 关于 $n$ 维随机向量 $Y = (Y_{1}, \dots, Y_{n})$ 的条件期望 $E (X ∣ Y)$ ，是一个新的随机变量，是 $Y$ 的函数。

性质：

（1）全期望公式： $E [E (X ∣ Y)] = E (X)$ ；

（2） $X$ 与 $Y$ 独立时， $E (X ∣ Y) = E (X)$ ;

（3） $E (\sum_{i = 1}^{n} c_{i} X_{i} ∣ Y) = \sum_{i = 1}^{n} c_{i} E (X_{i} ∣ Y) a . s .$ ；

（4）对于任意实值 $n$ 元函数 $g (t_{1}, \dots, t_{n})$ ，都有 $E [g (Y) E (X ∣ Y)] = E [g (Y) X]$ ；

（5）对于任意实值 $n$ 元函数 $g (t_{1}, \dots, t_{n})$ ，都有 $E [g (Y) X ∣ Y] = g (Y) E (X ∣ Y) a . s .$ 。

（二）方差

方差与标准差

方差：

$D (X) = E {[X - E (X)]^{2}}$

离散型： $D (X) = \sum_{k} [x_{k} - E (X)]^{2} p_{k}$ .

连续型： $D (X) = \int_{- \infty}^{+ \infty} [x - E (X)]^{2} f (x) d x$ .

标准差：

$σ (X) = D (X)$

方差的性质

（1） $D (C) = 0$ （ $C$ 是常数，常数的方差为0；对比期望 $E (C) = C$ ；变量方差为0的充要条件是 $P {X = E (X)} = 1$ ）

（2） $D (a X) = a^{2} D (X)$ （对比期望 $E (a X) = a E (X)$ ）

（3） $D (a X + b) = a^{2} D (X)$ （对比期望 $E (a X + b) = a E (X) + b$ ）

（4） $D (X) = E (X^{2}) - [E (X)]^{2}$

（5） $D (X \pm Y) = D (X) + D (Y) \pm 2 E [(X - E (X)) (Y - E (Y))] = D (X) + D (Y) \pm 2 cov (X, Y)$ 。

特别地，如果 $X$ 与 $Y$ 独立（充分条件），或 $X$ 与 $Y$ 不相关（充要条件），则协方差 $cov (X, Y) = 0$ ， $D (X \pm Y) = D (X) + D (Y)$

性质4的证明：

$D (X) = E {[X - E (X)]^{2}} = E {X^{2} - 2 XE (X) + [E (X)]^{2}} = E (X^{2}) - 2 [E (X)]^{2} + [E (X)]^{2} = E (X^{2}) - [E (X)]^{2}$

性质5的证明：

$D (X \pm Y) = E {[X \pm Y - E (X \pm Y)]^{2}} = E {[X \pm Y - E (X) \mp E (Y)]^{2}} = E {[(X - E (X)) \pm (Y - E (Y))]^{2}} = E {[X - E (X)]^{2} \pm 2 [X - E (X)] [Y - E (Y)] + [Y - E (Y)]^{2}} = E [X - E (X)]^{2} + E [Y - E (Y)]^{2} \pm 2 E {[X - E (X)] [Y - E (Y)]} = D (X) + D (Y) \pm E [X Y - XE (Y) - Y E (X) + E (X) E (Y)]$

条件方差

在已知 $Y = y$ 的情况下， $X$ 的条件方差定义为（是关于 $y$ 的函数）：

$D (X ∣ Y = y) = E [(X - E (X ∣ Y = y))^{2} ∣ Y = y] = E (X^{2} ∣ Y = y) - [E (X ∣ Y = y)]^{2}$ 性质： $D (X) = E [D (X ∣ Y)] + D [E (X ∣ Y)]$

证明：

$E [D (X ∣ Y)] = E [E (X^{2} ∣ Y) - (E (X ∣ Y))^{2}] = E [E (X^{2} ∣ Y)] - E [(E (X ∣ Y))^{2}] = E (X^{2}) - E [(E (X ∣ Y))^{2}]$

$D [E (X ∣ Y)] = E [(E (X ∣ Y))^{2}] - [E (E (X ∣ Y))]^{2} = E [(E (X ∣ Y))^{2}] - [E (X)]^{2}$

故 $E [D (X ∣ Y)] + D [E (X ∣ Y)] = E (X^{2}) - E^{2} (X) = D (X)$

（三）常见分布的期望与方差

总结

分布名称	符号	期望	方差
0-1分布	$B (1, p)$	$p$	$p (1 - p)$
二项分布	$B (n, p)$	$n p$	$n p (1 - p)$
泊松分布	$P o i (λ)$	$λ$	$λ$
几何分布	$G (P)$	$\frac{1}{p}$	$\frac{1 - p}{p ^{2}}$
超几何分布	$H (n, M, N)$	$\frac{n M}{N}$	$\frac{n M}{N} (1 - \frac{M}{N}) (\frac{N - n}{N - 1})$
均匀分布	$U (a, b)$	$\frac{a + b}{2}$	$\frac{( b - a ) ^{2}}{12}$
指数分布	$ϵ (λ)$	$\frac{1}{λ}$	$\frac{1}{λ ^{2}}$
正态分布	$N (μ . σ^{2})$	$μ$	$σ^{2}$

0-1分布

0-1分布： $P (X = 1) = p$ ， $P (X = 0) = q$ ， $q = 1 - p$

$E (X) = p$ ， $D (X) = pq$

$E (X) = 1 \cdot p + 0 \cdot q = p$

$D (X) = E (X^{2}) - [E (X)]^{2} = p - p^{2} = p (1 - p) = pq$

二项分布

二项分布： $X \sim B (n, p)$ ， $P_{n} (k) = C_{n}^{k} p^{k} q^{n - k}$ ， $q = 1 - p$ ， $k = 0, 1, 2, \dots, n$

$E (X) = n p$ ， $D (X) = n pq$

$E (X) = \sum_{k = 0}^{n} k C_{n}^{k} p^{k} q^{n - k} = \sum_{k = 0}^{n} k \frac{n !}{k ! ( n - k )!} p^{k} q^{n - k} = \sum_{k = 1}^{n} \frac{n !}{( k - 1 )! ( n - k )!} p^{k} q^{n - k} = n p \sum_{k = 1}^{n - 1} \frac{( n - 1 )!}{k ! ( n - k )!} p^{k - 1} q^{n - k} = n p \sum_{k - 1 = 0}^{n - 1} C_{n - 1}^{k - 1} p^{k - 1} q^{n - k} = n p$

（因为根据莱布尼兹公式 $(p + q)^{n} = \sum_{k = 0}^{n} C_{n}^{k} p^{k} q^{n - k}$ ，而 $\sum_{k - 1 = 0}^{n - 1} C_{n - 1}^{k - 1} p^{k - 1} q^{n - k} = (p + q)^{n - 1} = 1^{n - 1}$ ）

泊松分布

泊松分布： $X \sim P o i (λ)$ ， $P (X = k) = \frac{λ ^{k}}{k !} e^{- λ}, λ > 0, k = 0, 1, 2, \dots$

$E (X) = λ$ ， $D (X) = λ$

$E (X) = \sum_{k = 0}^{\infty} k \frac{λ ^{k}}{k !} e^{- λ} = \sum_{k = 1}^{\infty} \frac{λ ^{k}}{( k - 1 )!} e^{- λ} = λ \sum_{k = 1}^{\infty} \frac{λ ^{k - 1}}{( k - 1 )!} e^{- λ} = λ \sum_{m = 0}^{\infty} \frac{λ ^{m}}{m !} e^{- λ} = λ$

（因为 $\frac{λ ^{m}}{m !} e^{- λ}$ 是一个泊松分布，它的概率之和为1）

$E (X^{2}) = \sum_{k = 0}^{\infty} k^{2} \frac{λ ^{k}}{k !} e^{- λ} = \sum_{k = 1}^{\infty} (k - 1 + 1) \frac{λ ^{k}}{( k - 1 )!} e^{- λ} = \sum_{k = 1}^{\infty} \frac{( k - 1 ) λ ^{k}}{( k - 1 )!} e^{- λ} + λ \sum_{k = 1}^{\infty} \frac{λ ^{k - 1}}{( k - 1 )!} e^{- λ} = λ^{2} \sum_{k = 2}^{\infty} \frac{λ ^{k - 2}}{( k - 2 )!} e^{- λ} + λ = λ^{2} + λ$

$D (X) = E (X^{2}) - [E (X)]^{2} = λ$

超几何分布

超几何分布： $P (X = k) = \frac{C _{M}^{k} \cdot C _{N - M}^{n - k}}{C _{N}^{n}}, k = 0, 1, 2, \dots, l, l = min (M, n)$

$E (X) = \frac{n M}{N}$ ， $D (X) = \frac{n M}{N} (1 - \frac{M}{N}) (\frac{N - n}{N - 1})$

几何分布

几何分布： $P (X = k) = q^{k - 1} p = (1 - p)^{k - 1} p, k = 1, 2, 3, \dots$

$E (X) = \frac{1}{p}$ ， $D (X) = \frac{q}{p ^{2}} = \frac{1 - p}{p ^{2}}$

先回顾级数求和：

$\sum_{k = 1}^{\infty} k x^{k - 1} = (\sum_{k = 1}^{\infty} x^{k})^{'} = (\frac{x}{1 - x})^{'} = \frac{1}{( 1 - x ) ^{2}}$ ， $∣ x ∣ < 1$

$\sum_{k = 1}^{\infty} k^{2} x^{k - 1} = \sum_{k = 1}^{\infty} k \cdot k x^{k - 1} = (\sum_{k = 1}^{\infty} k x^{k})^{'} = (x \sum_{k = 1}^{\infty} k x^{k - 1})^{'} = (\frac{x}{( 1 - x ) ^{2}})^{'} = \frac{1 + x}{( 1 - x ) ^{3}}$ ， $∣ x ∣ < 1$

由于概率 $p < 1$ ，所以可以用上面结论

$E (X) = \sum_{k = 1}^{\infty} k (1 - p)^{k - 1} p = p \sum_{k = 1}^{\infty} k (1 - p)^{k - 1} = p \frac{1}{p ^{2}} = \frac{1}{p}$

$E (X^{2}) = \sum_{k = 1}^{\infty} k^{2} (1 - p)^{k - 1} p = p \sum_{k = 1}^{\infty} k^{2} (1 - p)^{k - 1} = p \frac{2 - p}{p ^{3}} = \frac{2 - p}{p ^{2}}$

$D (X) = E (X^{2}) - [E (X)]^{2} = \frac{2 - p}{p ^{2}} - (\frac{1}{p})^{2} = \frac{1 - p}{p ^{2}}$

均匀分布

均匀分布： $X \sim U [a, b]$ ， $f (x) = \frac{1}{b - a}$ ， $x \in [a, b]$

$E (X) = \frac{a + b}{2}$ ， $D (X) = \frac{( b - a ) ^{2}}{12}$

指数分布

$X \sim ϵ (λ)$ ， $f (x) = λ e^{- λ x}$ ， $x \geq 0$

$E (X) = \frac{1}{λ}$ ， $D (X) = \frac{1}{λ ^{2}}$

正态分布

$X \sim N (μ, σ^{2})$ ， $f (x) = \frac{1}{2 π σ} e^{- \frac{( x - μ ) ^{2}}{2 σ ^{2}}}$

$E (X) = μ$ ， $D (X) = σ^{2}$

前面提到过， $\frac{X - μ}{σ} \sim N (0, 1)$ ，即一般的正态分布减去期望再除以标准差后，可以转换成标准正态分布再查表。

（四）二维随机变量的数字特征

协方差

对于随机变量 $X$ 与 $Y$ ，称它们的二阶混合中心矩 $μ_{11}$ 为 $X$ 与 $Y$ 的协方差或相关矩，记为 $σ_{X Y}$ 或 $cov (X, Y)$ ，即

$cov (X, Y) = σ_{X Y} = μ_{11} = E {[X - E (X)] [Y - E (Y)]}$

与记号 $σ_{X Y}$ 相对应， $X$ 与 $Y$ 的方差 $D (X)$ 与 $D (Y)$ 也可分别记为 $σ_{XX}$ 与 $σ_{YY}$ 。

协方差有以下性质：

（1） $cov (X, Y) = cov (Y, X)$ .

（2） $cov (a X, bY) = ab cov (X, Y)$ .

（3） $cov (X_{1} + X_{2}, Y) = cov (X_{1}, Y) + cov (X_{2}, Y)$ .

（4） $cov (X, Y) = E (X Y) - E (X) E (Y)$ .

原点矩和中心矩

原点矩

对于正整数 $k$ ，称随机变量 $X$ 的 $k$ 次幂的数学期望为 $X$ 的 $k$ 阶原点矩，记为 $v_{k}$ ，即 $v_{k} = E (X^{k})$ ， $k =, 1, 2, \dots$ ，于是有：

$v_{k} = {\sum_{i} x_{i}^{k} p_{i} \int_{- \infty}^{+ \infty} x^{k} p (x) d x, 当 X 为离散型, 当 X 为连续型$

中心矩

对于正整数 $k$ ，称随机变量 $X$ 与 $E (X)$ 差的 $k$ 次幂的数学期望为 $X$ 的 $k$ 阶中心矩，记为 $μ_{k}$ ，即 $μ_{k} = E {[X - E (X)]^{k}}$ ， $k = 1, 2, \dots$ ，于是有：

$μ_{k} = {\sum_{i} [x_{i} - E (X)]^{k} p_{i} \int_{- \infty}^{+ \infty} [x - E (X)]^{k} p (x) d x, 当 X 为离散型, 当 X 为连续型$

混合原点矩

对于随机变量 $X$ 与 $Y$ ，如果有 $E (X^{k} Y^{l})$ 存在，则称之为 $X$ 与 $Y$ 的 $k + l$ 阶混合原点矩，记为 $v_{k l}$ ，即 $v_{k l} = E {[X - E (X)]^{k} [Y - E (Y)]^{l}}$ .

五、大数定律和中心极限定理

（一）切比雪夫不等式

设随机变量 $X$ 具有数学期望 $E (X) = μ$ ，方差 $D (X) = σ^{2}$ ，则对于任意正数 $ϵ$ ，有下列切比雪夫不等式

$P (∣ X - μ ∣ \geq ϵ) \leq \frac{σ ^{2}}{ϵ ^{2}}$

或写成

$P (∣ X - μ ∣ \leq ϵ) \leq 1 - \frac{σ ^{2}}{ϵ ^{2}}$

切比雪夫不等式给出了在未知 $X$ 的分布的情况下，对变量 $X$ 落在期望的某个邻域外面的概率估计。

证明：

对于连续型，设 $x$ 的分布密度为 $f (x)$

$P (∣ X - E (X) ∣ \geq ϵ) = ∣ X - E (X) ∣ \geq ϵ \int f (x) d x$

由于在积分区域上， $∣ X - E (X) ∣ \geq ϵ$ ，两边平方去绝对值，得 $[X - E (X)]^{2} \geq ϵ^{2}$ ，即 $\frac{[ X - E ( X ) ] ^{2}}{ϵ ^{2}} \geq 1$ ；由于被积函数大于等于0，还可以对积分区域进行放大

$∴ ∣ X - E (X) ∣ \geq ϵ \int f (x) d x \leq ∣ X - E (X) ∣ \geq ϵ \int \frac{[ X - E ( X ) ] ^{2}}{ϵ ^{2}} f (x) d x \leq \int_{- \infty}^{+ \infty} \frac{[ X - E ( X ) ] ^{2}}{ϵ ^{2}} f (x) d x = \frac{1}{ϵ ^{2}} \int_{- \infty}^{+ \infty} [X - E (X)]^{2} f (x) d x = \frac{D ( X )}{ϵ ^{2}}$ .

（二）大数定律

切比雪夫大数定律

（要求方差有界）

设随机变量 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 相互独立（实际上不相关就行，而且不要求同分布），数学期望存在，均具有有限方差且被同一常数 $C$ 所界（即方差有界， $D (X_{i}) < C$ ， $i = 1, 2, \dots$ ），则对于任意的正数 $ϵ$ ，有：

$n \to \infty lim P (∣ \frac{1}{n} i = 1 \sum n X_{i} - \frac{1}{n} i = 1 \sum n E (X_{i}) ∣ < ϵ) = 1$

证明：

对于事件 $\frac{1}{n} \sum_{i = 1}^{n} X_{i}$ ，先求出其期望和方差

$E (\frac{1}{n} \sum_{i = 1}^{n} X_{i}) = \frac{1}{n} \sum_{i = 1}^{n} E (X_{i})$ ， $∵$ 不相关， $∴ D (\frac{1}{n} \sum_{i = 1}^{n} X_{i}) = \frac{1}{n ^{2}} \sum_{i = 1}^{n} D (X_{i}) \leq \frac{n C}{n ^{2}} = \frac{C}{n}$

根据切比雪夫不等式， $P {∣ \frac{1}{n} \sum_{i = 1}^{n} X_{i} - \frac{1}{n} \sum_{i = 1}^{n} E (X_{i}) ∣ < ϵ} \geq 1 - \frac{D ( \frac{1}{n} \sum _{i = 1}^{n} )}{ϵ ^{2}} \geq 1 - \frac{C}{n ϵ ^{2}}$

当 $n \to \infty$ 时，上式右边为1，再由于概率小于等于1，所以上式就等于1.

特别地，如果 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 具有相同的数学期望 $μ$ ，则上式变为

$n \to \infty lim P (∣ \frac{1}{n} i = 1 \sum n X_{i} - μ ∣ < ϵ) = 1$

或简写成

$n \to \infty lim P (∣ \overline{X} - μ ∣ < ϵ) = 1$

切比雪夫大数定律指出， $n$ 个相互独立，且具有有限的相同的数学期望和方差的随机变量，当 $n$ 很大时，它们的算术平均以很大的概率接近它们的数学期望。（即可以用均值逼近期望）

伯努利大数定律

设 $μ$ 是 $n$ 次独立试验中事件 $A$ 发生的次数， $p$ 是事件 $A$ 在每次试验中发生的概率，则对于任意的正数 $ϵ$ ，有

$n \to \infty lim P (∣ \frac{μ}{n} - p ∣ < ϵ) = 1$

$μ$ 是事件发生的次数，那么 $\frac{μ}{n}$ 就是事件发生的频率，对于只有发生和不发生的事件，一般用的是二项分布。

证明：

若 $m_{n} \sim B (n, p)$ ，则 $E (\frac{m _{n}}{n}) = \frac{1}{n} E (m_{n}) = \frac{n p}{n} = p$ ， $D (\frac{m _{n}}{n}) = \frac{n p ( 1 - p )}{n ^{2}} = \frac{p ( 1 - p )}{n}$

根据切比雪夫不等式， $P {∣ \frac{m _{n}}{n} - p ∣ < ϵ} \geq 1 - \frac{\frac{p ( 1 - p )}{n}}{ϵ ^{2}} = 1 - \frac{p ( 1 - p )}{n ϵ ^{2}}$

当 $n \to \infty$ 时，上式右边为1，再由于概率小于等于1，所以上式就等于1.

我们一般把 $n \to \infty lim P {∣ X_{n} - a ∣ < ϵ} = 1$ 叫概率收敛。和收敛不同，概率收敛允许有少数点不落在 $a$ 的大小为 $ϵ$ 的对称邻域内。

伯努利大数定律还可以写成：

$n \to \infty lim P (∣ \frac{μ}{n} - p ∣ \geq ϵ) = 0$

伯努利大数定律说明，当试验的次数 $n$ 很大时，事件 $A$ 发生的频率与概率有较大区别的可能性很小。（即可以用频率逼近概率）

频率：试验统计的值。概率：理论值。

若 $X_{i} = 1$ 代表发生， $X_{i} = 0$ 代表不发生，那么 $\sum X_{i}$ 可以表示事件发生的次数，此时 $X_{i}$ 是0-1分布，而0-1分布的期望是 $p$ ，把上述变量代入伯努利大数定律，也可以得到切比雪夫大数定律。

辛钦大数定律

（不要求方差存在）

设随机变量 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 、 $X_{n}$ 、 $\dots$ 是相互独立同分布的随机变量序列，且 $E (X_{1}) = \dots = E (X_{n}) = \dots = μ$ ，则对于任意的正数 $ϵ$ ，有

$n \to \infty lim P (∣ \frac{1}{n} i = 1 \sum n X_{i} - μ ∣ < ϵ) = 1$

辛钦大数定律看似与切比雪夫大数定律相同，但是它们的条件不同：

切比雪夫大数定律不要求同分布，但是要求变量独立，且期望、方差都存在且有界；

而辛钦大数定律要求独立、同分布，且期望存在并相等，但不要求方差存在。

（三）中心极限定理

列维－林德伯格定理

设随机变量 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 相互独立，服从同一分布，且具有相同的数学期望和方差， $E (X_{k}) = μ$ ， $D (X_{k}) = σ^{2} \neq = 0$ ，则随机变量 $Y_{n} = \frac{\sum _{k = 1}^{n} X _{k} - n μ}{n σ}$ 的分布函数 $F_{n} (x)$ 对任意的实数 $x$ ，有

$n \to \infty lim F_{n} (x) = n \to \infty lim P (\frac{\sum _{k = 1}^{n} X _{k} - n μ}{n σ} \leq x) = \frac{1}{2 π} \int_{- \infty}^{x} e^{- \frac{t ^{2}}{2}} d t$

或简写成 $\frac{X - μ}{σ / n} n \to \infty ⟶ N (0, 1)$

对于具有相同期望 $μ$ 和相同方差 $σ$ 的一系列事件 $X_{k}$ ，它的和 $\sum_{k = 1}^{n} X_{k}$ 的期望 $E (\sum_{k = 1}^{n} X_{k}) = n E (X) = n μ$ ，方差 $D (\sum_{k = 1}^{n} X_{k}) = n D (X) = n σ^{2}$

对于一个事件减去期望再除以标准差，其实这是一个对一般正态分布进行标准化的过程。换而言之，事件的和 $\sum_{k = 1}^{n} X_{k}$ （ $n \to \infty$ ）满足一般正态分布，而为了研究它的概率，一般先对其进行标准化之后，再查标准正态分布的表。

此定理也称为独立同分布的中心极限定理。

例：假设有100名顾客，每位顾客的消费金额相互独立且满足在 $[0, 60]$ 上的均匀分布，问日销售额超过3500元的概率是多少？

解：设 $X_{i}$ 为第 $i$ 位顾客的消费金额，则 $E (X_{i}) = \frac{b - a}{2} = 30$ ， $D (X_{i}) = \frac{( b - a ) ^{2}}{12} = 300$

根据独立同分布的中心极限定理， $\sum_{i = 1}^{100} X_{i}$ 满足一般的正态分布，要求出它超过3500的概率，先对其进行标准化，即 $\frac{\sum _{i = 1}^{100} X _{i} - 3000}{10 300} \sim N (0, 1)$

$P (\sum_{i = 1}^{100} x_{i} > 3500) = 1 - P (\sum_{i = 1}^{100} x_{i} \leq 3500) = 1 - P (\frac{\sum _{i = 1}^{100} x _{i} - 3000}{10 300} \leq \frac{3500 - 3000}{10 300}) = 1 - Φ_{0} (2.887)$

棣莫弗－拉普拉斯定理(DeMoivre-Laplace中心极限定理)

设随机变量 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 均为具有参数 $n$ 、 $p$ 的二项分布，则对于任意实数 $x$ ，有

$n \to \infty lim P (\frac{X _{n} - n p}{n p ( 1 - p )} \leq x) = \frac{1}{2 π} \int_{- \infty}^{x} e^{- \frac{t ^{2}}{2}} d t$

若 $X_{i} = 1$ 表示事件发生， $X_{i} = 0$ 表示事件不发生，这时 $X_{i}$ 是0-1分布，那么 $\sum X_{i}$ 可以表示事件发生的次数，而0-1分布的标准差为 $p (1 - p)$ ，代入列维－林德伯格定理，就可以得到上式。

棣莫弗－拉普拉斯定理说明了，当 $n$ 很大时，二项分布可以用正态分布近似（但是要先进行标准化才能查表）。

例：求二项分布的值 $P (X = 88) = C_{10000}^{88} 0.00 5^{88} 0.99 5^{9912}$

解： $n = 10000$ ， $p = 0.005$

由于定理只能求小于某个数的概率，是一个区间，所以 $X = 88$ 的概率可以用从 $X = 77.5$ 到 $88.5$ 之间的概率近似

特别地， $P (X = k) = P (k - \frac{1}{2} < X < k + \frac{1}{2}) = P (\frac{k - \frac{1}{2} - n p}{n p ( 1 - p )} < \frac{X - n p}{n p ( 1 - p )} < \frac{k + \frac{1}{2} - n p}{n p ( 1 - p )}) = Φ_{0} (\frac{k + \frac{1}{2} - n p}{n p ( 1 - p )}) - Φ_{0} (\frac{k - \frac{1}{2} - n p}{n p ( 1 - p )})$ .

（四）二项定理和泊松定理

二项定理

若当 $N \to \infty$ 时， $\frac{M}{N} \to p$ （ $n, k$ 不变），则

$\frac{C _{M}^{k} C _{N - M}^{n - k}}{C _{N}^{n}} \to C_{n}^{k} p^{k} (1 - p)^{n - k}$

证明：

$\frac{C _{M}^{k} C _{N - M}^{n - k}}{C _{N}^{n}} = \frac{M !}{k ! ( M - k )!} \frac{( N - M )!}{( N - k )! ( N - M - n + k )!} \frac{n ! ( N - n )!}{N !} = \frac{M ( M - 1 ) \dots ( M - k + 1 )}{N \dots N} \frac{( N - M ) \dots [ N - M - ( n - k ) + 1 ]}{N \dots N} \frac{n !}{k ! ( n - k )!} \frac{N \dots N}{N ( N - 1 ) \dots ( N - n + 1 )}$

其中， $lim_{N \to + \infty} \frac{M ( M - 1 ) \dots ( M - k + 1 )}{N \dots N} = p^{k}$ ， $lim_{N \to + \infty} \frac{( N - M ) \dots [ N - M - ( n - k ) + 1 ]}{N \dots N} = (1 - p)^{n - k}$ ， $lim_{N \to + \infty} \frac{N \dots N}{N ( N - 1 ) \dots ( N - n + 1 )} = 1$

$∴ lim_{N \to + \infty} \frac{C _{M}^{k} C _{N - M}^{N - k}}{C _{N}^{n}} = C_{n}^{k} p^{k} (1 - p)^{n - k}$

即超几何分布的极限分布为二项分布。

泊松定理

若当 $n \to \infty$ 时， $n p \to λ > 0$ ，则

$C_{n}^{k} p^{k} (1 - p)^{n - k} \to \frac{λ ^{k}}{k !} e^{- λ}, k = 0, 1, 2, \dots$

证明在前面“常见分布”中。

六、数理统计

（一）总体、个体和样本

总体和样本

在数理统计中，常把被考察对象的某一个或多个指标的全体称为总体（或母体），而把总体总的每一个单元称为样本（或个体）。在以后的讨论中，我们总是把总体看成一个具有分布的随机变量（或随机向量）。

样本函数与统计量

设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为总体的一个样本，称

$φ = φ (x_{1}, x_{2}, \dots, x_{n})$

为样本函数，其中 $φ$ 为一个连续函数。

如果 $φ$ 中不包含任何未知参数，则称 $φ (x_{1}, x_{2}, \dots, x_{n})$ 为一个统计量。（统计量：不包含未知参数的函数）

（二）常用统计量

样本均值： $\overline{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$ .

样本方差： $S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overline{X})^{2}$ .（和概率论中方差的定义不同）

样本标准差： $S = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overline{X})^{2}$ .

样本 $k$ 阶原点矩： $M_{k} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k}$ ， $k = 1, 2, \dots$ .

样本 $k$ 阶中心矩： $M_{k}^{'} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overline{X})^{k}$ ， $k = 1, 2, \dots$ .

其中二阶中心矩： $S *^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overline{X})^{2}$ （与概率论中方差定义相同）

统计量的期望和方差： $E (\overline{X}) = μ$ ， $D (\overline{X}) = \frac{σ ^{2}}{n}$ ， $E (S^{2}) = σ$ ， $E (S *^{2}) = \frac{n - 1}{n} σ^{2}$ .

（三）三个抽样分布

上 $α$ 分位数

比如 $χ_{0.05}^{2} (10) = 18.3$ ，其中 $χ^{2}$ 表示卡方分布， $10$ 是它的自由度，而 $0.05$ 指的是卡方分布图像在某一点右侧的面积是 $0.05$ ，而这个点找出来后是 $18.3$ .

也可以写成 $P (χ^{2} > χ_{α}^{2} (n)) = α$ ，比如 $P (χ^{2} > 18.3) = 0.05$ .

$χ^{2}$ 分布(卡方分布)

（ $\sum_{i = 1}^{n} [N (0, 1)]^{2} \sim χ^{2} (n)$ ）

（卡方分布之和仍为卡方分布，且自由度等于原自由度相加）

设 $n$ 个随机变量 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 、 $X_{n}$ 相互独立，且服从标准正态分布，可以证明，它们的平方和 $W = \sum_{i = 1}^{n} X_{i}^{2}$ 的分布密度为

$f (u) = {\frac{1}{2 ^{\frac{n}{2}} Γ ( \frac{n}{2} )} u^{\frac{n}{2} - 1} e^{- \frac{u}{2}} 0, u \geq 0, u < 0$

这是我们称随机变量 $W$ 服从自由度为 $n$ 的 $χ^{2}$ 分布，记为 $W \sim χ^{2} (n)$ ，其中 $Γ (\frac{n}{2}) = \int_{0}^{+ \infty} x^{\frac{n}{2} - 1} e^{- x} d x$ .

所谓自由度是指独立正态随机变量的个数，它是随机变量分布中的一个重要参数。

$χ^{2}$ 分布满足可加性：设 $Y_{i} \sim χ^{2} (n_{i})$ ，则 $Z = \sum_{i = 1}^{k} Y_{i} \sim χ^{2} (n_{1} + n_{2} + \dots + n_{k})$ .

$χ^{2}$ 分布的期望和方差： $E (χ^{2}) = n$ ， $D (χ^{2}) = 2 n$

例：设 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 、 $X_{6} \sim N (0, 2^{2})$ ，求 $P (\sum_{i = 1}^{6} X_{i}^{2} > 6.54)$

解：先标准化， $\frac{X _{i} - 0}{2} \sim N (0, 1)$ ， $∴ \sum_{i = 1}^{6} (\frac{X _{i}}{2})^{2} \sim χ^{2} (6)$

$P (\frac{\sum _{i = 1}^{6} X _{i}^{2}}{4} > \frac{6.54}{4}) = P (χ^{2} (6) > 1.635)$ ，然后查表。

图像（ $n > 2$ 时，峰值在 $n - 2$ 处， $n$ 越大峰值越靠右）：

t分布

（ $\frac{N ( 0 , 1 )}{χ ^{2} ( n ) / n} \sim t (n)$ ）

设 $X$ 、 $Y$ 是两个相互独立的随机变量。且 $X \sim N (0, 1)$ ， $Y \sim χ^{2} (n)$ ，可以证明，函数 $T = \frac{X}{Y / n}$ 的概率密度为

$f (t) = \frac{Γ ( \frac{n + 1}{2} )}{nπ Γ ( \frac{n}{2} )} (1 + \frac{t ^{2}}{n})^{- \frac{n + 1}{2}}, - \infty < t < + \infty$

我们称随机变量 $T$ 服从自由度为 $n$ 的 $t$ 分布，记为 $T \sim t (n)$ .

$t$ 分布的期望和方差： $E (T) = 0$ ， $D (T) = \frac{n}{n - 2}$ （ $n > 2$ ）

$t$ 分布的图像是对称的， $t_{1 - α} (n) = - t_{α} (n)$ .（这里是上 $α$ 分位数的写法）

F分布

（ $\frac{χ ^{2} ( n _{1} ) / n _{1}}{χ ^{2} ( n _{2} ) / n _{2}} \sim F (n_{1}, n_{2})$ ）

设 $X \sim χ^{2} (n_{1})$ ， $Y \sim χ^{2} (n_{2})$ ，且 $X$ 与 $Y$ 独立，可以证明， $F = \frac{X / n _{1}}{Y / n _{2}}$ 的概率密度函数为

$f (y) = {\frac{Γ ( \frac{n _{1} + n _{2}}{2} )}{Γ ( \frac{n _{1}}{2} ) Γ ( \frac{n _{2}}{2} )} (\frac{n _{1}}{n _{2}})^{\frac{n _{1}}{2}} y^{\frac{n _{1}}{2} - 1} (1 + \frac{n _{1}}{n _{2}} y)^{- \frac{n _{1} + n _{2}}{2}} 0, x > 0, x \leq 0$

我们称随机变量 $F$ 服从第一个自由度为 $n_{1}$ ，第二个自由度为 $n_{2}$ 的 $F$ 分布，记为 $F \sim f (n_{1}, n_{2})$

几个常用的公式

正态分布 $μ_{1 - α} = - μ_{α}$ .

$t_{1 - α} (n) = - t_{α} (n)$ .

$F_{1 - α} (n_{1}, n_{2}) = \frac{1}{F _{α} ( n _{2} , n _{1} )}$ .

$1 - α = P (F > F_{- α} (n_{1}, n_{2})) = P (\frac{1}{F} < \frac{1}{F _{1 - α} ( n _{1} , n _{2} )}) = 1 - P (\frac{1}{F} \geq \frac{1}{F _{1 - α} ( n _{1} , n _{2} )})$

$P (\frac{1}{F} > \frac{1}{F _{1 - α} ( n _{1} , n _{2} )}) = α$ ， $F_{α} (n_{2}, n_{1}) = \frac{1}{F _{1 - α} ( n _{1} , n _{2} )}$

（四）正态总体下统计量的分布和性质

注意一个定理： $\overline{X}$ 与 $S^{2}$ 独立

正态分布

设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为来自正态分布总体 $N (μ, σ^{2})$ 的一个样本，则样本函数

$u = def \frac{X - μ}{σ / n} \sim N (0, 1)$

相互独立的正态分布相加减仍是正态分布（比如 $X \sim N (a, b)$ ， $Y \sim N (c, d)$ ，则 $X - 3 Y \sim N (a - 3 c, b + 9 d)$ ，加减后可以利用 $E$ 和 $D$ 的性质求参数），乘以常数 $\frac{1}{n}$ 后也还是正态分布，这时 $\frac{1}{n} \sum_{i = 1}^{n} x_{i}$ 可以叫做样本均值

$E (\overline{x}) = E (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) = \frac{1}{n} \sum_{i = 1}^{n} E (x_{i}) = \frac{1}{n} n μ = μ$

$D (\overline{x}) = D (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) = \frac{1}{n ^{2}} \sum_{i = 1}^{n} D (x_{i}) = \frac{1}{n ^{2}} n σ^{2} = \frac{σ}{n}$ ，上面的过程其实就是将它标准化，使它满足标准正态分布。

$χ^{2}$ 分布

设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为来自正态分布总体 $N (μ, σ^{2})$ 的一个样本，则样本函数

$w = def \frac{( n - 1 ) S ^{2}}{σ ^{2}} = i = 1 \sum n \frac{( x _{i} - X ) ^{2}}{σ ^{2}} \sim χ^{2} (n - 1)$

其中 $χ^{2} (n - 1)$ 表示自由度为 $n - 1$ 的 $χ^{2}$ 分布。

其中 $S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \overline{X})^{2}$

特别地，如果已知样本的期望，则

$i = 1 \sum n \frac{( x _{i} - μ ) ^{2}}{σ ^{2}} \sim χ^{2} (n)$

此时满足的是自由度为 $n$ 的 $χ^{2}$ 分布。

这个式子可以用“标准正态分布之和是 $χ^{2}$ 分布”的定理直接得到。

如果令 $S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \overline{X})^{2}$ 中的 $\overline{X} = μ$ ，即添加 $μ = \frac{1}{n} \sum_{i = 1}^{n} x_{i}$ 的约束条件，这时 $\sum_{i = 1}^{n} (x_{i} - μ)^{2} = (n - 1) S^{2}$ ，代入可得前面的公式，而且也解释了为什么自由度会少1（因为添加了1个约束条件）。

t分布

设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为来自正态分布总体 $N (μ, σ^{2})$ 的一个样本，则样本函数

$t = def \frac{X - μ}{S / n} \sim t (n - 1)$

其中 $t (n - 1)$ 表示自由度为 $n - 1$ 的 $t$ 分布。

这个式子可以用前面样本均值的正态分布和 $χ^{2}$ 分布，通过 $t$ 分布的构造公式 $\frac{N ( 0 , 1 )}{χ ^{2} ( n ) / n} \sim t (n)$ 得到： $\frac{\frac{X - μ}{σ / n}}{\frac{( n - 1 ) S ^{2}}{σ ^{2}} / ( n - 1 )} = \frac{σ \frac{X - μ}{σ}}{S n} = \frac{X - μ}{S / n}$ .

F分布

设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为来自正态分布总体 $N (μ, σ_{1}^{2})$ 的一个样本，而 $y_{1}$ 、 $y_{2}$ 、 $\dots$ 、 $y_{n}$ 为来自正态分布总体 $N (μ, σ_{2}^{2})$ 的一个样本，则样本函数

$F = def \frac{S _{1}^{2} / σ _{1}^{2}}{S _{2}^{2} / σ _{2}^{2}} \sim F (n_{1} - 1, n_{2} - 1)$

其中 $S_{1}^{2} = \frac{1}{n _{1} - 1} \sum_{i = 1}^{n} (x_{i} - \overline{X})^{2}$ ， $S_{2}^{2} = \frac{1}{n _{2} - 1} \sum_{i = 1}^{n} (x_{i} - \overline{X})^{2}$ ； $F (n_{1} - 1, n_{2} - 1)$ 表示第一个自由度为 $n_{1} - 1$ ，第二个自由度为 $n_{2} - 1$ 的 $F$ 分布。

例：若 $X_{1}$ 、 $X_{2}$ 、 $\dots$ 、 $X_{n + 1}$ 为 $X \sim N (μ, σ^{2})$ 的样本， $\overline{X_{n}}$ 、 $S_{n}^{2}$ 是 $(X_{1}, X_{2}, \dots, X_{n})$ 的期望和方差，问 $\frac{X _{n + 1} - X}{S _{n}} \frac{n}{n + 1}$ 的分布

解： $\overline{X} \sim N (μ, \frac{σ ^{2}}{n})$ ， $X_{n + 1} \sim N (μ . σ^{2})$

$∴ X_{n + 1} - \overline{X} \sim N (0, (1 + \frac{1}{n}) σ^{2})$ ，将其标准化，即 $\frac{X _{n + 1} - X}{σ \frac{n + 1}{n}} \sim N (0, 1)$

观察上式和题目，差了一个 $S_{n}$ ，而正态总体下的 $χ^{2}$ 分布（ $\frac{( n - 1 ) S _{n}^{2}}{σ ^{2}} \sim χ^{2} (n - 1)$ ）会出现 $S_{n}$ ，要使 $S_{n}$ 出现在分母，要让两式相除再分母开根号，这时用 $t$ 分布的构造式 $\frac{N ( 0 , 1 )}{χ ^{2} ( n ) / n} \sim t (n)$ 比较合理

$\frac{\frac{X _{n + 1} - X}{σ \frac{n + 1}{n}}}{\frac{( n - 1 ) S _{n}^{2}}{σ ^{2}} / ( n - 1 )} = \frac{X _{n + 1} - X}{S _{n}} \frac{n}{n + 1} \sim t (n - 1)$ .

七、参数估计

参数估计的意义是，如果知道样本值（也即试验值），而且知道服从什么分布，但是分布中的参数不知道，那么可以用样本值通过某些方法计算出这些参数。实际上不仅分布中的未知参数可以通过样本进行估计，总体的期望、方差等也可以通过样本进行估计。

（一）点估计

矩法

所谓矩法就是利用样本各阶原点矩与相应的总体矩，来立估计量应满足的方程，从而求得未知参数估计量的方法。

设总体 $X$ 的分布中含有未知数 $θ_{1}$ 、 $θ_{2}$ 、 $\dots$ 、 $θ_{m}$ ，则其分布函数可以表示成 $F (x; θ_{1}, θ_{2}, \dots, θ_{m})$ ，它的 $k$ 阶原点矩 $v_{k} = E (X^{k})$ （ $k = 1, 2, \dots, m$ ）中包含了未知参数 $θ_{1}$ 、 $θ_{2}$ 、 $\dots$ 、 $θ_{m}$ ，即 $v_{k} = v_{k} (θ_{1}, θ_{2}, \dots, θ_{m})$ 。又设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为总体 $X$ 的 $n$ 个样本值，其样本的 $k$ 阶原点矩为 $\overset{v}{^}_{k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{k}$ （ $k = 1, 2, \dots, m$ ），这样，我们按照“当参数等于其估计量时，总体矩等于相应的样本矩”的原则建立方程，则有

$⎩ ⎨ ⎧ v_{1} = (\hat{θ}_{1}, \hat{θ}_{2}, \dots, \hat{θ}_{m}) = \frac{1}{n} \sum_{i = 1}^{n} x_{i} v_{2} = (\hat{θ}_{1}, \hat{θ}_{2}, \dots, \hat{θ}_{m}) = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2} \dots v_{m} = (\hat{θ}_{1}, \hat{θ}_{2}, \dots, \hat{θ}_{m}) = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{m}$

由上面的 $m$ 个方程，解出的 $m$ 个未知参数 $(\hat{θ}_{1}, \hat{θ}_{2}, \dots, \hat{θ}_{m})$ 即为 $(θ_{1}, θ_{2}, \dots, θ_{m})$ 的矩估计量。

例：对于正态分布 $X \sim N (μ, σ^{2})$ ， $(X_{1}, X_{2} \dots, X_{n})$ 是其样本，计算 $μ$ 、 $σ^{2}$ 的矩估计。

解：

（先通过已知的公式得出总体各阶矩的形式，然后加个 $^$ 变成估计量，这个估计量可以用样本的各阶矩来表示）

（符号说明：其中 $A_{2}$ 是样本的二阶原点矩， $B_{2}$ 是样本的二阶中心矩）

总体的一阶矩 $E (X) = μ$ ，样本的一阶矩 $\overline{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$

用样本的一阶矩估计出总体的一阶矩： $\overset{μ}{^} = \overline{X}$

总体的二阶矩（根据方差公式） $E (X^{2}) = D (X) + [E (X)]^{2} = σ^{2} + μ^{2}$ ，样本的二阶矩 $A_{2} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2}$

用样本的二阶矩估计出总体的二阶矩： $\overset{σ}{^}^{2} + \overset{μ}{^}^{2} = A_{2}$

$∴ \overset{σ}{^}^{2} = A_{2} - \overset{μ}{^}^{2} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - \overline{X}^{2} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - 2 \overline{X}^{2} + \overline{X}^{2} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - 2 \overline{X} \cdot \frac{1}{n} \sum_{i = 1}^{n} X_{i} + \frac{1}{n} \cdot n \overline{X}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i}^{2} - 2 X_{i} \overline{X} + \overline{X}^{2}) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overline{X})^{2} = B_{2}$

即对于正态分布，期望的估计量都等于样本的一阶原点矩，方差的估计量都等于样本的二阶中心矩。（实际上对于所有分布都成立）

对于泊松分布来说， $E (X) = D (X) = λ$ ，但是用矩估计出来的 $A_{1}$ 、 $B_{2}$ 不一样，这时要选用哪个估计，就要用后面的“估计量的评选标准”来确定。（实际上选 $A_{1}$ 会让计算更方便，所以一般都用 $A_{1}$ ）

最大似然法

所谓最大似然法就是当我们用样本的函数值估计总体参数时，应使得当参数取这些值时，所观测到的样本出现的概率为最大。

比如袋子里有黑白两种球共100个，一种是99个另一种是1个，随机抽出来1个如果是黑球，就说明黑球很可能是99个，即概率大的最有可能发生。

即，如果（相互独立的）事件已经发生了，那么它们同时发生的概率应当很大，也就是要让它们的密度函数相乘（即联合分布密度）取得最大值。

当总体 $X$ 为连续型随机变量时，设其分布密度为 $f (x; θ_{1}, θ_{2}, \dots, θ_{m})$ ，其中 $θ_{1}$ 、 $θ_{2}$ 、 $\dots$ 、 $θ_{m}$ 为未知参数。又设 $x_{1}$ 、 $x_{2}$ 、 $\dots$ 、 $x_{n}$ 为总体 $X$ 的一组样本，则称

$L_{n} (θ_{1}, θ_{2}, \dots, θ_{m}) = i = 1 \prod n f (x_{i}; θ_{1}, θ_{2}, \dots, θ_{m})$

为样本的似然函数，简记为 $L_{n}$ .

当总体 $X$ 为离散型随机变量时，设其分布律为 $P {X = x} = p (x; θ_{1}, θ_{2}, \dots, θ_{m})$ ，则它的似然函数为

$L_{n} (x_{1}, x_{2}, \dots, x_{n}; θ_{1}, θ_{2}, \dots, θ_{m}) = i = 1 \prod n f (x_{i}; θ_{1}, θ_{2}, \dots, θ_{m})$

若似然函数 $L_{n} (x_{1}, x_{2}, \dots, x_{n}; θ_{1}, θ_{2}, \dots, θ_{m})$ 在 $\hat{θ}_{1}, \hat{θ}_{2}, \dots, \hat{θ}_{m}$ 处取得最大值，则称 $\hat{θ}_{1}, \hat{θ}_{2}, \dots, \hat{θ}_{m}$ 分别为 $θ_{1}, θ_{2}, \dots, θ_{m}$ 的最大似然估计值，相应的统计量统称为最大似然估计量。我们把这种方法叫做最大似然估计法。

连乘函数往往会很复杂，因此我们考虑对它取 $ln$ 变成相加，由于 $ln$ 是一个递增函数，所以 $L_{n}$ 与 $ln L_{n}$ 同时达到最大值，我们称

$\frac{\partial ln L _{n}}{\partial θ _{i}} ∣_{θ_{i} = \hat{θ}_{i}} = 0, 其中 i = 1, 2, \dots, m$

为似然方程，由多元微分学可知，可以通过该方程算出使得 $L_{n}$ 取得最大值的一系列 $\hat{θ}_{i}$ .

例：设 $X \sim P o i (λ)$ ， $(x_{1}, \dots, x_{n})$ 为它的一组样本，求 $λ$ 的极大似然估计

解： $X$ 的概率函数为： $P (X = k) = \frac{λ ^{k}}{k !} e^{- λ}$ （ $k = 0, 1, 2, \dots$ ）

则 $λ$ 的似然函数为： $L (λ) = i = 1 \prod n \frac{λ ^{x_{i}}}{x _{i} !} e^{- λ} = \frac{λ ^{x_{1} + \dots + x_{n}}}{\prod x _{i} !} e^{- nλ}$

则 $ln L (λ) = - ln i = 1 \prod n x_{i}! + (x_{1} + \dots + x_{n}) ln λ - nλ$

两边对 $λ$ 求导，令导数为零求出极值点，得 $\frac{d l n L ( λ )}{d λ} = \frac{x _{1} + \dots + x _{n}}{λ} - n = 0$

求出极值点为： $λ = \frac{x _{1} + \dots + x _{n}}{n} = \overline{x}$ .

不是所有的情况都可以通过取 $ln$ 求出极值点的，比如均匀分布就不行，只能得出 $b - a$ 越小， $ln$ 越大的结论。

（二）估计量的评选标准

不同方法估计出来的参数不一样，要通过一些标准来选择用哪个估计量

无偏性

设 $\hat{θ} = \hat{θ} (x_{1}, x_{2}, \dots . x_{n})$ 是未知参数 $θ$ 的估计量，若 $E (\hat{θ}) = θ$ ，则称 $\hat{θ}$ 为 $θ$ 的无偏估计量。

若总体 $X$ 的均值 $E (X)$ 和方差 $D (X)$ 存在，则样本均值 $\overline{x}$ 和样本方差 $S^{2}$ 分别为 $E (X)$ 和 $D (X)$ 的无偏估计，即 $E (\overline{X}) = E (X)$ ， $E (S^{2}) = D (X)$ .

$\hat{θ}$ 是 $θ$ 的无偏估计，但 $g (\hat{θ})$ 不一定是 $g (θ)$ 的无偏估计。

有效性

设 $\hat{θ}_{1} = \hat{θ}_{1} (x_{1}, x_{2}, \dots . x_{n})$ 和 $\hat{θ}_{2} = \hat{θ}_{2} (x_{1}, x_{2}, \dots . x_{n})$ 是未知参数 $θ$ 的两个无偏估计，若 $D (\hat{θ}_{1}) < D (\hat{θ}_{2})$ ，则称 $\hat{θ}_{1}$ 比 $\hat{θ}_{2}$ 有效。

一致性（相合性）

设 $\hat{θ}_{n}$ 是 $θ$ 的一串估计量，如果对于任意的正数 $ϵ$ ，都有

$n \to \infty lim P (∣ \hat{θ}_{n} - θ ∣ > ϵ) = 0$

则称 $\hat{θ}_{n}$ 为 $θ$ 的一致估计量（或相合估计量）。

（三）区间估计

置信区间和置信度

设总体 $X$ 含有一个待估未知参数 $θ$ 。如果我们从样本 $x_{1}, x_{2}, \dots, x_{n}$ 出发，找出两个统计量 $θ_{1} = θ_{1} (x_{1}, x_{2}, \dots, x_{n})$ 与 $θ_{2} = θ_{2} (x_{1}, x_{2}, \dots, x_{n})$ （ $θ_{1} < θ_{2}$ ），使得区间 $[θ_{1}, θ_{2}]$ 以 $1 - α$ （ $0 < α < 1$ ）的概率包含这个待估参数 $θ$ ，即

$P {θ_{1} \leq θ \leq θ_{2}} = 1 - α$

那么称区间 $[θ_{1}, θ_{2}]$ 为 $θ$ 的置信区间， $1 - α$ 为该区间的置信度（或置信水平）。

即， $θ$ 是一个未知数，但它是一个固定的数，任选区间 $[θ_{1}, θ_{2}]$ 能套住 $θ$ 的概率是 $1 - α$ 。若 $θ_{1}$ 和 $θ_{2}$ 不好确定，但对 $θ$ 作变换后可以查表得出，该变换叫枢轴变量。

单正态总体的期望和方差的区间估计

设 $x_{1}, x_{2}, \dots, x_{n}$ 为总体 $X \sim N (μ, σ^{2})$ 的一个样本，在置信度为 $1 - α$ 下，我们来确定 $μ$ 和 $σ^{2}$ 的置信区间 $[θ_{1}, θ_{2}]$ 。具体步骤如下：

（1）选取样本函数；

（2）由置信度 $1 - α$ ，查表找出分位数；

（3）导出置信区间 $[θ_{1}, θ_{2}]$ 。

下面讨论不同情况下的求法

总结

估计	条件	选取函数	置信区间
$μ$	$σ^{2}$ 已知	$\frac{X - μ}{σ} n \sim N (0, 1)$	$[\overline{X} - \frac{σ}{n} u_{\frac{α}{2}}, \overline{X} + \frac{σ}{n} u_{\frac{α}{2}}]$
$μ$	$σ^{2}$ 未知	$\frac{X - μ}{S} n \sim t (n - 1)$	$[\overline{X} - \frac{S}{n} t_{\frac{α}{2}} (n - 1), \overline{X} + \frac{S}{n} t_{\frac{α}{2}} (n - 1)]$
$σ^{2}$	$μ$ 已知	$\frac{1}{σ ^{2}} \sum_{i = 1}^{n} (X_{i} - μ)^{2} \sim χ^{2} (n)$	$[\frac{\sum _{i = 1}^{n} ( X _{i} - μ ) ^{2}}{χ _{\frac{α}{2}}^{2} ( n )}, \frac{\sum _{i = 1}^{n} ( X _{i} - μ ) ^{2}}{χ _{1 - \frac{α}{2}}^{2} ( n )}]$
$σ^{2}$	$μ$ 未知	$\frac{( n - 1 ) S ^{2}}{σ ^{2}} \sim χ^{2} (n - 1)$	$[\frac{( n - 1 ) S ^{2}}{χ _{\frac{α}{2}}^{2} ( n - 1 )}, \frac{( n - 1 ) S ^{2}}{χ _{1 - \frac{α}{2}}^{2} ( n - 1 )}]$

已知方差，估计均值

（1）选取样本函数

设方差 $σ^{2} = σ_{0}^{2}$ ，其中 $σ_{0}^{2}$ 为已知数，我们知道 $\overline{X} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}$ 是 $μ$ 的一个点估计，并且知道包含未知参数 $μ$ 的样本函数

$u = \frac{X - μ}{σ _{0} / n} \sim N (0, 1)$

（2）查表找分位数

对于给定的置信度 $1 - α$ ，查正态分布分位数表，找出分位数 $λ$ ，使得 $P (∣ u ∣ \leq λ) = 1 - α$ ，即

$P (- λ \leq \frac{X - μ}{σ _{0} / n} \leq λ) = 1 - α$

（3）导出置信区间

由 $- λ \leq \frac{( X - μ ) n}{σ _{0}} \leq λ$ 推得

$\overline{X} - λ \frac{σ _{0}}{n} \leq μ \leq \overline{X} + λ \frac{σ _{0}}{n}$

也就是说，随机区间 $[\overline{X} - λ \frac{σ _{0}}{n}, \overline{X} + λ \frac{σ _{0}}{n}]$ 以 $1 - α$ 的概率包含 $μ$ .

如果把 $λ$ 写成上 $α$ 分位数的形式，随机区间还可以写成 $[\overline{X} - \frac{σ _{0}}{n} u_{\frac{α}{2}}, \overline{X} + \frac{σ _{0}}{n} u_{\frac{α}{2}}]$ .

例：已知5个灯泡的使用寿命为1650、1700、1680、1820、1800，且满足 $X \sim N (μ, 9)$ 的正态分布，要求置信区间中的 $α = 0.005$ ，求对 $μ$ 的估计

解： $\overline{X} = \frac{1650 + \dots + 1800}{5} = 1730$ ， $σ^{2} = 9$ 即 $σ = 3$

此时对 $\overline{X}$ 作标准化后，就可以查标准正态分布的表，关键是怎么查。

因为要求以 $1 - α$ 的概率套住 $μ$ ，即 $x = λ_{1}$ 、 $x = λ_{2}$ 、正态分布图像、 $x$ 轴所围成的面积要为 $1 - α$ ，由于标准正态分布的图像对称，选取区间 $[λ_{1}, λ_{2}]$ 的中心在 $x = 0$ 处，由于区间对称，那么两边的面积都是 $\frac{α}{2}$ ，且此时 $- λ_{1} = λ_{2} = λ$ ，若 $λ > 0$ ，那么 $P (x < - λ) = \frac{α}{2}$ ，即查表查出 $Φ_{0} (x) = \frac{α}{2}$ 对应的 $x$ 值就是 $λ$ 的值。（标准正态分布、t分布的图像都是对称的，可以用上面的方式查表，但是 $χ^{2}$ 分布并不是对称的，查分布函数的表只能找出左边的 $λ_{1}$ ，而 $λ_{2}$ 只能通过查上分位数的表得出）

查表后，写成上 $α$ 分位数的形式就是 $U_{0.025} = 1.96$

即 $- 1.96 \leq \frac{n ( X - μ )}{σ} \leq 1.96$ ，代入前面算出来的 $\overline{X} = 1730$ 、 $σ = 3$ 、 $n = 5$ ，最后得到 $1727.37 \leq μ \leq 1732.63$ .

未知方差，估计均值

（1）选取样本函数

设 $x_{1}, x_{2}, \dots, x_{n}$ 为总体 $N (μ, σ^{2})$ 的一个样本，由于 $σ^{2}$ 是未知的，这里选取样本方差 $S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \overline{X})^{2}$ 来替代 $σ^{2}$ ，这时样本函数选取

$t = \frac{X - μ}{S / n} \sim t (n - 1)$

（2）查表找分位数

对于给定的置信度 $1 - α$ ，查 $t$ 分位数表，找出分位数 $λ$ ，使得 $P (∣ u ∣ \leq λ) = 1 - α$ ，即

$P (- λ \leq \frac{X - μ}{S / n} \leq λ) = 1 - α$

（3）导出置信区间

由 $- λ \leq \frac{X - μ}{S / n} \leq λ$ 推得

$\overline{X} - λ \frac{S}{n} \leq μ \leq \overline{X} + λ \frac{S}{n}$

也就是说，随机区间 $[\overline{X} - λ \frac{S}{n}, \overline{X} + λ \frac{S}{n}]$ 以 $1 - α$ 的概率包含 $μ$ .

如果把 $λ$ 写成上 $α$ 分位数的形式，随机区间还可以写成 $[\overline{X} - \frac{S}{n} t_{\frac{α}{2}} (n - 1), \overline{X} + \frac{S}{n} t_{\frac{α}{2}} (n - 1)]$ .

未知均值，估计方差

（1）选取样本函数

设 $x_{1}, x_{2}, \dots, x_{n}$ 为总体 $N (μ, σ^{2})$ 的一个样本，通过样本可以求得样本方差 $S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \overline{X})^{2}$ ，样本函数选取

$ω = \frac{( n - 1 ) S ^{2}}{σ ^{2}} \sim χ^{2} (n - 1)$

（2）查表找分位数

对于给定的置信度 $1 - α$ ，查 $χ^{2}$ 分位数表，找出两个分位数 $λ_{1}$ 、 $λ_{2}$ ，由于 $χ^{2}$ 分布不具有对称性，因此通常采取使得概率对称的区间，即 $P (λ_{1} \leq ω \leq λ_{2}) = 1 - α$ ，于是

$P (λ_{1} \leq \frac{( n - 1 ) S ^{2}}{σ ^{2}} \leq λ_{2}) = 1 - α$

（3）导出置信区间

由 $λ_{1} \leq \frac{( n - 1 ) S ^{2}}{σ ^{2}} \leq λ_{2}$ 推得

$\frac{( n - 1 ) S ^{2}}{λ _{2}} \leq σ^{2} \leq \frac{( n - 1 ) S ^{2}}{λ _{1}}$

也就是说， $[\frac{( n - 1 ) S ^{2}}{λ _{2}}, \frac{( n - 1 ) S ^{2}}{λ _{1}}]$ 以 $1 - α$ 的概率包含 $σ^{2}$ ，而 $[\frac{n - 1}{λ _{2}} S, \frac{n - 1}{λ _{1}} S]$ 以 $1 - α$ 的概率包含 $σ$ .

如果把 $λ$ 写成上 $α$ 分位数的形式，随机区间还可以写成 $[\frac{( n - 1 ) S ^{2}}{χ _{\frac{α}{2}}^{2} ( n - 1 )}, \frac{( n - 1 ) S ^{2}}{χ _{1 - \frac{α}{2}}^{2} ( n - 1 )}]$ .

一、随机事件和概率

（一）概率的定义和性质

（二）概率的五大公式

（三）事件的独立性和伯努利试验

二、随机变量及其分布

（一）随机变量的分布函数

（二）常见分布

0-1分布

二项分布

泊松分布

超几何分布

几何分布

均匀分布

指数分布

正态分布

（三）随机变量函数的分布

三、二维随机变量及其分布

（一）二维随机变量的基本概念

f(x,y) - (联合)分布密度

fX​(x)或fY​(y) - 边缘分布密度

F(x∣y)或F(y∣x) - 条件分布

F(x,y) - (联合)分布函数

（二）随机变量的独立性

（三）常见的二维分布

四、随机变量的数字特征

（一）期望

期望的定义与性质

条件期望

随机向量的条件期望

（二）方差

方差与标准差

条件方差

（三）常见分布的期望与方差

总结

0-1分布

二项分布

泊松分布

超几何分布

几何分布

均匀分布

指数分布

正态分布

（四）二维随机变量的数字特征

协方差

相关系数

原点矩和中心矩

五、大数定律和中心极限定理

（一）切比雪夫不等式

（二）大数定律

切比雪夫大数定律

伯努利大数定律

辛钦大数定律

（三）中心极限定理

（四）二项定理和泊松定理

六、数理统计

（一）总体、个体和样本

（二）常用统计量

（三）三个抽样分布

χ2分布(卡方分布)

t分布

F分布

（四）正态总体下统计量的分布和性质

正态分布

χ2分布

t分布

F分布

七、参数估计

（一）点估计

矩法

最大似然法

（二）估计量的评选标准

（三）区间估计

总结

已知方差，估计均值

未知方差，估计均值

未知均值，估计方差

$f (x, y)$ - (联合)分布密度

$f_{X} (x)$ 或 $f_{Y} (y)$ - 边缘分布密度

$F (x ∣ y)$ 或 $F (y ∣ x)$ - 条件分布

$F (x, y)$ - (联合)分布函数

$χ^{2}$ 分布(卡方分布)

$χ^{2}$ 分布