基本定义

随机现象

一次试验：偶然性，随机性，不可预测性

大量实验：一定规律性（统计规律性）

条件和结果的非确定性关系

随机试验($E$)

特点：可重复性、可预测性、随机性

样本点($\omega/e$)

$E$ 的每一个可能结果.

样本空间($\Omega/S$)

$E$ 的所有可能结果.

$Ω=\{ω | ω为E的样本点\}$.

要求：互斥性（不重复）、完备性（不遗漏）

集合元素（样本点）特点：离散 / 连续、有限 / 无限、一维 / 多维等

说明：

graph LR
	id1[不同试验]
	id2[不同试验目的]
	id3[不同样本空间]
	id1 --> id3
	id2 --> id3
	id4[同一样本空间]
	id5[不同的实际问题]
	id3 --> id4
	id4 --> id3
	id4 --可包括--> id5

有限样本空间

样本空间$\Omega/S$只包含有限个样本点.

$$\begin{align} \omega_k \rightarrow p_k, p_k = P(\omega_k), \sum_{k=1}^n p_k = 1 \\ \forall A \subset \Omega, \mathbf{def.} \space P(A) = \sum_{\omega_k \in A} P(\omega_k) \end{align}$$

随机事件($A,B,C$)

某些样本点的集合、样本空间的某一个子集

基本事件：由一个样本点组成的单点集

复合事件：由两个以上样本点组成的点集

两个特殊的事件：样本空间 $\Omega/S$ (必然事件)、空集 $\varnothing$ (不可能事件)

graph LR
	id1[随机试验]
	id2[样本空间]
	id3[随机事件]
	id1 --对应--> id2
	id2 --子集--> id3
	id4[基本事件]
	id5[复合事件]
	id3 --> id4
	id3 --> id5

关系与运算

关系	符号表示
包含	$A \subset B$
相等	$A \subset B, B \subset A \Longleftrightarrow A=B$
并	$A \cup B, \bigcup_\limits{k=1}^n A_k, \bigcup_\limits{k=1}^\infty A_k = \lim_\limits{n \to \infty} \bigcup_\limits{k=1}^n A_k$
交(积)	$A \cap B , AB, \bigcap_\limits{k=1}^n A_k, \bigcap_\limits{k=1}^\infty A_k = \lim_\limits{n \to \infty} \bigcap_\limits{k=1}^n A_k$
差	$A-B,A/B$
对称差 (对应布尔逻辑异或)	$A \Delta B$
互斥(互不相容)	$A \cap B = \varnothing$
对立(补集)	$\overline{A} = \Omega - A$

注意：

graph LR
	id1[互斥]
	id2[对立]
	id2 --> id1
	id1 --\--> id2

运算律

设 $A, B, C$ 为事件,则有：

名称	符号表示
交换律	$A \cup B = B \cup A, AB = BA.$
结合律	$(A \cup B) \cup C = A \cup (B \cup C), (AB)C=A(BC)$
分配律	$(A \cup B) \cap C = AC \cup BC$， $(A \cap B) \cup C = (A \cup C) \cap (B \cup C)$
德⋅摩根律	$\overline{A \cup B} = \overline{A} \cap \overline{B}$, $\overline{A \cap B} = \overline{A} \cup \overline{B}$

运算顺序：先逆，再交，最后并或差.

概率

将表征随机事件发生可能性大小的数称为事件的概率，记为$P(A)$

定义

古典概率：概率的最初定义

几何概率：概率的几何定义

统计概率：基于频率的定义

概率的公理化定义：苏联数学家柯尔莫哥洛夫给出

古典概型

定义

(1) 样本空间 $Ω$ 中的全部样本点个数有限.

(2) 每个基本事件发生是等可能的.

称 $E$ 为古典概型 (有限等可能模型)

计算公式

若$E$中有$n$个基本事件，事件$A$中包含$k$个样本点，则$A$发生的概率定义为：

$$P(A) = \frac{k}{n}= \frac{事件A中样本点的个数}{样本空间\Omega中样本点的个数}$$

通常称为概率的古典定义

基本性质

1. 非负性： $P(A)≥0$
2. 规范性： $P(Ω)=1$
3. 有限可加性：若$A_1，A_2，…，A_n$是两两互不相容的事件，则

$$P({\color{Red}\bigcup_{i=1}^n A_i}) = \sum_{i=1}^n P(A_i), P({\color{Red}\sum_{i=1}^n A_i}) = \sum_{i=1}^n P(A_i)$$

推论： $P(A) = 1 - P(\overline{A} )$

基本计数原理

加法原理

设完成一件事有$m$种方式，第$i$种方式有$n_i$种方法，完成这件事总共有 $\sum_{i=1}^m n_i$ 种方法.

乘法原理

设完成一件事有$m$个步骤，第$i$种步骤有$n_i$种方法，完成这件事总共有 $\prod_{i=1}^m n_i$ 种方法.

有重复排列(有放回)

共有$n^k$种排列方式.

无重复排列(不放回)

$$A_n^k = P_n^k = n(n-1)(n-2) \dots (n-k+1) = \frac{n!}{(n-k)!}$$

$k=n$时称全排列

$$A_n^n = n(n-1) \dots 2 \times 1 = n!$$

组合

从$n$个不同元素中任取$k$个元素并成一组 （不考虑其顺序）称为一个组合.

$$二项式系数：C_n^k = \frac{A_n^k}{k!} = \frac{n!}{(n-k)!k!} = \begin{pmatrix} n \\ k \end{pmatrix}$$ $$\begin{align} C_n^0& = 1 \\ C_n^k &= C_n^{n-k} (1 \leq k \leq n) \\ \sum_{i=0}^n &= 2^n \end{align}$$

分组

$n$个不同元素分为$k$组，各组元素数目分别为 $r_1,r_2, \dots,r_k$的分法总数为：

$$\frac{n!}{r_1!r_2! \dots r_k!},r_1 + r_2 + \dots + r_k = n$$ $$多项式系数：C_n^{r_1}\times C_{n - r_1}^{r_2} \dots C_{r_k}^{r_k} = \frac{n!}{r_1!r_2! \dots r_k!}$$

举例

$Maxwell-Boltzmann$统计

某指定的 $n$ 个格子中各有一个球，$P(A) = \frac{n!}{N^n}$

分球入盒问题

或称球在盒中的分布问题.有些实际问题可以归结为分球入盒问题，须分清问题中的“球”与“盒”.

生日问题：每个人的生日：“球”，365天：“盒子”.

旅客下车问题(电梯问题)：旅客：“球”，站：“盒子”.

住房分配问题：旅客：“球”，房间：“盒子”.

印刷错误问题：错误：“球” ，页：“盒子”.

投信问题：信：“球” ，信筒：“盒子”.

德.梅尔问题

两颗骰子投$24$次，至少得到一个双六的概率.

取对立事件，得$P(B) = 1 - \left( \frac{35}{36} \right)^{24} = 0.4914$

不放回抽样(超几何分布)

设有 $N$ 件产品，其中有 $D$ 件次品，从中任取 $n$ 件，其中恰有 $k$ ( $k ≤ D$ ) 件次品的概率.

$$P = \frac{C_D^k C_{N-D}^{n-k}}{C_N^n}$$

有放回抽样(二项分布)

设有 $N$ 件产品，其中有 $D$ 件次品，从中有放回地抽取 $n$ 件，其中恰有 $k$ ( $k ≤ D$ ) 件次品的概率.

$$P = \frac{C_D^k D^k(N-D)^{n-k}}{N^n} = C_D^k \left(\frac{D}{N}\right)^k\left(1-\frac{D}{N}\right)^{n-k}$$

错排问题(配对问题)

注意

古典概率，其分子与分母的计数方法要一致.

实际推断原理：

概率很小的事件在一次试验中几乎是不发生的.

几何概型

定义

向任一可度量区域$Ω$内投一点，如果所投的点落在$Ω$中任意可度量区域$g$内的可能性与$g$的测度(长度、面积、体积)成正比，而与$g$的位置和形状无关.

称 $E$ 为几何概型 (无限等可能模型)

计算公式

在几何概型中，样本空间为$Ω$，$Ω$中的点是样本点，设$A=\{投点落入区域g内\}$，则有

$$P(A) = \frac{g的测度}{\Omega的测度}$$

基本性质

1. 非负性： $P(A)≥0$
2. 规范性： $P(Ω)=1$
3. 可列可加性：若$A_1，A_2，…$是两两互不相容的事件，则

$$P({\color{Red}\bigcup_{i=1}^\infty A_i}) = \sum_{i=1}^\infty P(A_i), P({\color{Red}\sum_{i=1}^\infty A_i}) = \sum_{i=1}^\infty P(A_i)$$

举例

会面问题

蒲丰投针问题

统计概率

频率和概率

在$n$次重复试验中，若事件$A$发生了$m$次， 则 $f={m \over n}$ 称为事件A发生的频率.

不可能事件的频率一定为$0$.

必然事件的频率一定为$1$.

特点：随机波动性、稳定性.

eg. 高尔顿($Galton$)板试验.

定义

当 $n$ 较小时频率波动幅度比较大，当 $n$ 逐渐增大时，频率趋于稳定值，该稳定值从本质上反映了事件在试验中出现可能性的大小，即事件的概率.

频率的基本性质

1. 非负性： $P(A)≥0$
2. 规范性： $P(Ω)=1$
3. 可加性：若$A_1，A_2，…$是两两互不相容的事件，则

$$f({\color{Red}\sum_{i=1}^\infty A_i}) = \sum_{i=1}^\infty f(A_i)$$

graph LR
	id1[频率/事件发生的频繁程度]
	subgraph 频率的性质
		id1
        T1(频率的性质)
	end
	id2[稳定值]
	id3[概率/事件发生的可能性大小]
	subgraph 概率的公理化定义
		T2(概率的公理化定义)
		id3
	end
	id1 --> id2
	id2 --> id3
	T1 --> T2

实验次数很大时事件的频率作为概率的估计值，称为频率方法.

概率空间

三种概率

古典概率：有限等可能

几何概率：无限等可能

统计概率：频率

事件域

随机试验、随机试验、样本点、事件、集类……

集类：由$\Omega$中的若干子集构成的集合称为集类， 用花写字母 $\mathcal{F}, \mathcal{B}$ 等表示.

$\sigma$ 域

1. $\Omega \in \mathcal{F}$. （包含全集）

2. 若 $A \in \mathcal{F}$，则 $\overline{A} \in \mathcal{F}$. （对逆运算封闭）

3. 若 $A_n \in \mathcal{F}, n=1,2,\dots$，则 $\bigcup_\limits{n=1}^\infty A_n \in \mathcal{F}$. （对可列并运算封闭）

性质

设$\mathcal{F}$为$\sigma$域，若$A_n \in \mathcal{F}, n = 1, 2 \dots$ 则

$$\begin{cases} \varnothing \in \mathcal{F} \\ \bigcap_\limits{n=1}^\infty \in \mathcal{F} \\ \bigcap_\limits{n=1}^k \in \mathcal{F} \\ \bigcup_\limits{n=1}^k \in \mathcal{F} \end{cases}$$

由此，$\sigma$域对并、交、补、逆的可列次运算封闭，并且包含$\Omega$和$\varnothing$.

定义

若$\mathcal{F}$是由样本空间$\Omega$的一些子集构成的一个$σ$域, 则称它为事件域. $\mathcal{F}$中的元素称为事件, $\Omega$称为必然事件, $\varnothing$称为不可能事件.

一维Borel点集

以$\mathbb{R}^1$记实数全体，并称一切形为$[a,b)$的有界左闭右开区间构成的集合所产生的$\sigma$域为一维 Borel $\sigma$域，记为$\mathcal{B}_1$ ， $\mathcal{B}_1$中的点集称为一维 Borel 点集.

n维Borel点集

以$\mathbb{R}^n$记$n$维实数全体，由一切$n$维矩形产生的 $\sigma$域为$n$维 Borel $\sigma$域，记为$\mathcal{B}_n$ ， $\mathcal{B}_n$中的点集称为$n$维 Borel 点集.

若$x, y$表示任意实数，由于：

$$\begin{cases} \{x\} = \bigcap_{n=1}^\infty [x, x+\frac{1}{n}) \\ (x,y) = [x,y) - \{x\} \\ [x,y]= [x,y) + \{x\} \\ (x,y]= [x,y) + \{y\} - \{x\} \end{cases}$$

则$\mathcal{B}_1$中包含一切开区间，闭区间，单个实数，可列个实数，以及由它们经可列次并、交运算而得出的集合，$\mathcal{B}_n$同理.

概率的公理化定义和性质

概率的公理化定义

设试验$E$的样本空间为$\Omega$， 事件域为$\mathcal{F}$，$P$为定义在事件域$\mathcal{F}$上的一个集合函数$\begin{array}& P: \mathcal{F} \rightarrow \mathbb{R}^1 \\ A \rightarrow P(A)\end{array}$，且满足下列条件.

1. 公理1（非负性）： $P(A)≥0$
2. 公理2（规范性）： $P(Ω)=1$
3. 公理3（可列可加性）：若事件$A_1, A_2, \dots$两两互不相容，则

$$P({\color{Red}\sum_{i=1}^\infty A_i}) = \sum_{i=1}^\infty P(A_i)$$

称$P(A)$为事件$A$的概率.

概率的性质

$P(\varnothing)=0$

有限可加性

若事件$A_1, A_2, \dots, A_n$ 两两互不相容，则$P(\sum_\limits{i=1}^n A_i) = \sum_\limits{i=1}^n P(A_i)$

$P(\overline{A}) = 1 - P(A)$

若$A\subset B$，则 $P(B-A)=P(B)-P(A), P(A) \leq P(B)$ 且对任意事件 $A, P(A) \leq 1$.

一般化： $P(B\overline{A})=P(B-A)=P(B)-P(AB)$

加法公式

对$\forall A,B$， 有$P(A \cup B) = P(A) + P(B) - P(AB)$

一般化：对任何$n$个事件$A_1, A_2, \dots, A_n$，都有

$$P(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n P(A_i) - \sum_{1 \leq i < j \leq n} P(A_i A_j) + \\ \sum_{1 \leq i < j < k \leq n} P(A_i A_j A_k) + \dots + (-1)^{n-1} P(\bigcap_{k=1}^n A_k)$$

布尔不等式

$$\begin{align} P(A \cup B) \leq P(A)+P(B) \\ P(\bigcup_{i=1}^n A_i) \leq \sum_{i=1}^n P(A_i) \end{align}$$

Bonferroni 不等式

$$\begin{align} P(AB) \geq P(A)+P(B) - 1 \\ P(\bigcap_{i=1}^n A_i) \geq \sum_{i=1}^n P(A_i) - (n-1) \end{align}$$

可列可加性与连续性

设$\mathcal{F}$是$\Omega$上的一个集合类，若$S_n \in \mathcal{F}$且满足$S_n \subset S_{n+1}$ ,则称$\{S_n\}$为$\mathcal{F}$中单调不减的集序列，$P$是$\Omega$上的一个集合函数， 若对$\mathcal{F}$中单调不减的集序列$\{S_n\}$，有：

$$\lim_{n \to \infty} P(S_n) = P(\lim_{n \to \infty} S_n)$$

则称 $P$ 是下连续的.

$Th.$ 若$P$是$\mathcal{F}$上满足$P(\Omega)=1$的非负集合函数， 则它具有可列可加性的充要条件为：
(1) 它是有限可加的.
(2) 它是下连续的.

1. 概率是下连续的

2. 概率是上连续的，即若 $B_i \in \mathcal{F}$ 且 $B_i \supset B_{i+1}, i=1,2,\dots$ 则 $\lim_\limits{n \to \infty} P(B_n) = P(\lim_\limits{n \to \infty}B_n)$

3. $P(\bigcup_\limits{i=1}^\infty A_i) \leq \sum_\limits{i=1}^\infty P(A_i)$

概率空间的实际例子

在概率论公理化结构中, 称三元组$ (\Omega,\mathcal{F},P)$为概率空间.

Bernoulli 概率空间

有限概率空间

离散概率空间

一维几何概率空间