参数估计
通过取样本，并用样本构造函数，达成估计分布函数参数的目的
矩估计法
本质：用样本的各阶矩代替总体的各阶矩，即取：
E ( X ) = X ‾ = 1 n ∑ i X i E ( X 2 ) = 1 n ∑ i X i 2 E(X)=\overline{X}=\dfrac{1}{n}\sum_i X_i\\ E(X^2)=\dfrac{1}{n}\sum_iX_i^2 E(X)=X=n1i∑XiE(X2)=n1i∑Xi2
极大似然估计法
本质：将使得样本 A A A 发生概率最大的参数值作为估计值
1、写出总体概率/密度函数
2、构造似然函数 L ( λ ) L(\lambda) L(λ)
3、两边取 ln \ln ln
4、对 λ \lambda λ 求导
点估计的优良性准则
一、无偏性： E ( θ ^ ) = θ E(\hat{\theta})=\theta E(θ^)=θ
定理：总体为 X X X，且 E ( X ) = μ E(X)=\mu E(X)=μ， D ( X ) = σ 2 D(X)=\sigma^2 D(X)=σ2，样本为 ( X 1 , ⋯ , X n ) (X_1,\cdots,X_n) (X1,⋯,Xn)，那么有：
1、 X ‾ \overline{X} X 是 μ \mu μ 的无偏估计
2、样本方差 S 2 S^2 S2 是 σ 2 \sigma^2 σ2 的无偏估计
3、取 μ ^ = C 1 X 1 + ⋯ + C n X n \hat{\mu}=C_1X_1 + \cdots + C_nX_n μ^=C1X1+⋯+CnXn，若 C 1 + ⋯ + C n = 1 C_1+\cdots + C_n=1 C1+⋯+Cn=1，则 μ ^ \hat{\mu} μ^ 是 μ \mu μ 的无偏估计
证明：
1 与 2：
已经在 上一份笔记 中证明过 E ( X ‾ ) = μ E(\overline{X})=\mu E(X)=μ 和 E ( S 2 ) = σ 2 E(S^2)=\sigma^2 E(S2)=σ2
3：
E ( μ ^ ) = E ( C 1 X 1 + ⋯ + C n X n ) = E ( C 1 X 1 ) + ⋯ + E ( C n X n ) = C 1 E ( X 1 ) + ⋯ + C n E ( X n ) = ( C 1 + ⋯ + C n ) μ = μ \begin{align*} E(\hat{\mu}) &= E(C_1X_1 + \cdots + C_nX_n)\\ &=E(C_1X_1)+\cdots+E(C_nX_n)\\ &=C_1E(X_1)+\cdots+C_nE(X_n)\\ &=(C_1+\cdots+C_n)\mu\\ &=\mu \end{align*} E(μ^)=E(C1X1+⋯+CnXn)=E(C1X1)+⋯+E(CnXn)=C1E(X1)+⋯+CnE(Xn)=(C1+⋯+Cn)μ=μ
！注意： θ ^ \hat{\theta} θ^ 是 θ \theta θ 的无偏估计，但是 g ( θ ^ ) g(\hat{\theta}) g(θ^) 不一定是 g ( θ ) g(\theta) g(θ) 的无偏估计
例如： S 2 S^2 S2 是 σ 2 \sigma^2 σ2 的无偏估计，而 S S S 不是 σ \sigma σ 的无偏估计(性质)
该性质的证明：
D ( S ) = E ( S 2 ) − E ( S ) 2 = σ 2 − E ( S ) 2 ⇒ E ( S ) = σ 2 − D ( S ) ⩽ σ \begin{align*} &D(S) = E(S^2)-E(S)^2\\ &=\sigma^2-E(S)^2\\ &\Rightarrow E(S)=\sqrt{\sigma^2-D(S)}\leqslant\sigma \end{align*} D(S)=E(S2)−E(S)2=σ2−E(S)2⇒E(S)=σ2−D(S)⩽σ
二、有效性： D ( θ 1 ^ ) ⩽ D ( θ 2 ^ ) D(\hat{\theta_1})\leqslant D(\hat{\theta_2}) D(θ1^)⩽D(θ2^)
定理：总体为 X X X，且 E ( X ) = μ E(X)=\mu E(X)=μ， D ( X ) = σ 2 D(X)=\sigma^2 D(X)=σ2，样本为 ( X 1 , ⋯ , X n ) (X_1,\cdots,X_n) (X1,⋯,Xn)，若 a 1 + ⋯ + a n = 1 a_1+\cdots+a_n=1 a1+⋯+an=1，则现有两种 μ \mu μ 的估计： a 1 X 1 + ⋯ + a n X n a_1X_1+\cdots+a_nX_n a1X1+⋯+anXn 与 X ‾ \overline{X} X，由有效性准则认为， X ‾ \overline{X} X 更优
证明：
由 上一份笔记 知 D ( X ‾ ) = σ 2 n D(\overline{X})=\dfrac{\sigma^2}{n} D(X)=nσ2
那么有：
D ( θ ^ ) = D ( a 1 X 1 + ⋯ + a n X n ) = a 1 2 D ( X 1 ) + ⋯ + a n 2 D ( X n ) = σ 2 ( a 1 2 + ⋯ + a n 2 ) ⩾ σ 2 n \begin{align*} D(\hat{\theta})&=D(a_1X_1+\cdots+a_nX_n)\\ &=a_1^2D(X_1)+\cdots+a_n^2D(X_n)\\ &=\sigma^2(a^2_1+\cdots+a^2_n)\\ &\geqslant \dfrac{\sigma^2}{n} \end{align*} D(θ^)=D(a1X1+⋯+anXn)=a12D(X1)+⋯+an2D(Xn)=σ2(a12+⋯+an2)⩾nσ2
三、相合性(一致性)： lim n → + ∞ P ( ∣ θ ^ − θ ∣ < ε ) = 1 \lim\limits_{n\to +\infty}P(|\hat{\theta}-\theta|<\varepsilon)=1 n→+∞limP(∣θ^−θ∣<ε)=1
置信区间
区间估计时，区间长度 和 落在区间的概率 十分重要
若 P ( θ 1 ⩽ θ ⩽ θ 2 ) = 1 − α P(\theta_1 \leqslant \theta \leqslant \theta_2)=1-\alpha P(θ1⩽θ⩽θ2)=1−α，则 1 − α 1-\alpha 1−α 称为 置信度，而 [ θ 1 , θ 2 ] [\theta_1,\theta_2] [θ1,θ2] 则是估计区间
定义：
1、 I = I ( T , θ ) I=I(T,\theta) I=I(T,θ)，其中 θ \theta θ 是未知参数， T T T 是已知的，随机变量 I I I 的分布 F F F 已知且其分布与 θ \theta θ 无关，则将 I I I 称为 枢轴变量
2、给定 1 − α 1-\alpha 1−α，确定 F F F 的上 α 2 \dfrac{\alpha}{2} 2α 分位数为 v α 2 v_{\frac{\alpha}{2}} v2α，上 1 − α 2 1-\dfrac{\alpha}{2} 1−2α 为 v 1 − α 2 v_{1-\frac{\alpha}{2}} v1−2α，则：
P ( v α 2 ⩽ I ( T , θ ) ⩽ v 1 − α 2 ) = 1 − α P\left(v_{\frac{\alpha}{2}}\leqslant I(T,\theta) \leqslant v_{1-\frac{\alpha}{2}}\right)=1-\alpha P(v2α⩽I(T,θ)⩽v1−2α)=1−α
一个正态总体的均值和方差的区间估计
设 v = n ( X ‾ − μ ) σ ∼ N ( 0 , 1 ) v=\dfrac{\sqrt{n}(\overline{X}-\mu)}{\sigma}\sim N(0,1) v=σn(X−μ)∼N(0,1)
给定 1 − α 1-\alpha 1−α，令 P ( v > u α 2 ) = α 2 P(v>u_{\frac{\alpha}{2}})=\dfrac{\alpha}{2} P(v>u2α)=2α
1、 σ 2 \sigma^2 σ2 已知，对 μ \mu μ 的区间估计：
P ( − u α 2 ⩽ n ( X ‾ − μ ) σ ⩽ u α 2 ) = 1 − α P ( − σ u α 2 n ⩽ X ‾ − μ ⩽ σ u α 2 n ) = 1 − α P ( X ‾ − σ u α 2 n ⩽ μ ⩽ X ‾ + σ u α 2 n ) = 1 − α \begin{align*} &P\left(-u_{\frac{\alpha}{2}}\leqslant \dfrac{\sqrt{n}(\overline{X}-\mu)}{\sigma} \leqslant u_{\frac{\alpha}{2}}\right)=1-\alpha\\ &P\left(-\dfrac{\sigma u_{\frac{\alpha}{2}}}{\sqrt{n}}\leqslant\overline{X}-\mu\leqslant\dfrac{\sigma u_{\frac{\alpha}{2}}}{\sqrt{n}}\right)=1-\alpha\\ &P\left(\overline{X}-\dfrac{\sigma u_{\frac{\alpha}{2}}}{\sqrt{n}}\leqslant\mu\leqslant\overline{X}+\dfrac{\sigma u_{\frac{\alpha}{2}}}{\sqrt{n}}\right)=1-\alpha \end{align*} P(−u2α⩽σn(X−μ)⩽u2α)=1−αP(−nσu2α⩽X−μ⩽nσu2α)=1−αP(X−nσu2α⩽μ⩽X+nσu2α)=1−α
也就是说，有 1 − α 1-\alpha 1−α 的把握，认为 μ \mu μ 在区间 [ X ‾ − σ u α 2 n , X ‾ + σ u α 2 n ] \left[\overline{X}-\dfrac{\sigma u_{\frac{\alpha}{2}}}{\sqrt{n}}, \overline{X}+\dfrac{\sigma u_{\frac{\alpha}{2}}}{\sqrt{n}}\right] [X−nσu2α,X+nσu2α] 中
2、 σ 2 \sigma^2 σ2 未知，对 μ \mu μ 的区间估计：
构造枢轴变量： T = n ( X ‾ − μ ) S ∼ t ( n − 1 ) T=\dfrac{\sqrt{n}(\overline{X}-\mu)}{S}\sim t(n-1) T=Sn(X−μ)∼t(n−1)
P ( − t α 2 ( n − 1 ) ⩽ n ( X ‾ − μ S ⩽ t α 2 ( n − 1 ) ) = 1 − α ⇒ P ( X ‾ − S n t α 2 ( n − 1 ) ⩽ μ ⩽ X ‾ + S n t α 2 ( n − 1 ) ) = 1 − α \begin{align*} &P\left(-t_{\frac{\alpha}{2}}(n-1)\leqslant\dfrac{\sqrt{n}(\overline{X}-\mu}{S}\leqslant t_{\frac{\alpha}{2}}(n-1)\right)=1-\alpha\\ &\Rightarrow P\left(\overline{X}-\dfrac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) \leqslant \mu \leqslant \overline{X}+\dfrac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)\right)=1-\alpha \end{align*} P(−t2α(n−1)⩽Sn(X−μ⩽t2α(n−1))=1−α⇒P(X−nSt2α(n−1)⩽μ⩽X+nSt2α(n−1))=1−α
也就是说，有 1 − α 1-\alpha 1−α 的把握，认为 μ \mu μ 在区间 [ X ‾ − S n t α 2 ( n − 1 ) , X ‾ + S n t α 2 ( n − 1 ) ] \left[\overline{X}-\dfrac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1), \overline{X}+\dfrac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)\right] [X−nSt2α(n−1),X+nSt2α(n−1)] 中
3、 μ \mu μ 已知，对 σ 2 \sigma^2 σ2 的区间估计：
构造枢轴变量： χ 2 = 1 σ 2 ∑ i = 1 n ( X i − μ ) 2 ∼ χ 2 ( n ) \chi^2=\dfrac{1}{\sigma^2}\sum\limits_{i=1}^n(X_i-\mu)^2\sim \chi^2(n) χ2=σ21i=1∑n(Xi−μ)2∼χ2(n)，给定 1 − α 1-\alpha 1−α、 χ 1 − α 2 2 ( n ) \chi^2_{1-\frac{\alpha}{2}}(n) χ1−2α2(n) 及 χ α 2 2 ( n ) \chi^2_{\frac{\alpha}{2}}(n) χ2α2(n)
注意：之所以不继续使用正态分布的枢轴变量，是因为 σ \sigma σ 在开平方后不是无偏估计
P ( χ 1 − α 2 2 ( n ) ⩽ 1 σ 2 ∑ i = 1 n ( X i − μ ) 2 ⩽ χ α 2 2 ( n ) ) = 1 − α ⇒ ∑ i = 1 n ( X i − μ ) 2 χ α 2 2 ( n ) ⩽ σ 2 ⩽ ∑ i = 1 n ( X i − μ ) 2 χ 1 − α 2 2 ( n ) \begin{align*} &P\left(\chi^2_{1-\frac{\alpha}{2}}(n)\leqslant\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\leqslant\chi^2_{\frac{\alpha}{2}}(n)\right)=1-\alpha\\ &\Rightarrow \dfrac{\sum_{i=1}^n(X_i-\mu)^2}{\chi^2_{\frac{\alpha}{2}}(n)}\leqslant\sigma^2\leqslant\dfrac{\sum_{i=1}^n(X_i-\mu)^2}{\chi^2_{1-\frac{\alpha}{2}}(n)} \end{align*} P(χ1−2α2(n)⩽σ21i=1∑n(Xi−μ)2⩽χ2α2(n))=1−α⇒χ2α2(n)∑i=1n(Xi−μ)2⩽σ2⩽χ1−2α2(n)∑i=1n(Xi−μ)2
也就是说，有 1 − α 1-\alpha 1−α 的把握，认为 σ 2 \sigma^2 σ2 在区间 [ ∑ i = 1 n ( X i − μ ) 2 χ α 2 2 ( n ) , ∑ i = 1 n ( X i − μ ) 2 χ 1 − α 2 2 ( n ) ] \left[\dfrac{\sum_{i=1}^n(X_i-\mu)^2}{\chi^2_{\frac{\alpha}{2}}(n)},\dfrac{\sum_{i=1}^n(X_i-\mu)^2}{\chi^2_{1-\frac{\alpha}{2}}(n)}\right] [χ2α2(n)∑i=1n(Xi−μ)2,χ1−2α2(n)∑i=1n(Xi−μ)2] 中
4、 μ \mu μ 未知，对 σ 2 \sigma^2 σ2 的区间估计：
构造枢轴变量： χ 2 = ( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) \chi^2=\dfrac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1) χ2=σ2(n−1)S2∼χ2(n−1)，给定 1 − α 1-\alpha 1−α、 χ 1 − α 2 2 ( n − 1 ) \chi^2_{1-\frac{\alpha}{2}}(n-1) χ1−2α2(n−1) 及 χ α 2 2 ( n − 1 ) \chi^2_{\frac{\alpha}{2}}(n-1) χ2α2(n−1)
P ( χ 1 − α 2 2 ( n − 1 ) ⩽ ( n − 1 ) S 2 σ 2 ⩽ χ α 2 2 ( n − 1 ) ) = 1 − α ⇒ P ( ( n − 1 ) S 2 χ α 2 2 ( n − 1 ) ⩽ σ 2 ⩽ ( n − 1 ) S 2 χ 1 − α 2 2 ( n − 1 ) ) = 1 − α \begin{align*} &P\left(\chi^2_{1-\frac{\alpha}{2}}(n-1)\leqslant\dfrac{(n-1)S^2}{\sigma^2}\leqslant\chi^2_{\frac{\alpha}{2}}(n-1)\right)=1-\alpha\\ &\Rightarrow P\left(\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}\leqslant\sigma^2\leqslant\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}\right)=1-\alpha \end{align*} P(χ1−2α2(n−1)⩽σ2(n−1)S2⩽χ2α2(n−1))=1−α⇒P(χ2α2(n−1)(n−1)S2⩽σ2⩽χ1−2α2(n−1)(n−1)S2)=1−α
也就是说，有 1 − α 1-\alpha 1−α 的把握，认为 σ 2 \sigma^2 σ2 在区间 [ ( n − 1 ) S 2 χ α 2 2 ( n − 1 ) , ( n − 1 ) S 2 χ 1 − α 2 2 ( n − 1 ) ] \left[\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}\right] [χ2α2(n−1)(n−1)S2,χ1−2α2(n−1)(n−1)S2] 中