Centralne twierdzenie graniczne

Z Wikipedii

Masz nowe wiadomości (różnica z poprzednią wersją).

Spis treści

1 Teza
- 1.1 Sformułowanie szczególne
- 1.2 Sformułowanie ogólne
2 Dowód
3 Przykład
4 Zobacz też

[edytuj] Teza

[edytuj] Sformułowanie szczególne

Centralne twierdzenie graniczne to twierdzenie matematyczne mówiące, że jeśli X_i są niezależnymi zmiennymi losowymi o jednakowym rozkładzie, takiej samej wartości oczekiwanej $μ$ i skończonej wariancji $σ 2$ , to zmienna losowa o postaci

$\frac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}}$

zbiega według rozkładu do standardowego rozkładu normalnego gdy $n$ rośnie do nieskończoności.

[edytuj] Sformułowanie ogólne

Centralne twierdzenie graniczne znane też pod nazwą Twierdzenie Lindeberga-Lévy'ego orzeka:

Niech $(X n, k)$ będzie schematem serii, w którym $E X n, k = 0$ dla $k \le n$ i dla każdego $n$ mamy $\sum_{k=1}^n D^2 X_{n,k} = 1$ . Jeśli spełniony jest warunek Lindeberga, tj. dla każdego $ε > 0$ zachodzi $\lim_{n \to \infty} \sum_{k=1}^n EX_{n,k}^2 \mathbf 1_{\{|X_{n,k}|>\epsilon\}} = 0$ , wtedy $\sum_{k=1}^n X_{n,k} \xrightarrow{D} N(0,1)$ .

[edytuj] Dowód

Dowodów Centralnego Twierdzenia Granicznego w wersji ogólnej jest kilka. Wszystkie są dość skomplikowane i wymagają korzystania z wielu zaawansowanych narzędzi matematycznych. Poniżej znajduje się jeden z prostszych dowodów, nie dający jednak oszacowania wartości błędu.

Pierwszym krokiem dowodu jest sformułowanie i udowodnienie użytecznych lematów.

Lemat 1

Niech $f: \mathbf R \to \mathbf R$ będzie funkcją trzykrotnie różniczkowalną taką, że $\forall x \in \mathbf R$ zachodzi $|f'''(x)| \le A$ oraz $|f''(x)| \le B$ . Wówczas: $\forall x,y \in \mathbf R$

a) $|f(x+y) - f(x) - f'(x)y - \frac{f''(x)y^2}{2!}| \le \frac{A|y|^3}{3!}$
b) $|f(x+y) - f(x) - f'(y)| \le \frac{By^2}{2!}$ .

Dowód

Oznaczmy $\varphi_x(y) = f(x+y) - f(x) - f'(x)y - \frac{f''(x)y^2}{2!}$ . Wówczas $\varphi_x(0) = 0, \varphi_x'(0) = 0, \varphi_x''(0) = 0$ .

Ustalmy dowolne $y > 0$ . Wówczas zgodnie z twierdzeniem Lagrange'a istnieją takie $z, t, w > 0$ , że:

$\Bigg|\frac{\varphi_x(y)}{y^3}\Bigg| = \Bigg|\frac{\varphi_x(y) - \varphi_x(0)}{y^3 - 0}\Bigg| = \Bigg|\frac{\varphi_x'(z)}{3z^2}\Bigg| = \Bigg|\frac{\varphi_x'(z) - \varphi_x'(0)}{3z^2 - 3\cdot0^2}\Bigg| = \Bigg|\frac{\varphi_x''(t)}{6t}\Bigg| = \Bigg|\frac{\varphi_x''(t) - \varphi_x''(0)}{6t - 6\cdot0}\Bigg| = \Bigg|\frac{\varphi_x'''(w)}{6}\Bigg| \le \frac{A}{6}$

Na tej samej zasadzie: $\Bigg|\frac{\varphi_x(y)}{y^2}\Bigg| = \Bigg|\frac{\varphi_x''(t)}{2}\Bigg| \le \frac{B}{2}$ . $\Box$

Lemat 2

Jeżeli $X ˜ N (0,1)$ , to $E|X|^3 = \int\limits_R |x|^3 \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx = \frac{4}{\sqrt{2\pi}}$

Dowód

$E|X|^3 = \int\limits_R |x|^3 \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx = \frac{2}{\sqrt{2\pi}}\int\limits_0^{+\infty}x^3e^{-\frac{x^2}{2}}dx$

Dokonujemy podstawienia $x^2 = t \Rightarrow dx = \frac{dt}{2x}$ :

$E|X|^3 = \frac{2}{\sqrt{2\pi}}\int\limits_0^{+\infty}txe^{-\frac{t}{2}}\frac{dt}{2x} = \frac{1}{\sqrt{2\pi}}\int\limits_0^{+\infty}te^{-\frac{t}{2}}dt$

Teraz całkujemy przez części:

$E|X|^3 = -\frac{2t}{\sqrt{2\pi}}e^{-\frac{t}{2}}\Bigg|_0^{+\infty} + \frac{2}{\sqrt{2\pi}}\int\limits_0^{+\infty}e^{-\frac{t}{2}}dt = -\frac{4}{\sqrt{2\pi}}e^{-\frac{t}{2}}\Bigg|_0^{+\infty} = \frac{4}{\sqrt{2\pi}}$ . $\Box$

Drugi krok polega na oszacowaniu pewnej wartości:

Niech $f : \mathbf R \to \mathbf R, f \in \mathbb C^3(R)$ będzie funkcją trzykrotnie różniczkowalną taką, że $|f'''(x)| \le A \; \forall x\in \mathbf R$ oraz $|f''(x)| \le B \; \forall x\in \mathbf R$ .

Rozważamy niezależne zmienne $(G n, k)$ o rozkładzie normalnym takie, że $\forall n,k \; EG_{n,k} = 0$ oraz $D 2 G n, k = D 2 X n, k$ .

Wówczas $\forall x \in \mathbf R \; |Ef(x + X_{n,k}) - Ef(x + G_{n,k})| =$ $|Ef(x + X_{n,k}) - f(x) - f'(x)\cdot EX_{n,k} - \frac{f''(x)}{2!}EX^2_{n,k} - Ef(x + G_{n,k}) + f(x) + f'(x)\cdot EG_{n,k} + \frac{f''(x)}{2!}EG^2_{n,k}| =$ $|E[f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}] - E[f(x + G_{n,k}) - f(x) - f'(x)\cdot G_{n,k} - \frac{f''(x)}{2!}G^2_{n,k}]| \le$ $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}| + E|f(x + G_{n,k}) - f(x) - f'(x)\cdot G_{n,k} - \frac{f''(x)}{2!}G^2_{n,k}|$ . Przy czym ostatnia nierówność to nierówność trójkąta.

Drugi ze składników daje się na podstawie Lematu 1 oszacować w sposób następujący: $E|f(x + G_{n,k}) - f(x) - f'(x)\cdot G_{n,k} - \frac{f''(x)}{2!}G^2_{n,k}| \le \frac{A}{6}E|G_{n,k}|^3$ .

Tymczasem $G_{n,k} = \sqrt{D^2X_{n,k}} \cdot G$ , gdzie $G ˜ N (0,1)$ . W związku z tym (korzystając z Lematu 2): $E|G_{n,k}|^3 = (D^2X_{n,k})^{3/2}\cdot E|G|^3 \le 12\cdot (D^2X_{n,k})^{3/2}$ . Wobec tego $\frac{A}{6}E|G_{n,k}|^3 \le 2A \cdot (D^2X_{n,k})^{3/2} \le 2A\cdot D^2X_{n,k} \cdot \bigg(\max_{1 \le k \le n} \sqrt{D^2X_{n,k}}\bigg)$ .

Pierwszy ze składników można natomiast oszacować w sposób następujący: $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}| =$ $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}|\cdot \mathbf 1_{\{|X_{n,k}|\le \epsilon \}} +$ $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}|\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}}$ .

Z kolei szacujemy: $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}|\cdot \mathbf 1_{\{|X_{n,k}|\le \epsilon \}} \le \frac{A}{6}E|X_{n,k}|^3 \cdot \mathbf 1_{\{|X_{n,k}|\le \epsilon \}} \le \frac{A}{6}D^2X_{n,k} \cdot \epsilon$ oraz $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k} - \frac{f''(x)}{2!}X^2_{n,k}|\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}} \le$ $E|f(x + X_{n,k}) - f(x) - f'(x)\cdot X_{n,k}|\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}} + E|\frac{f''(x)}{2!}X^2_{n,k}|\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}} \le B\cdot D^2X_{n,k}\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}}$ . Ostatnia nierówność wynika z Lematu 1.

Zatem $\forall x \in \mathbf R$ mamy następujące oszacowanie: $|Ef(x + X_{n,k}) - Ef(x + G_{n,k})| \le 2A\cdot D^2X_{n,k} \cdot \bigg(\max_{1 \le k \le n} \sqrt{D^2X_{n,k}}\bigg) + \frac{A}{6}D^2X_{n,k} \cdot \epsilon + B\cdot D^2X_{n,k}\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}}$ .

Trzeci krok polega na wielokrotnym zastosowaniu oszacowania uzyskanego powyżej.

$|Ef(X_{n,1} + X_{n,2} + \dots + X_{n,n}) - Ef(G_{n,1} + G_{n,2} + \dots + G_{n,n})| \le$ $|Ef(X_{n,1} + \dots + X_{n,n}) - Ef(X_{n,1} + \dots + X_{n,n-1} + G_{n,n})| +$ $|Ef(X_{n,1} + \dots + X_{n,n-1} + G_{n,n}) - Ef(X_{n,1} + \dots + X_{n,n-2} + G_{n,n-1} + G_{n,n})| +$ $\dots + |Ef(X_{n,1} + G_{n,2} + \dots + G_{n,n}) - Ef(G_{n,1} + G_{n,2} + \dots + G_{n,n})|$ .

Rozpatrzmy $k$ -ty z powyższych wyrazów.

Podstawiamy $Y:= X_{n,1} + \dots + X_{n,k-1} + G_{n,k+1} + \dots + G_{n,n}$ . Zmienna $Y$ jest niezależna od $X n, k$ i $G n, k$ . Wobec tego $|Ef(X_{n,1} + \dots + X_{n,k} + G_{n,k+1} + \dots + G_{n,n}) - Ef(X_{n,1} + \dots + X_{n,k-1} + G_{n,k} + \dots + G_{n,n})| =$ $|Ef(Y + X_{n,k}) - Ef(Y + G_{n,k})| =\bigg|\int\limits_R Ef(y+X_{n,k})d\mu_Y (y) - \int\limits_R Ef(y+G_{n,k})d\mu_Y(y)\bigg| \le$ $\int\limits_R |Ef(y+X_{n,k}) - Ef(y+G_{n,k})|d\mu_Y(y) \le 2A\cdot D^2X_{n,k} \cdot \bigg(\max_{1 \le k \le n} \sqrt{D^2X_{n,k}}\bigg) + \frac{A}{6}D^2X_{n,k} \cdot \epsilon + B\cdot D^2X_{n,k}\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}}$ .

Zatem: $|Ef(X_{n,1} + X_{n,2} + \dots + X_{n,n}) - Ef(G_{n,1} + G_{n,2} + \dots + G_{n,n})| \le$ $2A\cdot \bigg(\sum_{k=1}^n D^2X_{n,k}\bigg) \cdot \bigg(\max_{1 \le k \le n} \sqrt{D^2X_{n,k}}\bigg) + \frac{A}{6}\bigg(\sum_{k=1}^n D^2X_{n,k}\bigg) \cdot \epsilon + B\cdot \bigg(\sum_{k=1}^n D^2X_{n,k}\cdot \mathbf 1_{\{|X_{n,k}|> \epsilon \}}\bigg) \le$ $2A \cdot \bigg(\max_{1 \le k \le n} \sqrt{D^2X_{n,k}}\bigg) + \frac{A}{6}\epsilon + B\cdot L_n(\epsilon)$ . Pierwszy i ostatni składnik z warunku Lindeberga zbiegają do zera, gdy $n$ dąży do nieskończoności. W związku z tym $\forall \epsilon > 0 \; \limsup_{n \to \infty} |Ef(X_{n,1} + \dots + X_{n,n}) - Ef(G_{n,1} + \dots + G_{n,n})| \le A\cdot \epsilon$ . Oznacza to, że $Ef(X_{n,1} + \dots + X_{n,k}) \xrightarrow[n \to \infty]{}Ef(G_{n,1}+\dots + G_{n,n}) = Ef(G)$ , gdzie $G ˜ N (0,1)$ .

Czwarty krok polega na wyliczenie dystrybuanty granicznej na podstawie powyższych oszacowań.

Weźmy funkcję $f : \mathbf R \to \mathbf R, f \in \mathbb C^3(R)$ spełniającą warunek $\forall x \in \mathbf R \; \mathbf 1_{(t+\delta,+\infty)}(x) \le f(x) \le \mathbf 1_{(t,+\infty)}(x)$ dla pewnych $t \in \mathbf R, \delta > 0$ .

Wówczas: $P(X_{n,1} + \dots + X_{n,n} \ge t) \ge Ef(X_{n,1} + \dots + X_{n,n}) \ge P(X_{n,1} + \dots + X_{n,n} \ge t+\delta)$ . Ale $Ef(X_{n,1} + \dots + X_{n,n}) \xrightarrow[n \to \infty]{} Ef(G)$ oraz $P(G \ge t) \ge Ef(G) \ge P(G\ge t+ \delta)$ . W związku z tym $\liminf_{n\to \infty} P(X_{n,1} + \dots + X_{n,n} \ge t) \ge P(G\ge t+\delta) \xrightarrow[\delta \to 0^+]{} P(G\ge t)$ oraz podobnie $\limsup_{n\to \infty} P(X_{n,1} + \dots + X_{n,n} \ge t) \le P(G\ge t -\delta) \xrightarrow[\delta \to 0^+]{} P(G\ge t)$ .

Otrzymujemy więc $P(X_{n,1} + \dots + X_{n,n} \ge t) \xrightarrow[n\to \infty]{} P(G \ge t) \Rightarrow P(X_{n,1} + \dots + X_{n,n} < t) \xrightarrow[n\to \infty]{} P(G < t)$ . Ale z ciągłości dystrybuanty rozkładu normalnego wnioskujemy, że $P(X_{n,1} + \dots + X_{n,n} \le t) \xrightarrow[n\to \infty]{} P(G \le t)$ . Ponieważ punktowa zbieżność dystrybuant w punktach ciągłości dystrybuanty granicznej jest równoważna zbieżności według rozkładu, więc ostatecznie $\sum_{k=1}^n X_{n,k} \xrightarrow[n\to \infty]{D} N(0,1)$ . $\Box$