Einführung in die Stochastik für Informatiker Dozent: Professor Mathar

Eine Vorlesungsmitschrift SS 2000

Thorsten Uthke 14. Juli 2000

Inhaltsverzeichnis

1 Einleitung 3

2 σ-Algebren und W’keitsverteilungen 4

3 Zufallsvariablen und ihre Verteilung 13 3.1 Diskrete Verteilungen/Zufallsvariablen . . . . . . . . . . . . . . . 14 3.2 Verteilungsfunktionen . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.3 Dichten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.4 Erzeugende Funktionen und Laplace-Transformierte . . . . . . . . 20

4 Produkträume und Zufallsvektoren 22 4.1 Produkträume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.2 Zufallsvektoren und Folgen von Zufallsvariablen . . . . . . . . . . 22

5 Transformationen von ZV/Verteilungen 28

6 Erwartungswerte und Momente von ZV 33

7 Bedingte Verteilungen und Erwartungswerte 41

8 Grenzwertsätze 44

9 Schätzfunktionen und Konfidenzintervalle 49 9.1 Methoden zur Bestimmung von Schätzern . . . . . . . . . . . . . 49 9.2 Gütekriterien für Schätzer . . . . . . . . . . . . . . . . . . . . . . 52 9.3 Konfidenzintervalle . . . . . . . . . . . . . . . . . . . . . . . . . . 54

1 Einleitung

Betrachte ”Zufallsexperimente”, z.B.

- Münzwurf, Würfelwurf, Spiele, Roulette, Lotto

- Ankunft von Kunden an Schaltern, Pakete in Netzwerken

- Input für Algorithmen

- Signale, die von einer Quelle ausgesendet werden

- Positionierung von Mobilstationen in Zellnetzen

Gemeinsam in diesen Beispielen: Interessierende Größen können nicht genau vorhergesagt werden, sind zufallsabhängig Stochastik: mathematische Behandlung von Zufallsphänomenen

Teilgebiete:

• Wahrscheinlichkeitstheorie

– theoretisch (stochastische Prozesse, Grenzwertsätze, stochastische Diffentialgleichungen)

– angewandt = stochastische Modellierung (Warteschlangen, Zuverlässigkeitstheorie, stochastische Signalerkennung)

• mathematische Statistik (mit Teilgebieten)

Hier: Wahrscheinlichkeitstheorie, angewandt, stochastische Modellierung, Betonung der Anwendung in der Informatik \underline{Ziel der Vorlesung:} Bereitstellung der Grundlagen, Basis für weiterführende Vorlesungen

Warteschlangensysteme (I), Warteschlangennetze (II), Informationstheorie I,II, Kryptologie, stochastische Simulation, zufallsgesteuerte Optimierungsverfahren

Historiche Entwicklung

Fermat (1601-65), Pascal (1623-62), Bernoulli (1654-1705)

Laplace (1749-1827): Kombinatorischer Zugang, motiviert durch Spielprobleme, relative Häufigkeiten als Wahrscheinlichkeiten

Kolmogoroff (1933): Axiomatische Entwicklung

4 2 σ-ALGEBREN UND W’KEITSVERTEILUNGEN

2 σ-Algebren und W’keitsverteilungen

Mathematische Beschreibung von Zufallsexperimenten mit Mengen. Betrachte relevante Ergebnisse und fasse sie zu einer Menge zusammen. Ω: Ergebnismenge (oft ℕ, ℤ, ℝ, ℝ^{n}, {0, 1}^{ℕ}) Ereignisse werden durch Teilmengen von Ω beschrieben. Zunächst P(Ω) als Ereignismenge.

W’keiten von Ereignissen durch Funktion P : P(Ω) → [0, 1] mit den Eigenschaften (*):

• P (Ω) = 1

• P (∅) = 0

• P (A^{C}) = 1 − P (A) ∀A ∈ P(Ω)

• P (A ∪ B) = P (A) + P (B) ∀A, B ∈ P(Ω) mit A ∩ B = ∅

σ-Additivität: P (⋃_{i=1}^{∞} A_{i}) = ∑_{i=1}^{∞} P (A_{i}) A_{i} ∈ P(Ω) mit A_{i} paarweise disjunkt ^{1}

Schrechweisen: A^{C}: ”A tritt nicht ein”, A ∈ P(Ω) A ∪ B: ”A oder B treten ein”, A, B ∈ P(Ω) A ∩ B: ”A und B treten ein”, A, B ∈ P(Ω)

Wie erhält man W’keiten? Bei endlichem Ω durch Abzählen.

Definition 2.1 (Laplacescher W’begriff) Ω sei eine endliche Menge. |A| bezeichnet die Mächtigkeit von A ⊆ Ω. Durch P (A) = \frac{|A|}{|Ω|} für A ∈ P(Ω) wird eine W’verteilung P auf P(Ω) mit den Eigenschaften (*) definiert. P heißt Laplace-Verteilung oder diskrete Gleichverteilung über Ω.

Beispiel 2.2 (Binäre Suche) Geg. geordnetes Feld von 2^{n} − 1 Elementen. Schlüsselelement y vergleichbar mit den Elementen. Problem: Ist y in dem Feld vorhanden und an welcher Stelle? Algorithmus: Binary search Stochastisches Modell: Ω = \{0, 1, …, 2^{n} − 1\}, w ∈ Ω = \{ \begin{matrix}w ≥ 1 : & gesuchtes Element an Stelle w \\ w = 0 : & y nicht vorhanden \end{matrix}

Bestimme Ereignisse A_{k}: y wird im k-ten Schritt gefunden. A_{1} = {2^{n−1}}, A_{2} = {2^{n−2}, 3 · 2^{n−2}},…, A_{k} = {(2j − 1)2^{n−k}|j = 1, …, 2^{k−1}} für k = 1, …, n Annahme: Jede Platznummer und 0 sind gleichwahrscheinlich. Dann |A_{k}| = 2^{k−1}, P (A_{k}) = \frac{2^{k−1}}{2^{n}} für 1 ≤ k ≤ n ⟹ W’keit, y in genau k Schritten zu finden Zusammengesetzte Ereignisse B_{k}: y wird in höchstens k Schritten gefunden B_{k} = ∑_{j=1}^{k} A_{j} mit j = 1, …, k und die A_{j} disjunkt P (B_{k}) = P (⋃_{j=1}^{k} A_{j}) = ∑_{j=1}^{k} P (A_{j}) = ∑_{j=1}^{k} \frac{2^{j−1}}{2^{n}} = \frac{1}{2^{n}} (2^{k} − 1) = \frac{2^{k}−1}{2^{n}}

1d.h. A_{i} ∩ A_{j} = ∅ ∀i ≠ j

Komplizierte Anzahlbestimmungen durch kombinatorische Überlegungen.

Beispiel 2.3 (Hashing) Universum U, M ⊆ U, |M| = k, M soll abgespeichert werden Hashtafel: a : array[0, …, n − 1] of … Hashfunktion: h : U → [0, …, n − 1] Einfache Funktion! Speichere x ∈ M in a[h(x)] Kollision, falls h(x) = h(y) für x ≠ y (Auflösung durch linerare Liste)

Stochastisches Modell: (”Rein zufälliges” Ablegen von k Daten in Feld der Länge n) S = {1, …, n} (Speicherplätze) Ω = S^{k} (k − n−Permutationen mit Wiederholungen/Kollisionen) A_{k,n} (k − n−Permutationen ohne Wiederholungen/Kollisionen)

Wahrscheinlichkeit für kollisionsfreie Abspeicherung: P (A_{k,n}) = \frac{|A_{k,n}|}{|Ω|} = \frac{n(n−1)...(n−k+1)}{n^{k}} = ∏_{i=0}^{k−1}(1 − \frac{i}{n}) = exp(ln(∏_{i=0}^{k−1}(1 − \frac{i}{n})))

= exp(∑_{i=0}^{k−1} ln(1 − \frac{i}{n}))

≤^{(∗)} exp(− ∑_{i=0}^{k−1} \frac{i}{n})

= exp(−\frac{(k−1)k}{2n})

Benutzte Abschätzung (∗): ln x ≤ x − 1 ∀x ≥ 0 ⟹ ln(1 − x) ≤ −x ∀x ≤ 1

[figure: x − 1; ln x; −1]

Zahlenbeispiel: Für n = 365 und k = 23 ist P (A_{k,n}) ≤ 0, 499998

Der Laplacesche W’begriff reicht nicht aus, da

• Ω ist oft ∞ oder überabzählbar

• Viele Experimente sind nicht durch eine diskrete Gleichverteilung beschreibbar

Beispiel 2.4 (∞-Münzwurf) Kopf ˆ=1, Zahl ˆ=0 Bestimme ein Modell für nicht-abbrechende Folge von Münzwürfen. (Wird gebraucht bei der Frage ”Wann tritt zum ersten Mal Kopf (Zahl) auf?”. Jeder beliebig ferne Wurf könnte der erste sein.).

Stochastisches Modell: Ω = {w = (x_{1}, x_{2}, …)|x_{i} ∈ {0, 1}} = {0, 1}^{ℕ} Menge der 0-1-Folgen Bekannt: Ω ist überabzählbar. Problem: Beschreibe Gleichverteilung auf Ω Ansatz: P ({w}) = δ > 0 Sei A = {w_{1}, w_{2}, …} ⊂ Ω unendlich, aber abzählbar. Dann P (A) = ∑_{i=1}^{∞} P ({w_{i}}) = ∑_{i=1}^{∞} δ = ∞ Wiederspruch zu P (Ω) = 1. Also: P ({w}) = 0 ∀w ∈ Ω Wenig hilfreich!

Beispiel 2.5 (Gleichverteilung über [0, 1]) (z.B. jede reelle Zahl zwischen 0 und 1 ist gleich wahrscheinlich) Ω = [0, 1] (Ergebnismenge) Versuch: Ereignismenge = P(Ω) Forderungen:

1) P ([a, b]) = b − a ∀0 ≤ a < b ≤ 1

2) P ist σ-additiv

Es gilt: Eine Funktion P mit diesen Eigenschaften existiert nicht. Im ℝ^{3} gibt es sogar keine, wenn nur endliche Additivität verlangt wird: Es gibt kein endlich additives drehinvariantes^{2} Maß auf P(ℝ^{3}). (Hausdorff 1914)

Für einen allgemeinen W’begriff (ohne Existenzprobleme): Ereignismenge nicht P(Ω), sondern kleineres Mengensystem wählen, das noch alle interessanten Ereignisse enthält.

Definition 2.6 Sei Ω ≠ ∅, 𝔄 ⊆ P(Ω) ein System von Teilmengen von Ω. 𝔄 heißt σ-Algebra (von Ereignissen) über Ω, wenn

(i) Ω ∈ 𝔄 (ii) A ∈ 𝔄 ⟹ A^{C} ∈ 𝔄 (iii) A_{n} ∈ 𝔄 ∀n ∈ ℕ ⟹ ⋃_{n=1}^{∞} A_{n} ∈ 𝔄

(Ω, 𝔄) heißt Meßraum.

Mit den De Morgan-Regeln: A_{n} ∈ 𝔄 ⟹^{ii)} A_{n}^{C} ∈ 𝔄 ⟹^{iii)} ⋃_{n=1}^{∞} A_{n}^{C} ∈ 𝔄

⟹^{ii)} (⋃_{n=1}^{∞} A_{n}^{C})^{C} ∈ 𝔄 ⟹ ⋂_{n=1}^{∞} A_{n} ∈ 𝔄 ∀n ∈ ℕ

σ-Algebren enthalten alle Ereignisse, die durch Verknüpfungen (abzählbar vieler Ereignisse) mit ”und”, ”oder” und ”nicht” entstehen. Dies ist wichtig für die Festlegung von W’verteilungen.

Beispiel 2.7

a) P(Ω) ist stets eine σ-Algebra (die feinste σ-Algebra)

b) {∅, Ω} ist eine σ-Algebra (die gröbste σ-Algebra)

c) Ω = ℕ, G = {2, 4, 6, …}, U = {1, 3, 5, …}, 𝔄 = {∅, G, U, Ω} ist σ-Algebra d) Ω = ℝ, E = {(a, b]|a < b mit a, b ∈ ℝ} ist keine σ-Algebra

2Wenn man im ℝ^{3} einen Körper dreht, muss er derselbe bleiben.

Denn sei a < b < c < d. (a, b] ∈ E und (c, d] ∈ E, aber (a, b] ∪ (c, d] ∉ E.

Problem: Gibt es eine kleinste (im Sinne der Mengeninklusion) σ-Algebra, die E enthält?

Lemma 2.8 Ω ≠ ∅, 𝔄_{i} sei σ-Algebra über Ω für alle i ∈ I. Dann ist ⋂_{i∈I} 𝔄_{i} ebenfalls eine σ-Algebra. (Beweis in der Übung 2)

Sei E ⊆ P(Ω). 𝔄(E) = ⋂ ; 𝔄 ist σ-Algebra und E ⊆ 𝔄 𝔄 ist die kleinste σ-Algebra, die E

enthält, ist die von E erzeugte σ-Algebra.

Definition 2.9 Sei Ω = ℝ, E = {(a, b]|a < b mit a, b ∈ ℝ}. 𝔅 = 𝔄(E) heißt Borelsche σ-Algebra.

Auf σ-Algebren können W’verteilungen mit den Eigenschaften (*) (Seite 4) definiert werden.

Definition 2.10 Ω ≠ ∅, 𝔄 eine σ-Algebra. Eine Abbildung P : 𝔄 → [0, 1] mit

(i) P (Ω) = 1 (ii) P (⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}) ∀A_{n} ∈ 𝔄, paarweise disjunkt

heißt Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß auf (Ω, 𝔄). (Ω, 𝔄, P) heißt Wahrscheinlichkeitsraum.

Der Laplacesche W’begriff (Def. 2.1) ist ein Spezialfall von Def. 2.10. Denn für 𝔄 = P(Ω) erfüllt P (A) = \frac{|A|}{|Ω|}

(i) P (Ω) = \frac{|Ω|}{|Ω|} = 1

(ii) P ( ⋃_{n=1}^{∞} A_{n}) = ^{\frac{| ⋃_{n=1}^{∞} A_{n}|}{|Ω|}} = ^{\frac{∑_{n=1}^{∞} |A_{n}|}{|Ω|}} = ∑_{n=1}^{∞} \frac{|A_{n}|}{|Ω|} = ∑_{n=1}^{∞} P (A_{n})

∀A_{n} paarweise disjunkt

Sei (Ω, 𝔄, P) W’raum. Eine Folge von Ereignissen {A_{n}}_{n∈ℕ} heißt aufsteigend (absteigend), wenn A_{n} ⊆ A_{n+1} (A_{n+1} ⊆ A_{n}) für alle n ∈ ℕ.

⋃_{n=1}^{∞} A_{n} = lim_{n→∞} A_{n} ( ⋂_{n=1}^{∞} A_{n} = lim_{n→∞} A_{n}) heißt Limes der Mengenfolge {A_{n}}.

Lemma 2.11 (Eigenschaften von W’verteilungen) (Ω, 𝔄, , P) sei W’raum. A, B, A_{n} ∈ 𝔄 ∀n ∈ ℕ.

a) P (A^{C}) = 1 − P (A) b) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)

c) P (A) ≤ P (B) falls A ⊆ B

d) P (B \ A) = P (B) − P (A) falls A ⊆ B

e) {A_{n}} aufsteigend ⟹ P ( lim_{n→∞} A_{n}) = lim_{n→∞} P (A_{n}) (Stetigkeit von unten) {A_{n}} absteigend ⟹ P ( lim_{n→∞} A_{n}) = lim_{n→∞} P (A_{n}) (Stetigkeit von oben)

Beweis: a)-d) in der 2. Übung

e) 1.) {A_{n}} aufsteigend, d.h. A_{n} ⊆ A_{n+1} ∀n ∈ ℕ Setze B_{1} = A_{1}, B_{2} = A_{2} \ A_{1}, …, B_{n+1} = A_{n+1} \ A_{n}

Dann gilt B_{n} p.d. (paarweise disjunkt) und ⋃_{n=1}^{∞} A_{n} = ⋃_{n=1}^{∞} B_{n}. Setze A_{0} = ∅,

dann ist P ( ⋃_{n=1}^{∞} A_{n}) = P ( ⋃_{n=1}^{∞} B_{n}) =^{ii)} ∑_{n=1}^{∞} P (B_{n}) = lim_{k→∞} ∑_{n=1}^{k} P (A_{n} \ A_{n−1})

= lim_{k→∞} ∑_{n=1}^{k}[P (A_{n}) − P (A_{n−1})] = lim_{k→∞} P (A_{k})

2.) {A_{n}} absteigend ⟹ {A_{n}^{C}} aufsteigend. Es gilt:

P ( ⋂_{n=1}^{∞} A_{n}) = 1 − P ( ⋃_{n=1}^{∞} A_{n}^{C}) =^{1.)} 1 − lim_{n→∞} P (A_{n}^{C}) = lim_{n→∞}(1 − P (A_{n}^{C}))

= lim_{n→∞} P (A_{n})

Lemma 2.12 (Ω, 𝔄, P) sei W’raum. A_{1}, …, A_{n} ∈ 𝔄.

a) Siebformel von Pomcare-Sylvester (inclusion-exclusion-formula)

P ( ⋃_{i=1}^{n} A_{i}) = ∑_{i=1}^{n} P (A_{i}) − ∑_{1≤i_{1}<i_{2}≤n} P (A_{i_{1}} ∩ A_{i_{2}}) + ∑_{1≤i_{1}<i_{2}<i_{3}≤n} P (A_{i_{1}} ∩ A_{i_{2}} ∩

A_{i_{3}}) − … + … + (−1)^{n+1}P ( ⋃_{i=1}^{n} A_{i})

b) Bonferroni-Ungleichung (Bonferroni inequality)

∑_{i=1}^{n} P (A_{i}) − ∑_{1≤i_{1}<i_{2}≤n} P (A_{i_{1}} ∩ A_{i_{2}}) ≤ P ( ⋃_{i=1}^{n} A_{i}) ≤ ∑_{i=1}^{n} P (A_{i})

Weitere obere bzw. untere Schranken durch Abbruch in a) nach + oder - Zeichen

Beispiel 2.13 (Sortieren) (Recourtre-Problem) Betrachte Feld der Länge n von vergleichbaren, verschiedenen Elementen. Alle Anordnungen seien gleichwahrscheinlich. Stoch. Modell: Ω = {Permutationen von {1, …, n}}, 𝔄 = P(Ω) P (\{w\}) = \frac{1}{|Ω|} = \frac{1}{n!} ∀w ∈ Ω

a) Bestimme die W’keit, daß mindestens ein Element an der richtigen Stelle ist (vorsortiert). A_{j} = {w = (w_{1}, …, w_{n}) ∈ Ω|w_{j} = j} j-tes Element an der richtigen Stelle Gesucht: P (A_{1} ∪ … ∪ A_{n}) = P (⋃_{i=1}^{n} A_{i}) Berechnung mit Hilfe der Siebformel: 1 ≤ i_{1} < i_{2} ≤ n, l ≤ n

⋂_{j=1}^{l} A_{i_{j}} = {w ∈ Ω|w_{i_{j}} = i_{j}, j = 1, …, l}, | ⋂_{j=1}^{l} A_{i_{j}}| = (n − l)!

Also P ( ⋂_{j=1}^{l} A_{i_{j}}) = \frac{(n−l)!}{n!} = _{\frac{1}{\binom{n}{l}l!}} mit l = 1, …, n

Außerdem: |\{(i_{1}, …, i_{l})|1 ≤ i_{1} < … < i_{l} ≤ n\}| = \binom{n}{l}

Insgesamt: P ( ⋃_{j=1}^{n} A_{j}) = ∑_{j=1}^{n} P (A_{i}) − ∑_{i<j} P (A_{i} ∩ A_{j}) + … + (−1)^{n+1}P ( ⋂_{j=1} A_{j})

= \frac{n}{n} − \binom{n}{2}_{\frac{1}{\binom{n}{2}2!}} + \binom{n}{3}_{\frac{1}{\binom{n}{3}3!}} − … + (−1)^{n+1}\binom{n}{n}_{\frac{1}{\binom{n}{n}n!}}

= 1 − \frac{1}{2!} + \frac{1}{3!} − … + \frac{(−1)^{n+1}}{n!}

= 1 − (1 − \frac{1}{1!} + \frac{1}{2!} − \frac{1}{3!} + … + \frac{(−1)^{n}}{n!} ) →^{n→∞} 1 − e^{−1} ≈ 0, 6321

n groß: W’keit für mindestens ein vorsortiertes Element ist 0, 6321 (fast unabhängig von n)

b) Bestimme die W’keit, daß mindestens k Elemente vorsortiert sind.

P ( ⋃_{1≤i_{i}<...<i_{k}≤n} ⋂_{l=1}^{k} A_{i_{l}}) ≤^{Lemma 2.12b)} ∑_{1≤i_{i}<...<i_{k}≤n} P ( ⋂_{l=1}^{k} A_{i_{l}}) = \binom{n}{k}_{\frac{1}{\binom{n}{k}k!}} = \frac{1}{k!}

fällt sehr schnell mit steigendem k

c) Bestimme die W’keit, daß genau k Elemente vorsortiert sind. Nach a): W’keit, daß in einem Feld der Länge n−k kein Element vorsortiert ist: 1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n−k)!} ⟹ Anzahl der Anordnungen, beim denen kein Element vorsortiert ist: (n − k)!(1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n−k)!} ) Anzahl der Möglichkeiten, ein Feld der Länge n in ein Teilfeld der Länge n − k und eines der Länge k aufzuteilen: \binom{n}{k} Insgesamt: W’keit, daß genau k Elemente vorsortiert sind: \frac{1}{n!} \binom{n}{k}(n − k)!(1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n−k)!} ) = \frac{1}{k!}(1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n−k)!} )

Wie legt man W’keiten fest, wenn schon bekannt ist, daß das Ergebnis in einer bestimmten Teilmenge liegt?

Motivierendes Beispiel 5000 Chips von zwei Firmen. Ω mit |Ω| = 5000. A: Chips der Firma A, mit |A| = 1000 B: Chips der Firma B, mit |B| = 4000 D: Defekte Chips, mit |D| = 300 Gelte: |A ∩ D| = 100 (10% defekt) und |B ∩ D| = 200 (5% defekt) Ziehe zufällig einen Chip (Laplace-Modell). W’keit, daß der Chip defekt ist, wenn er von Firma A stammt:

P (D|A) = \frac{|D∩A|}{|A|} = \frac{|D∩A|/Ω}{|A|/Ω} = \frac{P (D∩A)}{P (A)} = \frac{100/5000}{1000/5000} = 0, 1

Auch: P (A|D) = \frac{|A∩D|}{|D|} = \frac{|A∩D|/Ω}{|D|/Ω} = \frac{P (A∩D)}{P (D)} = \frac{100/5000}{300/5000} = \frac{1}{3} Definition 2.14 (Ω, 𝔄, P) sei W’raum. A, B ∈ 𝔄, P (B) > 0. P (A|B) = \frac{P (A∩B)}{P (B)} heißt (elementare) bedingte Wahrscheinlichkeit von A unter (der Hypothese) B. Durch P (A^{3}|B) : 𝔄 → [0, 1] mit A ↦ P (A|B) wird eine W’verteilung auf 𝔄 definiert, die (elementare) bedingte Verteilung unter B.

Satz 2.15 (Ω, 𝔄, P) sei W’raum. B_{n} ∈ 𝔄 für n ∈ ℕ sei Partition von Ω, d.h. ⋃_{n=1}^{∞} B_{n} = Ω und B_{n} paarweise disjunkt.

a) Satz von der totalen W’keit Für alle A ∈ 𝔄 gilt:

P (A) = ∑_{n=1}^{∞} P (A|B_{n})P (B_{n}) (Konvention: ”Nicht definiert”·0 = 0, z.B. \frac{x}{0} · 0 = 0)

b) Bayes-Formel Falls P (A) > 0, gilt für alle n ∈ ℕ P (B_{n}|A) = \frac{P (A|B_{n})P (B_{n})}{∑_{j=1}^{∞} P (A|B_{j})P (B_{j})}

Beweis:

a) P (A) = P (⋃^{·}_{n=1}^{∞} A ∩ B_{n}) = ∑_{n=1}^{∞} P (A ∩ B_{n}) = ∑_{n=1}^{∞} P (A|B_{n})P (B_{n})

b) P (B_{n}|A) = \frac{P (B_{n}∩A)}{P (A)} = \frac{P (A|B_{n})P (B_{n})}{∑_{j=1}^{∞} P (A|B_{j})P (B_{j})}

Wichtiger Spezialfall: P (A|B) = P (A|B^{C}), wobei P (B) > 0, P (B^{C}) > 0 (∗) (W’keit für das Eintreten von A hängt nicht vom Eintreten von B ab.)

Dann gilt: P (A) = P (A ∩ B) + P (A ∩ B^{C}) = P (A|B)P (B) + P (A|B^{C})P (B^{C}) =^{(∗)}

P (A|B)(P (B) + P (B^{C})) = P (A|B) = \frac{P (A∩B)}{P (B)}

Also: P (A) = \frac{P (A∩B)}{P (B)} ⟺ P (A)P (B) = P (A ∩ B) Diese Definition wird erweitert auf n Ereignisse A_{1}, …, A_{n} ∈ 𝔄, bzw. auf Folgen von Ereignissen.

Definition 2.16 (Ω, 𝔄, P) sei W’raum. A_{1}, …, A_{n} ∈ 𝔄 Ereignisse. A_{1}, …, A_{n} heißen (gemeinsam) stochastisch unabhängig, wenn P (A_{i_{1}} ∩ … ∩ A_{i_{k}}) = P (A_{i_{1}}) … P (A_{i_{k}}) für alle 1 ≤ i_{1} < … < i_{k} ≤ n und für alle k. Eine Folge {A_{n}}_{n∈ℕ} von Ereignissen heißt stochastisch unabhängig, wenn die A_{1}, …, A_{n} für alle n ∈ ℕ stochastisch unabhängig sind.

Beachte: Aus paarweiser stochastischer Unabhängigkeit folgt nicht die (gemeinsame) stochastische Unabhängigkeit!

Lemma 2.17 (Ω, 𝔄, P) sei W’raum. A_{1}, …, A_{n} ∈ 𝔄. Es gilt: A_{1}, …, A_{n} ∈ 𝔄 stochastisch unabhängig

⟺ ∀B_{i} ∈ {A_{i}, A_{i}^{C}}, i = 1, …, n: P (⋂_{i=1}^{n} B_{i}) = ∏_{i=1}^{n} P (B_{i}) Es gilt: A_{1}, …, A_{n} ∈ 𝔄 stochastisch unabhängig

⟺ ∀B_{i} ∈ {A_{i}, A_{i}^{C}}, i = 1, …, n: B_{1}, …, B_{n} stochastisch unabhängig Beweis: Stochastik für Informatiker (Mathar & Pfeiffer)

3A variabel in 𝔄

Beispiel 2.18 System bestehe aus 5 Komponenten:

[figure: K_{1}; 0, 9; K_{2}; 0, 8; K_{3}; 0, 9; K_{4}; 0, 7; K_{1}; 0, 7]

System ist intakt, wenn mindestens ein ”Pfad” intakt ist. W’keit, daß Komponete i intakt ist: p_{i} für i = 1, …, 5 (Werte in Skizze) {Komponente K_{i} intakt} seien stochastisch unabhängige Ereignisse.

Modellbildung: Ω = {(x_{1}, …, x_{5})|x_{i} ∈ {0, 1}} (x_{i} = 1: Komponente i intakt) A_{i} = {(x_{1}, …, x_{5})|x_{i} = 1}, P (A_{i}) = p_{i} (Komponente i intakt) A_{1}, …, A_{5} stochastisch unabhängig S = (A_{1} ∩ A_{4}) ∪ (A_{2} ∩ A_{4}) ∪ (A_{2} ∩ A_{5}) ∪ (A_{3} ∩ A_{5}) (System intakt) P (S) = P ((A_{1} ∩ A_{4}) ∪ (A_{2} ∩ A_{4}) ∪ (A_{2} ∩ A_{5}) ∪ (A_{3} ∩ A_{5}) Vereinigung nicht disjunkter Mengen ⟹ Berechnung mit Sylvesterformel möglich, aber sehr aufwendig!

Mit Satz 2.15 a):

P (S) = \underbrace{P (S|A_{2})P (A_{2})}_{(∗1)} + \underbrace{P (S|A_{2}^{C})}_{(∗2)} P (A_{2}^{C})

(∗1): P (S|A_{2}) = P (A_{4} ∪ A_{5}) = 1 − P (A_{4}^{C} ∩ A_{5}^{C}) = 1 − P (A_{4}^{C})P (A_{5}^{C})

= 1 − (1 − p_{4})(1 − p_{5})

(∗2): P (S|A_{2}^{C}) = P ((A_{1} ∩ A_{4}) ∪ (A_{3} ∩ A_{5})) = 1 − P ((A_{1} ∩ A_{4})^{C} ∩ (A_{3} ∩ A_{5})^{C})

= 1 − (1 − p_{1}p_{4})(1 − p_{3}p_{5})

Insgesamt: P (S) = [1 − (1 − p_{4})(1 − p_{5})]p_{2} + [1 − (1 − p_{1}p_{4})(1 − p_{3}p_{5})](1 − p_{2}) = … = 1 − p_{2}(1 − p_{4})(1 − p_{5}) − (1 − p_{2})(1 − p_{1}p_{4})(1 − p_{3}p_{5}) = 0, 90062

Mit Satz 2.15 b): (W’keit, daß Komponente 2 intakt, wenn System intakt) P (A_{2}|S) = \frac{P (S|A_{2})P (A_{2})}{P (S)} = \frac{0,91·0,8}{0,90062} = 0, 80833

Betrachte Limites von Mengenfolgen die nicht notwendig auf- oder absteigend sind.

Beispiel 2.19 (unendlicher Münzwurf) Ω = {w = (x_{1}, x_{2}, …)|x_{i} ∈ {0, 1}} A_{n} = {w = (x_{1}, x_{2}, …)|x_{n} = 1} (im n-ten Wurf fällt Kopf) Beschreibe das Ereignis A: es fällt ∞-oft Kopf = es treten ∞ viele der A_{n} ein

A = {w|w ∈ A_{n} für ∞ viele n} = {w|∀k∃n ≥ k : w ∈ A_{n}} = ⋂_{k=1}^{∞} ⋃_{n=k}^{∞} A_{n}

Analog: B: Fast alle der A_{n} treten ein (alle bis auf endlich viele Ausnahmen)

B = {w|w ∈ A_{n} für fast alle n} = {w|∃k∀n ≥ k : w ∈ A_{n}} = ⋃_{k=1}^{∞} ⋂_{n=k}^{∞} A_{n}

Definition 2.20 (Ω, 𝔄, P) sei W’raum. A_{n} ∈ 𝔄, n ∈ ℕ

lim sup_{n→∞} A_{n} = lim_{n→∞} ( ⋃_{k=n}^{∞} A_{k}) = ⋂_{n=1}^{∞} ⋃_{k=n}^{∞} A_{k} heißt Limes superior der {A_{n}}

Der Limes superior einer Ereignisfolge {A_{n}} ist die Menge der w ∈ Ω, die in unendlich vielen der A_{n} liegen; d.h., daß unendlich viele der A_{n} eintreten.

lim inf_{n→∞} A_{n} = lim_{n→∞} ( ⋂_{k=n}^{∞} A_{k}) = ⋃_{n=1}^{∞} ⋂_{k=n}^{∞} A_{k} heißt Limes inferior der {A_{n}}

Der Limes inferior einer Ereignisfolge {A_{n}} ist die Menge der w ∈ Ω, die in fast allen der A_{n} liegen; d.h., daß fast alle der A_{n} eintreten.

Satz 2.21 (Borel-Cantelli-Lemma, auch 0-1-Gesetz) (Ω, 𝔄, P) sei W’raum. A_{n} ∈ 𝔄, n ∈ ℕ

a) ∑_{n=1}^{∞} P (A_{n}) < ∞ ⟹ P (lim sup_{n→∞} A_{n}) = 0

b) ∑_{n=1}^{∞} P (A_{n}) = ∞ ⟹ P (lim sup_{n→∞} A_{n}) = 1, falls {A_{n}}_{n∈ℕ} stoch. unabh.

Beweis:

a) P ( ∑_{n=k}^{∞} A_{n}) ≤ ∑_{n=k}^{∞} P (A_{n}) → 0 (für k → ∞)

P (lim sup_{n→∞} A_{n}) = P ( ⋂_{k=1}^{∞} \underbrace{⋃_{n=k}^{∞} A_{n}}_{B_{k}, absteigend}) =^{Lemma 2.11e} lim_{k→∞} P ( ∑_{n=k}^{∞} A_{n}) = 0

b) Rückseite von Übung 3

Beispiel 2.22 ∞-Würfelwurf, unabhängige Würfe, Ω = {w = (w_{1}, w_{2}, …)|w_{i} ∈ {1, …, 6}} W’keit, daß ∞-oft die Sequenz 1, 2, …, 6 fällt? Setze A_{n} = {w|w_{n} = 1, w_{n+1} = 2, …, w_{n+5} = 6} (ab dem n-ten Wurf fällt die Sequenz 1, 2, …, 6) Beachte: {A_{n}}_{n∈ℕ} ist nicht stoch. unabhängig! Die Folge {A_{6n}}_{n∈ℕ} ist stoch. unabhängig. Mit Borel-Cantelli gilt:

P (lim sup_{n→∞} A_{n}) ≥ P (lim sup_{n→∞} A_{6n}) = 1, da ∑_{n=1}^{∞} P (A_{6n}) = ∑_{n=1}^{∞} \frac{1}{6^{6}} = ∞.

3 Zufallsvariablen und ihre Verteilung

Zur Motivation: (Ω, 𝔄, P) W’raum: Beschreibung von Zufallsexperimenten, Modellierung von Zufallseinflüßen

• Oft interessiert nicht das gesamte Modell, sondern gewisse Teilgrößen, z.B. 5000 Stichproben mit Ausgang ”gut/schlecht”. Von Interesse ist nur die Anzahl der schlechten Stücke. Ω = {(x_{1}, …, x_{5000})|x_{i} ∈ {g, s}} wäre die Ereignismenge T = {0, …, 5000} von Interesse

• Ergebnisse von Zufallsexperimenten sind oft Zahlen oder Vektoren. Oft sind arithmetische Operationen nützlich, z.B. 5000 Münzwürfe mit Ergebnis 0 oder 1 (s.o.). x_{1}, …, x_{5000} ∈ {0, 1} Von Interesse: Anzahl Einsen: ∑_{i=1}^{5000} x_{i} oder x_{1}, …, x_{n} ∈ ℝ^{+} (z.B. Verzögerungszeiten in einem Switch) \overline{x} = \frac{1}{n} ∑_{i=1}^{n} x_{i} (mittlere Verzögerungszeit, Mittelwert)

Modellierung allgemein mit Zufallsvariablen

Definition 3.1 (Zufallsvariable) (Ω, 𝔄, P) sei W’raum. Eine Abbildung X : Ω → ℝ heißt Zufallsvariable (ZV) oder Zufallsgröße (random variable (r.v.)),

wenn X^{−1}(B) = {w ∈ Ω|X(w) ∈ B} =^{kurz} {X ∈ B} ∈ 𝔄 für alle B ∈ 𝔅^{1}. Diese

Bedingung heißt Meßbarkeit von X. Schreibweise: X : (Ω, 𝔄) → (ℝ, 𝔅^{1}) (X ist Abbildung und meßbar) Bemerkung: Der Begriff ”Zufallsvariable” hat sich eingebürgert, obwohl es sich eigentlich um ”Funktionen” handelt. Betont wird die Modellierung des Zufalls, wichtig ist die Verteilung von ZV.

Lemma 3.2 X : (Ω, 𝔄) → (ℝ, 𝔅^{1}) sei Zufallsvariable. Durch

P^{X}(B) := P (X^{−1}(B)) = P ({w|X(w) ∈ B}) =^{kurz} P (X ∈ B) für B ∈ 𝔅^{1} wird

eine W’verteilung auf (ℝ, 𝔅^{1}) definiert. P^{X} heißt Verteilung der ZV X.

Beweis: Überprüfe Definition 2.10:

(i) P^{X}(ℝ) = P (X^{−1}(ℝ)) = P (Ω) = 1 (ii) B_{n} paarw. disj., B_{n} ∈ 𝔅^{1}, n ∈ ℕ

P^{X}(⋃_{n=1}^{∞} B_{n}) = P (\underbrace{X^{−1}(\underbrace{⋃_{n=1}^{∞} B_{n}}_{∈𝔅^{1}})}_{∈𝔄}) = P (⋃_{n=1}^{∞} \underbrace{X^{−1}(B_{n})}_{paarw. disj.})

= ∑_{n=1}^{∞} P (X^{−1}(B_{n})) = ∑_{n=1}^{∞} P^{X}(B_{n})

Wesentlich in Definition 3.1: ”meßbar”, d.h. ZV X induzieren auf (ℝ, 𝔅^{1}) die Verteilung P^{X}. Math. Modell für Zufallsexperimente häufig:

(Ω, 𝔄, P)  X  \overline{}(ℝ, 𝔅^{1}, P^{X})

Modelliert alle Zufallseinflüße, genaue Kentniss oft nicht erforderlich, lediglich Existenz nötig Modelliert die interessierenden beobachteten Größen, P^{X} oft als Parameter bekannt. Beachte: (ℝ, 𝔅^{1}, P^{X}) ist ein W’raum, bisherige Regeln gelten auch hier

Beispiel 3.3 (Binomialverteilung) n-facher Münzwurf, Kopf ˆ=1, Zahl ˆ=0, Würfe unabhängig. Kopf mit W’keit p, Zahl mit W’keit 1 − p in jedem Wurf. Modell: Ω = {w = (x_{1}, …, x_{n})|x_{i} ∈ {0, 1}} 𝔄 = P(Ω),

P (\{(x_{1}, …, x_{n})\}) = \underbrace{p … p}_{Anz. Einsen} \underbrace{(1 − p) … (1 − p)}_{Anz. Nullen} = p^{∑_{i=1}^{n} x_{i}}(1 − p)^{n−∑_{i=1}^{n} x_{i}}

ZV X = Anz. der Einsen X(w) = X((x_{1}, …, x_{n})) ∑_{i=1}^{n} x_{i}

Wertebereich von X: T = {0, 1, …, n} Verteilung von X: P^{X}({k}) = P (X^{−1}({k})) = P ({w|X(w) = k})

=^{kurz} P (X = k) = P ({(x_{1}, …, x_{n})| ∑_{i=1}^{n} x_{i} = k})

= ∑ ; (x_{1},...,x_{n}):∑_{i=1}^{n} x_{i}=k p^{∑_{i=1}^{n} x_{i}}(1 − p)^{n−∑_{i=1}^{n} x_{i}}

= ∑ ; (x_{1},...,x_{n}):∑_{i=1}^{n} x_{i}=k p^{k}(1 − p)^{n−k} = \binom{n}{k}p^{k}(1 − p)^{n−k} für k = 0, 1, …, n

Eine Zufallsvariable heißt binomialverteilt mit den Parametern n ∈ ℕ, p ∈ [0, 1], wenn P (X = k) = \binom{n}{k}p^{k}(1 − p)^{n−k} für k = 0, 1, …, n.

Bezeichnung: X ∼ Bin(n, p) Interpretation: Bin(n, p) ist die W’verteilung der Anzahl der ”Treffer” in einer Bernoulli-Serie^{4} der Länge n mit Trefferw’keit p.

Im weiteren: Allgemeine Methoden zur Beschreibung von W’verteilungen, direkt formuliert für ZV. Beachte: Mit X = Identität lassen sich die folgenden Überlegungen auch direkt auf W’maße P anwenden.

3.1 Diskrete Verteilungen/Zufallsvariablen

Definition 3.4 Eine ZV X (auf einem W’raum (Ω, 𝔄, P)), bzw. deren Verteilung P^{X}, heißt diskret, wenn eine höchstens abzählbare Menge T = {t_{1}, t_{2}, …} mit P^{X}(T) = P (X ∈ T) = 1 existiert. T heißt Träger (support) von X bzw. P^{X}.

4Münzwurf-Serie der Länge n, unabhängige Würfe, Trefferw’keit p

X sei diskrete ZV mit Träger T = {t_{1}, t_{2}, …}, A ∈ 𝔅^{1}. Dann gilt:

P^{X}(A ∩ T) =^{Lemma 2.11b} P^{X}(A) + \underbrace{P^{X}(T)}_{=1} − \underbrace{P^{X}(A ∪ T)}_{=1} = P^{X}(A)

Also: P (X ∈ A) = P^{X}(A) = P^{X}(A ∩ T) = P^{X}( ⋃_{i=1}^{∞}(A ∩ {t_{i}})) = ∑_{i:t_{i}∈A}^{∞} P^{X}({t_{i}})

= ∑_{i:t_{i}∈A}^{∞} P (X = t_{i})

D.h. P^{X}, die Verteilung von X, ist eindeutig festgelegt durch P (X = t_{i}) für i = 1, 2, …

Definition 3.5 X sei diskrete ZV mit Träger T = {t_{1}, t_{2}, …}. f_{X} : T → [0, 1] mit f_{X}(t_{i}) = P (X = t_{i}) für i = 1, 2, … heißt Zähldichte (discrete density function) der ZV X.

X ∼ Bin(n, p) (siehe Beispiel 3.3) ist ein Beispiel für eine diskrete ZV mit f_{X}(k) = \binom{n}{k}p^{k}(1 − p)^{n−k} für k = 0, 1, …, n. (0 ≤ p ≤ 1 ist ein Parameter)

Beispiel 3.6 (Geometrische Verteilung) Unendlicher unabhängiger Münzwurf (siehe Beispiel 3.3). Ω = {w = (x_{1}, x_{2}, …)|x_{i} ∈ {0, 1}} X = Wartezeit bis zum ersten Treffer (”1”), Träger T = ℕ_{0}. P (X = k) = P ({w = (x_{1}, x_{2}, …)|x_{1} = x_{2} = … = x_{k} = 0, X_{k+1} = 1}) = (1−p)^{k}p für k = 0, 1, … Die Verteilung mit der Zähldichte f_{X}(k) = (1 − p)^{k}p für k = 0, 1, … (0 < p ≤ 1 ein Parameter) heißt geometrische Verteilung . Bezeichnung: X ∼ Geo(p), 0 < p ≤ 1.

Beispiel 3.7 (Poissonverteilung, Gesetz seltener Ereignisse) Sei p_{n} ∈ (0, 1) mit n · p_{n} → λ für n → ∞, λ > 0. Dann gilt:

\binom{n}{k}p_{n}^{k}(1 − p_{n})^{n−k} ⟶^{n→∞} e^{−λ} \frac{λ^{k}}{k!} ∀k ∈ ℕ

Es gilt e^{−λ} \frac{λ^{k}}{k!} ≥ 0 und e^{−λ} \underbrace{∑_{k=0}^{∞} \frac{λ^{k}}{k!}}_{e^{λ}} = 1.

Eine diskrete ZV X mit Zähldichte f_{X}(k) = e^{−λ} \frac{λ^{k}}{k!} für k = 0, 1, … heißt Poissonverteilt . (λ > 0 ein Parameter) Bezeichnung: X ∼ P oi(λ), λ > 0.

Interpretation: n Stücke gleicher Länge

0  1

Wahrscheinlichkeit für das Auftreten eines Ereignisses in jedem Teilstück ist \frac{λ}{n}, Auftreten unabhängig

3.2 Verteilungsfunktionen

Definition 3.8 Eine Funktion F : ℝ → [0, 1] mit den Eigenschaften

(i) F monoton steigend (nicht notwenigerweise streng monoton) (ii) lim_{x→+∞} F (x) = 1, lim_{x→−∞} F (x) = 0

(iii) F ist rechtsseitig stetig, d.h. ∀x_{0}, x_{n} ↓ x_{0} : F (x_{n}) → F (x_{0})

heißt Verteilungsfunktion (VF) ([cumulative] distribution function, cdf).

Beispiel

[figure: 1; 0; 1; 0; •; •; •; •; •; 1; 0; •; •]

Satz 3.9 (Ω.𝔄, P) sei W’raum. X : (Ω, 𝔄) → (ℝ, 𝔅^{1}) eine ZV. Durch F_{X}(x) = P (X ≤ x) = P ({w ∈ Ω|X(w) ≤ x}) = P^{X}((−∞, x]) für x ∈ ℝ wird eine Verteilungsfunktion definiert, die Verteilungsfunktion der ZV X, bzw. der Verteilung P^{X}.

Beweis: Übung 5

Verteilungen auf (ℝ, 𝔅^{1}) werden eindeutig durch VF beschrieben.

Satz 3.10 (Eindeutigkeitssatz für VF) 2 ZV X und Y besitzen dieselbe Verteilung (auf (ℝ, 𝔅^{1})) ⟺ F_{X}(x) = F_{Y} (x) für alle x ∈ ℝ.

Beweis: ”⟹” einfach, in Übung 5 ”⟸” sehr schwierig! Benutzt Fortsetzungs- und Eind.-satz der Maßtheorie

Darstellungsmethoden für Verteilungen/ZV

• Diskrete ZV → Zähldichte f_{x}(t_{i})

• Auf (ℝ, 𝔅^{1}) Verteilungsfunktionen F_{X}(x) = P (X ≤ x) mit x ∈ ℝ

Beispiel 3.11 (Verteilungsfunktionen)

a) X heißt gleichverteilt (rechteckverteilt) (uniform, rectangle distributed)

auf [0, 1], Bezeichnung X ∼ R(0, 1), wenn F_{X}(x) = \{ \begin{matrix}0 & , x ≤ 0 \\ x & , 0 < x < 1 \\ 1 & , x ≥ 1 \end{matrix}

Seien 0 ≤ a < b ≤ 1.

P (a < x ≤ b) = P ({w|a < X(w) ≤ b}) = P ({w|X(w) ≤ b} \ {w|X(w) ≤ a}) = P ({w|X(w) ≤ b}) − P ({w|X(w) ≤ a}) = P (X ≤ b) − P (X ≤ a) = F_{x}(b) − F_{X}(a) = b − a (W’keit für zufälligen Wert im Intervall (a, b] ist gleich der Länge von (a, b], nämlich b − a.) Analog: Rechteckverteilung auf [a, b], Bezeichnung X ∼ R(a, b) für a < b ∈

ℝ mit F_{X}(x) = \{ \begin{matrix}0 & , x ≤ a \\ \frac{1}{b−a}(x − a) & , a < x < b \\ 1 & , x ≥ b \end{matrix} [figure: 1; 0; a; b]

Seien a ≤ c < d ≤ b. P (c < x ≤ d) = F_{x}(d) − F_{X}(c) = \frac{1}{b−a}(d − a) − \frac{1}{b−a}(c − a) = \frac{1}{b−a}(d − c)

b) X heißt exonentialverteilt, X ∼ Exp(λ), λ > 0 ein Parameter, wenn

F_{X}(x) = \{ \begin{matrix}1 − e^{−λx} & , x ≥ 0 \\ 0 & , x < 0 \end{matrix} = (1 − e^{−λx}) · 11_{(0,∞]}(x)

Bei dieser Darstellung benutzt: Indikatorfunktion 11_{A}(x) = \{ \begin{matrix}1 & x ∈ A \\ 0 & x ∉ A \end{matrix}

[figure: 1; 0; λ ”groß”; λ ”klein”]

c) Diskrete ZV X mit geordnetem Träger T = {t_{1}, t_{2}, …} ⊆ ℝ, Zähldichte f_{X}(t_{i}) = p_{i}, p_{i} ≥ 0 und ∑_{i=1}^{∞} p_{i} = 1.

Dann F_{X}(x) = P (X ≤ x) = ∑_{k:t_{k}≤x} P (X = t_{k}) = ∑_{k:t_{k}≤x} p_{k} = ∑_{j=1}^{k−1} p_{j}, falls

t_{k−1} ≤ x < t_{k}, k = 1, 2, … (und t_{0} = −∞).

[figure: 1; 0; t_{1}; t_{2}; t_{3}; t_{4}; t_{5}; ”Treppenfunktion”; •; •; •; •; •; p_{1}; p_{2}; p_{3}; p_{4}; p_{5}]

Zum Beispiel: X ∼ Geo(p) mit f_{X}(k) = (1 − p)^{k}p, k ∈ ℕ_{0} und (0 < p ≤ 1).

Es gilt: ∑_{j=0}^{k}(1 − p)^{j}p = p\frac{1−(1−p)^{k+1}}{1−(1−p)} = 1 − (1 − p)^{k+1}

Also: F_{X}(x) = \{ \begin{matrix}0 & , x < 0 \\ 1 − (1 − p)^{⌊x⌋+1} & , x ≥ 0 \end{matrix}

Berechnung von Wahrscheinlichkeiten mit Verteilungsfunktionen

X sei ZV mit Verteilungsfunktion F_{X}(x) = P (X ≤ x). a < b ∈ ℝ

• P (a < X ≤ b) = P^{X}((−∞, b] \ (−∞, a]) = P^{X}((−∞, b]) − P^{X}((−∞, a]) = F_{X}(b) − F_{X}(a)

• Sei a ∈ ℝ, a_{n} < a_{n+1} < a mit a_{n} → a für n → ∞. Dann ist (a_{n}, a] absteigend mit lim_{n→∞}(a_{n}, a] = {a}.

P (x = a) = P^{X}({a}) = P^{X}( lim_{n→∞}(a_{n}, a]) =^{Lemma 2.11b} lim_{n→∞} P^{X}((a_{n}, a])

= lim_{n→∞}(F_{X}(a) − F_{X}(a_{n})) = F_{X}(a) − lim_{n→∞} F_{X}(a_{n}) = F_{X}(a) − F_{X}(a−)^{5}

Insbesondere: Ist F_{X} stetig, so gilt P (X = a) = 0 für alle a ∈ ℝ.

• P (a ≤ X ≤ b) = P (X = a) + P (a < X ≤ b) = F_{X}(a) − F_{X}(a−) + F_{X}(b) − F_{X}(a) = F_{X}(b) − F_{X}(a−)

Bedienzeit X von Anforderungen an einen Server seien Exp(λ)-verteilt, X ∼ Exp(λ), λ > 0. Problem: Bestimme die Zeit X_{α}, unterhalb derer die Bedienzeit mit vorgegebener Wahrscheinlichkeit α liegt, z.B. α = 0.99. Bestimme also X_{α} mit P (X ≤ X_{α}) = α. Interpretation: In 99% der Fälle ist die Bedienzeit kürzer als X_{α}. Graphisch für X ∼ Exp(λ):

[figure: 1; 0; F_{X}(x) = P (X ≤ x); α; X_{α}]

Definition 3.12 X sei ZV mit Verteilungsfunktion F_{X}(x), 0 ≤ α ≤ 1. X_{α} = min{x|F_{X}(x) ≥ α} heißt α-Quantil (α-Percentil, (1 − α)-Fraktil) von F_{X}. F_{X}^{−}(t) = min{x|F_{X}(x) ≥ t}, t ∈ (0, 1), heißt Pseudoinverse von F_{X}. (Nötig, weil X_{α} genau in einem Sprung von F_{X} liegen könnte.)

• Graphisch bei nicht-stetigen Vfkt.

• Ist F invertierbar, so gilt F^{−} = F^{−1} (Inverse).

Betrachte: α = \frac{1}{2}. X_{\frac{1}{2}} heißt Median von F_{X}. Es gilt P (X ≤ X_{\frac{1}{2}} ) ≤ \frac{1}{2} und P (X < X_{\frac{1}{2}} ≤ \frac{1}{2}) ≤ \frac{1}{2}. Der Median ”halbiert” die Verteilung, ist in diesem Sinn der ”mittlere Wert”. Der Median ist ein Schätzer für den mittleren Wert, der robust gegen Ausreißer ist.

3.3 Dichten

Methode zur Konstruktion von Verteilungsfunktionen, Verteilungen.

Definition 3.13 F : ℝ → ℝ^{+} sei (uneigentlich Riemann-)integrierbar mit ∫_{−∞}^{∞} f(x)dx = 1. Durch F (x) = ∫_{−∞}^{∞} f(t)dt wird eine Verteilungsfunktion definiert.

[figure: x; ∫_{−∞}^{x} f(t)dt]

5linksseitiger Grenzwert von F_{X}(a)

Gilt für eine ZV X, daß F_{X}(x) = F (x), so heißt f (Verteilungs-) Dichte (probability density function (pdf)) von X bzw. P^{X}. X bzw. P^{X} heißt dann absolut-stetig.

Mit dem Hauptsatz der Differential- und Integralrechnung: f(x) = F′(X) für alle Stetigkeitspunkte x von f.

Beispiel 3.14

a) Rechtecksverteilung auf [a, b], a < b ∈ ℝ, X ∼ R(a, b):

f(x) = \{ \begin{matrix}\frac{1}{b−a} & , a ≤ x ≤ b \\ 0 & , sonst \end{matrix} = \frac{1}{b−a}11_{[a,b]}(x) für alle x ∈ ℝ [figure: \frac{1}{b−a}; a; b; x]

F (x) = ∫_{−∞}^{x} f(t)dt = \{ \begin{matrix}\frac{1}{b−a}(x − a) & , a ≤ x ≤ b \\ 0 & , x ≤ a \\ 1 & , x ≥ b \end{matrix}

Beachte: Die Dichte f̂(x) = \frac{1}{b−a}11_{(a,b)}(x) führt zu derselben Verteilungsfunktion F. Dichten sind nicht eindeutig, sie sind ”fast sicher” eindeutig.

b) Exponentialverteilung, X ∼ Exp(λ) mit λ > 0: f(x) = λe^{−λx}11_{[0,∞)}(x) für alle x ∈ ℝ [figure: λ]

F (x) = ∫_{−∞}^{x} f(t)dt = ∫_{0}^{x} λe^{−λt}dt = −e^{−λt}|_{0}^{x}

= 1 − e^{−λx} mit x ≥ 0

c) Normalverteilung, X ∼ N(μ, σ^{2}) mit μ ∈ ℝ, σ > 0:

f(x) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} für alle x ∈ ℝ [figure: μ; σ ”klein”; σ ”groß”]

F (x) = \frac{1}{\sqrt{2π}σ} ∫_{−∞}^{x} e^{− \frac{(t−μ)^{2}}{2σ^{2}}} dt

hat keine ”geschlossene” Darstellung. Berechnung numerisch, approximativ oder mit Tabellen.

Berechnung von Wahrscheinlichkeiten mit Dichten

X sei ZV mit Verteilungsfunktion F_{X} und f_{X}, a < b ∈ ℝ.

• P (a < X ≤ b) = F_{X}(b) − F_{X}(a) = ∫_{−∞}^{b} f_{X}(t)dt − ∫_{−∞}^{a} f_{X}(t)dt = ∫_{a}^{b} f_{X}(t)dt

• P (X = a) = F_{X}(a) − F_{X}(a−) = 0, da F_{X}(x) = ∫_{−∞}^{x} f_{X}(t)dt stetig

• P (a < X ≤ b) = ∫_{a}^{b} f_{X}(t)dt

• Allgemein gilt bei absolut-stetigen ZV (also solchen mit Dichte) P (X ∈ ⟨a, b⟩) = ∫_{a}^{b} f_{X}(t)dt, wobei ⟨ bzw. ⟩ beliebig für ”abgeschlossen” oder ” offen” steht

• Schreibe allgemein für Mengen B ∈ 𝔅^{1}: P (X ∈ B) = ∫_{B} f_{X}(t)dt (auch wenn B kein Intervall)

3.4 Erzeugende Funktionen und Laplace-Transformierte

Eine weitere Methode zur eindeutigen Beschreibung von Verteilungen. Definition 3.15

a) X sei diskrete ZV mit Träger T = {t_{1}, t_{2}, …} und Zähldichte f_{X}(t_{k}) = p_{k} mit k ∈ ℕ_{0}. Dann heißt G_{X}(z) = ∑_{k=0}^{∞} p_{k}z^{k} mit |z| < 1 erzeugende Funktion von X bzw. P^{X} (probability generating function).

b) X sei absolut-stetig mit Dichte f_{X}, wobei f_{X}(x) = 0, falls x < 0 (d.h. P (X < 0) = 0). Dann heißt L_{X}(s) = ∫_{0}^{∞}e^{−sx}f_{X}(x)dx mit s ≥ 0 die Laplace-Transformierte von X bzw. P^{X}.

Analog zu Satz 3.10 für Verteilungsfunktionen gilt auch hier Eindeutigkeit. Satz 3.16

a) X und Y seien diskrete Zufallsvariablen mit denselbem Träger T. X und Y besitzen dieselbe Verteilung ⟺ G_{X}(z) = G_{Y} (z) für alle |z| ≤ 1.

b) X, Y seien absolut-stetig mit f_{X}(x) = f_{Y} (x) = 0 für alle x < 0. X und Y

haben dieselbe Verteilung ⟺ L_{X}(s) = L_{Y} (s) für alle s ≥ 0. Beweis:

a) Eindeutigkeitssatz für Potenzreihen

b) Feller II, Seite 403, Kapitel XIII oder Satz von Stone-Weierstraß Satz 3.17 (Inversionsformeln)

a) G_{X}(z) sei erzeugende Funktion einer diskreten ZV X mit Träger T = \{t_{1}, t_{2}, …\}. Dann gilt P (X = t_{k}) = \frac{1}{k!}G_{X}^{(k)}(0).

b) L_{X}(s) sei Laplace-Transformierte einer absolut-stetigen ZV X. Dann gilt:

f_{X}(x) = lim_{y→∞} \frac{1}{2πi} ∫_{c−iy}^{c+iy}e^{sx}L_{X}(s)ds für alle c ∈ ℝ

(Integration über den Weg c − iy → c + iy) Beispiel 3.18

a) Geometrische Verteilung, X ∼ Geo(p) mit 0 < p ≤ 1

G_{X}(z) = ∑_{k=0}^{∞}(1 − p)^{k}pz^{k} = p ∑_{k=0}^{∞}((1 − p)z)^{k} = \frac{p}{1−z+pz} mit |z| ≤ 1

b) Poissonverteilung, X ∼ P oi(λ) mit λ > 0

G_{X}(z) = ∑_{k=0}^{∞} e^{−λ} \frac{λ^{k}}{k!} z^{k} = e^{−λ} ∑_{k=0}^{∞} \frac{(λz)^{k}}{k!} = e^{−λ}e^{λz} = e^{−λ(1−z)} für alle z ∈ ℝ

3.4 Erzeugende Funktionen und Laplace-Transformierte 21

c) Rechtecksverteilung, X ∼ R(0, 1)

L_{X}(s) = ∫_{0}^{1} e^{−sx}dx = \frac{1−e^{−s}}{s} für alle s ≥ 0

d) Exponentialverteilung, X ∼ Exp(λ)

L_{X}(s) = ∫_{0}^{∞}e^{−sx}λe^{−λx}dx = \frac{λ}{λ+s} \underbrace{∫_{0}^{∞}(λ + s)e^{−(s+λ)x}dx}_{1, da Integral über die Dichte} = \frac{λ}{λ+s}

e) Gammaverteilung, X ∼ Γ(α, λ)

L_{X}(s) = ∫_{0}^{∞}e^{−sx} \frac{λ^{α}}{Γ(α)}x^{α−1}e^{−λx}dx = \frac{λ^{α}}{(λ+s)^{α}} \underbrace{∫_{0}^{∞} \frac{(λ + s)^{α}}{Γ(α)} x^{α−1}e^{−(λ+s)x}dx}_{1} = (\frac{λ}{λ+s})^{α}

f) Erlangverteilung, X ∼ Erl(n, λ) = Γ(n, λ) für n ∈ ℕ

L wie in e) oder alternativ mit Satz 6.10 für X als Faltung der Exp-Vert.: L_{X1+...+X_{n}}(s) = L_{X_{1}}(s) · . . . · L_{X_{n}}(s) = L_{X_{1}}^{n}(s) für stid X_{i}, hier: X_{i} ∼ Exp(λ), L_{X_{i}} = \frac{λ}{λ+s}, also L_{X_{1}}^{n}(s) = (\frac{λ}{λ+s})^{n} Nice to know...

∑_{k=0}^{∞} x^{k} = \frac{1}{1−x}

∑_{k=0}^{∞} \frac{x^{k}}{k!} = e^{x}

4 Produkträume und Zufallsvektoren

Zufallsexperimente mit mehreren Ausgängen (gleichzeitig oder dasselbe Experiment mehrfach wiederholt). Modell:

[figure: (Ω, 𝔄, P); (ℝ, 𝔅^{1}); (ℝ, 𝔅^{1}); (ℝ, 𝔅^{1}); ⋮]

Ausgänge gemeinsam betrachten: (Ω, 𝔄, P) \overline{}^{X=(X_{1},...,X_{n})} (ℝ^{n},?,?)

4.1 Produkträume

Gegeben Meßräume (Ω_{i}, 𝔄_{i}) für i = 1, …, n. Oft (Ω_{i}, 𝔄_{i}) = (ℝ, 𝔅^{1}). Setze Ω = [figure: n; i=1] Ω_{i} = {w = (w_{1}, …, w_{n})|w_{i} ∈ Ω_{i}}. Frage: Welche σ-Algebra über Ω wählen? Ansatz: ε = {A_{1} × … × A_{n}|A_{i} ∈ 𝔄_{i}, i = 1, …, n} Aber: ε ist im Allgemeinen keine σ-Algebra über Ω = [figure: n; i=1] Ω_{i}. Gegenbeispiel: Ω_{1} = Ω_{2} = ℝ, 𝔄_{1} = 𝔄_{2} = 𝔅^{1}. Dann C_{1} = [−1, 0] × [−1, 0] ∈ ε, C_{2} = [0, 1] × [0, 1] ∈ ε, aber C_{1} ∪ C_{2} ∉ ε, ist nicht als kartesisches Produkt zweier Mengen darstellbar. [figure: C_{1}; C_{2}]

Definition 4.1 (Produkt-σ-Algebra) (Ω_{i}, 𝔄_{i}) seien Meßräume, i = 1, …, n. ε = {A_{1} × … × A_{n}|A_{i} ∈ 𝔄_{i}, i = 1, …, n}. ⨂_{i=1}^{n} 𝔄_{i} := 𝔄(ε)^{6} heißt Produkt-σ-Algebra von 𝔄_{1}, …, 𝔄_{n} über Ω = [figure: n; i=1] Ω_{i}. ([figure: n; i=1] Ω_{i}, ⨂_{i=1}^{n} 𝔄_{i}) heißt Produkt-Meßraum der (Ω_{i}, 𝔄_{i}) für i = 1, …, n.

Beispiel 4.2 (Ω_{i}, 𝔄_{i}) = (ℝ, 𝔅^{1}). ε = {B_{1} × … × B_{n}|B_{i} ∈ 𝔅^{1}}. 𝔄(ε) heißt n-dimensionale Borelsche σ-Algebra. Graphisch für n = 2:

[figure: B_{2}; B_{1}; ”𝔅^{n} enthält alle n-dimensionalen Rechtecke”]

4.2 Zufallsvektoren und Folgen von Zufallsvariablen

Definition 4.3 (Ω, 𝔄, P) sei W’raum. Eine Abb. X = (X_{1}, …, X_{n}) : Ω → ℝ^{n} heißt Zufallsvektor, wenn X^{−1}(B) ∈ 𝔄 für alle B ∈ 𝔅^{n} (Meßbarkeit). Bezeichnung: X : (Ω, 𝔄) → (ℝ^{n}, 𝔅^{n}). Bemerkung: Es gilt: X = (X_{1}, …, X_{n}) ist Zufallsvektor ⟺ X_{1}, …, X_{n} sind ZV.

6D.h. wir definieren ⨂_{i=1}^{n} 𝔄_{i} als die von ε erzeugte σ-Algebra

Lemma 4.4 X sei Zufallsvektor.

Durch P^{X}(B) = P (X^{−1}(B)) = P ({w|X(w) ∈ B}) =^{kurz} P (X ∈ B) für alle

B ∈ 𝔅^{n} wird eine Wahrscheinlichkeitsverteilung auf (ℝ^{n}, 𝔅^{n}) definiert. P^{X} = P^{(X_{1},...,X_{n})} heißt gemeinsame Verteilung von (X_{1}, …, X_{n}).

Im folgenden werden gemeinsame Verteilungen mit Verteilungsfunktionen und Dichten beschrieben. Klar: X_{1}, …, X_{n} diskret ⟹ (X_{1}, …, X_{n}) diskret. Verteilung mit Zähldichten, wie in Kapitel 3 beschreiben.

Satz 4.5 X sei Zufallsvektor. P^{X} wird eindeutig beschrieben durch die (n-dimensionale) Verteilungsfunktion F_{X}(x_{1}, …, x_{n}) = P^{X}((−∞, x_{1}] × … × (−∞, x_{n}]) = P^{X}({w|X_{1}(w) ∈ (−∞, x_{1}], …, X_{n}(w) ∈ (−∞, x_{n}]})

= P ({w|X_{1}(w) ≤ x_{1}} ∩ … ∩ {w|X_{n}(w) ≤ x_{n}}) =^{kurz} P (X_{1} ≤ x_{1}, …, X_{n} ≤ x_{n}).

Bezeichnung: X ∼ F_{X}

Beschreibung von Verteilungen mit n-dimensionalen Dichten ist oft einfacher.

Definition 4.6 F_{X}(x_{1}, …, x_{n}) sei die Verteilungsfunktion des Zufallsvektors X. Eine (uneigentlich Riemann-)integrierbare Funktion f_{X} : ℝ^{n} → ℝ^{+} heißt Dichte von X, wenn F_{X}(x_{1}, …, x_{n}) = ∫_{−∞}^{x_{n}} … ∫_{−∞}^{x_{1}} f(t_{1}, …, t_{n})dt_{1} … dt_{n} für alle x_{1}, …, x_{n} ∈ ℝ. X heißt dann absolut-stetig mit Dichte f_{X}. Bezeichnung: X ∼ f_{X}.

Sprechweisen: X hat/besitzt/ist verteilt nach Vfkt. F_{X}/Dichte f_{X}.

Berechnung von Wahrscheinlichkeiten mit Dichten: X = (X_{1}, …, X_{n}) sei absolut-stetig mit Verteilung P^{X}, Verteilungsfunktion F_{X} und Dichte f_{X}. Dann ist P^{X}(⟨a_{1}, b_{1}⟩ × … × ⟨a_{1}, b_{1}⟩) = P (a_{1} ≤ X_{1} ≤ b_{1}, …, a_{n} ≤ X_{n} ≤ b_{n}) = ∫_{a_{n}}^{b_{n}} … ∫_{a_{1}}^{b_{1}} f_{X}(t_{1}, …, t_{n})dt_{1} … dt_{n} für alle a_{i} ≤ b_{i} ∈ ℝ, wobei ”⟨” bzw. ”⟩” beliebig für ”offen” oder ”abgeschlossen” stehen. Allgemein: P^{X}(B) = ∫ …_{B} ∫ f_{X}(t_{1}, …, t_{n})dt_{1} … dt_{n} für alle B ∈ 𝔅^{n}.

Mit dem Hauptsatz der Differential- und Integralrechnung gilt f_{X}(x_{1}, …, x_{n}) = \frac{∂}{∂x_{1}...∂x_{n}} F_{X}(x_{1}, …, x_{n}) in allen Stetigkeitspunkten (x_{1}, …, x_{n}) von f_{X}.

Beispiel 4.7 (Indizierung mit X zur Vereinfachung weggelassen)

a) Gleichverteilung auf T ∈ 𝔅^{n} mit c = ∫ …_{T} ∫ 1dx_{1} … dx_{n} < ∞

F (x_{1}, …, x_{n}) = \frac{1}{c}11_{T} (x_{1}, …, x_{n}) = \{ \begin{matrix}\frac{1}{c} & , (x_{1}, …, x_{n}) ∈ T \\ 0 & , sonst \end{matrix}

\underline{Speziell:}

• Auf dem Einheitswürfel des ℝ^{n} T = {(x_{1}, …, x_{n})|0 ≤ x_{i} ≤ 1, i = 1, …, n} = [0, 1]^{n} f(x_{1}, …, x_{n}) = 11_{T} (x_{1}, …, x_{n})

F (x_{1}, …, x_{n}) = \{ \begin{matrix}0 & , ∃i : x_{i} < 0 \\ min\{x_{1}, 1\} · . . . · min\{x_{n}, 1\} & , sonst \end{matrix}

Graphisch für n = 2:

[figure: f; F; 1; 0; 1; Isohöhenlinien]

• Auf der Einheitskugel des ℝ^{n} T = \{(x_{1}, …, x_{n})| ∑_{i=1}^{n} x_{i}^{2} ≤ 1\}, c = \frac{π^{\frac{n}{2}}}{Γ( \frac{n}{2} +1)} Volumen der Einheitskugel Γ(n) = (n − 1)! für alle n ∈ ℕ, Γ(\frac{1}{2}) = \sqrt{π}, Γ(x + 1) = xΓ(x)

f(x_{1}, …, x_{n}) = \frac{Γ( \frac{n}{2} +1)}{π^{\frac{n}{2}}}11_{T} (x_{1}, …, x_{n}) mit (x_{1}, …, x_{n}) ∈ ℝ^{n}

Die Verteilungsfunktion ist schwierig zu berechnen → Dirichlet-Integral

b) n-dimensionale Normalverteilung, X ∼ N(μ, Σ), μ ∈ ℝ^{n}, Σ ∈ ℝ^{n×n} positiv definit. Für x = (x_{1}, …, x_{n})^{T} ∈ ℝ^{n} ist f(x_{1}, …, x_{n}) = \frac{1}{(2π)^{\frac{n}{2}} (det Σ)^{\frac{1}{2}}} e^{− \frac{1}{2} (x−μ)^{T} Σ^{−1}(x−μ)}

c) f_{1}, …, f_{k} : ℝ^{n} → ℝ^{+} seien n-dim. Dichten (auch n = 1), α_{1}, …, α_{k} ≥ 0, ∑_{i=1}^{k} α_{i} = 1. Dann ist f(x) = ∑_{i=1}^{k} α_{i}f_{i}(x), x = (x_{1}, …, x_{n}) ∈ ℝ^{n}, eine n-dimensionale Dichte. f(x) heißt Mischung der Dichten f_{1}, …, f_{k}.

Stochastische Unabhängigkeit

Definition 4.8 X_{1}, …, X_{n} seien ZV. (Dann ist X = (X_{1}, …, X_{n}) ein Zufallsvektor.) X_{1}, …, X_{n} heißen stochastisch unabhängig, wenn F_{X}(x_{1}, …, x_{n}) = F_{X_{1}}(x_{1}) · . . . · F_{X_{n}}(x_{n}) für alle (x_{1}, …, x_{n}) ∈ ℝ^{n}. Also: X_{1}, …, X_{n} stoch. unabh., wenn P (X_{1} ≤ x_{1}, …, X_{n} ≤ x_{n}) = P (X_{1} ≤ x_{1}) · . . . · P (X_{n} ≤ x_{n}) für alle (x_{1}, …, x_{n}) ∈ ℝ^{n}. P ({w|X_{1}(w) ≤ x_{1}} ∩ … ∩ P ({w|X_{n}(w) ≤ x_{n}} = P ({w|X_{1}(w) ≤ x_{1}} · . . . · P ({w|X_{n}(w) ≤ x_{n}}, d.h. X_{1}, …, X_{n} sind stoch. unabh. genau dann, wenn die Ereignisse {w|X_{i}(w) ≤ x_{i}} für 1 = 1, …, n und alle x_{1}, …, x_{n} stoch. unabh. im Sinn der Definition 2.16 sind. (Beachte: Auswahlen von i_{1}, …, i_{k} durch Setzen der anderen x_{j} = ∞.)

Lemma 4.9 (X_{1}, …, X_{n}) sei Zufallsvektor, absolut-stetig mit Dichte f_{(X_{1},...,X_{n})}. Dann hat jedes der X_{i} eine Dichte f_{X_{i}}(x) = ∫_{−∞}^{∞} … ∫_{−∞}^{∞} f_{(X_{1},...,X_{n})}(x_{1}, …, x_{i−1}, x_{i}, x_{i+1}, …, x_{n})dx_{1} … dx_{i−1}dx_{i+1} … dx_{n}. Es gilt: f_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∏_{i=1}^{n} f_{X_{i}}(x_{i}) für alle x_{1}, …, x_{n} ∈ ℝ ⟹ X_{1}, …, X_{n} stoch. unabh.

Umgekehrt: Sind X_{1}, …, X_{n} stoch. unabh., absolut-stetig mit Dichten f_{X_{i}}, so ist f_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∏_{i=1}^{n} f_{X_{i}}(x_{i}) für alle (x_{1}, …, x_{n}) ∈ ℝ^{n} eine Dichte des Zufallvektors (X_{1}, …, X_{n}).

Beweis:

f_{X_{i}}(x) = ∫_{−∞}^{∞}… ∫_{−∞}^{∞} f_{(X_{1},...,X_{n})}(x_{1}, …, x_{i−1}, x, x_{i+1}, …, x_{n})dx_{1} … dx_{i−1}dx_{i+1} … dx_{n}

ist eine Dichte von x_{i}, da F_{X_{i}}(x) = P (X_{i} ≤ x) = ∫_{−∞}^{x} f_{X_{i}}(t_{i})dt_{i}.

Es gilt F_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∫_{−∞}^{x_{n}} … ∫_{−∞}^{x_{1}} ∏_{i=1}^{n} f_{X_{i}}(t_{i})dt_{i} … dt_{n}

= ∏_{i=1}^{n} ∫_{−∞}^{x_{i}} f_{X_{i}}(t_{i})dt_{i} = ∏_{i=1}^{n} F_{X_{i}}(x_{i}) für alle x_{1}, …, x_{n} ∈ ℝ.

Also X_{1}, …, X_{n} stochastisch unabhängig nach Definition 4.8.

Umgekehrt: X_{1}, …, X_{n} stoch. unabh. ⟹ F_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∏_{i=1}^{n} F_{X_{i}}(x_{i})

= ∏_{i=1}^{n} ∫_{−∞}^{x_{i}} f_{X_{i}}(t_{i})dt_{i} = ∫_{−∞}^{x_{n}} … ∫_{−∞}^{x_{1}} ∏_{i=1}^{n} f_{X_{i}}(t_{i})dt_{i} … dt_{n} ⟹ ∏_{i=1}^{n} f_{X_{i}}(x_{i}) ist eine

Dichte von (X_{1}, …, X_{n}).

Im Fall von Zähldichten vereinfacht sich Lemma 4.9 zu:

Lemma 4.10 X_{1}, …, X_{n} seien diskrete ZV mit Trägern T_{1}, …, T_{n}. Dann gilt:

X_{1}, …, X_{n} stoch. unabh. ⟺ P (X_{1} = t_{1}, …, X_{n} = t_{n}) = ∏_{i=1}^{n} P (X_{i} = x_{i}) für

alle t_{i} ∈ T_{i}.

Beweis: Übung 8 Aufgabe 29

Definition 4.11 Eine Folge von ZV {X_{n}}_{n∈ℕ} auf einem W’raum (Ω, 𝔄, P) heißt stochastisch unabhängig, wenn X_{1}, …, X_{n} stochastisch unabhängig für alle n ∈ ℕ. Besitzen stochastisch unabhängige ZV alle dieselbe Verteilung, so heißen sie stochastisch unabhängig identisch verteilt (stid) (i.i.d., independent identically distributed).

Beispiel 4.12

a) X_{1}, X_{2} stid ∼ Bin(n, p) P (X_{1} = X_{2}) = P^{(X_{1},X_{2})}({(i, j)|0 ≤ i, j ≤ n, i = j})

= ∑_{i=0}^{n} P^{(X_{1},X_{2})}({(i, i)}) = ∑_{i=0}^{n} P (X_{1} = i, X_{2} = i)

= ∑_{i=0}^{n} P (X_{1} = i)P (X_{2} = i) = ∑_{i=0}^{n}[\binom{n}{i}p^{i}(1 − p)^{n−i}]^{2}

b) X_{1}, X_{2} stochastisch unabhängig, absolut-stetig mit Dichten f_{1}, f_{2}

P (X_{1} = X_{2}) = ∫ ∫_{X_{1}=X_{2}} f(x_{1}, x_{2})dx_{1}dx_{2} = ∫_{−∞}^{∞} \underbrace{∫_{x_{2}}^{x_{2}} f_{1}(x_{1})dx_{1}}_{0} f_{2}(x_{2})dx_{2} = 0

f(x_{1}, x_{2}) = f_{1}(x_{1})f_{2}(x_{2})

Beispiel 4.13 X_{1}, …, X_{n} stid ∼ F (Verteilungsfunktion)

a) Y = max^{7}{X_{1}, …, X_{n}} Interpretation z.B. Maximum der Laufzeiten (X_{1}, …, X_{n})

P (Y ≤ x) = P (X_{1} ≤ x, …, X_{n} ≤ x) = ∏_{i=1}^{n} P (X_{i} ≤ x) = F^{n}(x) für alle

x ∈ ℝ

Also: Y = max{X_{1}, …, X_{n}} hat die Verteilungsfunktion F^{n}(x).

b) Y = min{X_{1}, …, X_{n}} P (Y > x) = P (X_{1} > x, …, X_{n} > x) = (1 − F (x))^{n} Also: Y = min{X_{1}, …, X_{n}} hat die Verteilungsfunktion 1 − (1 − F (x))^{n}. Z.B. X_{i} stid ∼ Exp(λ), dann P (Y ≤ x) = 1 − e^{−nλx} ⟹ Y ∼ Exp(nλ)

Beispiel 4.14 X_{1}, X_{2} stid ∼ Exp(λ) mit λ > 0 P (X_{1} + X_{2} ≤ z) = ∫ ∫_{0≤X_{1}+X_{2}≤z}λe^{−λx_{1}}11_{[0,∞)}(x_{1})λe^{−λx_{2}}11_{[0,∞)}(x_{2})dx_{1}dx_{2}

= ∫_{0}^{z} ∫_{0}^{z−x_{2}}λe^{−λx_{1}}λe^{−λx_{2}}dx_{1}dx_{2} = ∫_{0}^{z} λe^{−λx_{2}}[1 − e^{−λ(z−x_{2})}]dx_{2}

= ∫_{0}^{z}[λe^{−λx_{2}} − λe^{−λz}]dx_{2} = 1 − e^{−λz} − λze^{−λz} = F_{X_{1}+X_{2}}(z) für z ≥ 0

Durch Differenzieren: f_{X_{1}+X_{2}}(z) = λe^{−λz} − λ(e^{−λz} − λze^{−λz}) = λ^{2}ze^{−λz} für z ≥ 0 Also: Die Verteilung der Summe von stochastisch unabhängig identisch Exp(λ)- verteilten ZV ist absolut stetig mit Dichte f(x) = λ^{2}xe^{−λx}11_{[0,∞)}(x). Eine allgemeine Klasse von Verteilungen, die diese Dichte als Spezialfall enthält, sind die Γ-Verteilungen mit den Dichten f_{α,λ}(x) = \frac{λ^{α}}{Γ(α)}x^{α−1}e^{−λx}11_{[0,∞)}(x) mit α, λ > 0 als Parameter, wobei Γ(α) = ∫_{0}^{∞} x^{α−1}e^{−x}dx das Γ-Integral (insbesondere Γ(n) = (n − 1)! ∀n ∈ ℕ) ist. Eine ZV mit Dichte f_{α,λ}(x) heißt Γ(α, λ)-verteilt. Spezialfälle:

(i) α = 1 → Exp(λ)-Verteilung (ii) α = 2 → s.o., Verteilung der Summe von 2 stid Exp(λ)-verteilten ZV (iii) α = n ∈ ℕ → Erlang-Verteilung mit Parametern n, λ

f_{n,λ}(x) = \frac{λ^{n}}{(n−1)!}x^{n−1}e^{−λx}11_{[0,∞)}(x)

Beispiel 4.15 {X_{n}}_{n∈ℕ} Folge von stid ZV, B ∈ 𝔅^{1}. S = min{n ∈ ℕ|X_{n} ∈ B} heißt erste Eintrittszeit in B. Verteilung von S: P (S = k) = P (X_{1} ∉ B, …, X_{k−1} ∉ B, X_{k} ∈ B) = P (X_{1} ∉ B) · . . . · P (X_{k−1} ∉ B)P (X_{k} ∈ B) = (1 − p)^{k}p für k ∈ ℕ, wobei p = P (X_{1} ∈ B) = … = P (X_{n} ∈ B). Also: S geometrisch verteilt mit Träger ℕ. S − 1 ∼ Geo(p) Konkret: unabhängige Folge von Münzwürfen, X_{n} stid ∼ Bin(1, p)

7punktweises Maximum der X_{i} an den Trägerpunkten

Setze B = {1}. P (X_{n} ∈ {1}) = P (X_{n} = 1) = p. {S = k}: Beim k-ten Wurf tritt erstmalig eine 1 (”Kopf, Treffer”) auf Setze X = S − 1 = ”Wartezeit bis zum ersten Treffer”. Dann X ∼ Geo(p)

Satz 4.16 X_{1}, …, X_{n} seien stochastisch unabhängige ZV und I, J ⊆ {1, …, n}, I ∩J = ∅. Dann sind (X_{i})_{i∈I} und (X_{j})_{j∈J} stochastisch unabhängige ZV. Sind f, g meßbare Abbildungen (mit entsprechenden Bild-Meßräumen), so sind f((X_{i})_{i∈I}) und g((X_{j})_{j∈J}) stochastisch unabhängig.

Beweis: Mathar & Pfeiffer, Lemma 2.1.6 und Lemma 2.1.7, Seite 74

Beispiel 4.17 X_{1}, X_{2}, X_{3}, X_{4} stochastisch unabhängig ⟹ X_{1} + X_{2}, X_{3} + X_{4} stochastisch unabhängig

5 Transformationen von ZV/Verteilungen

Im folgenden: allgemeine Hilfsmittel zur Berechnung der Verteilung von Funktionen von Zufallsvariablen

Satz 5.1 (Transformationen für Dichten) X = (X_{1}, …, X_{n}) sei absolut-stetiger Zufallsvektor auf dem W’raum (Ω, 𝔄, P) mit Dichte f_{X}. Gelte f_{X}(x_{1}, …, x_{n}) = 0 für alle (x_{1}, …, x_{n}) ∈ M^{C} für eine offene Menge M ⊆ ℝ^{n}. T : (ℝ^{n}, 𝔅^{n}) → (ℝ^{n}, 𝔅^{n}) sei eine meßbare Abbildung (Zufallsvektor, T^{−1}(B) ∈ 𝔅^{n} ∀B ∈ 𝔅^{n}) mit

(i) T̃ = T |_{M} ist injektiv (Restriktion von T auf M) (ii) T̃ ist stetig differenzierbar auf M

(iii) det ((\frac{∂T̃_{i}}{∂X_{j}} )_{1≤i,j≤n}) ≠ 0 auf M (Funktionsdeterminante)

Dann ist Y = T̃(X) absolut-stetig mit Dichte

f_{Y} (y_{1}, …, y_{n}) = \frac{f_{X}(T̃^{−1}(y_{1}, …, y_{n}))}{|det ((\frac{∂T̃_{i}}{∂x_{j}} )_{1≤i,j≤n}|_{T̃^{−1}(y_{1},...,y_{n})})|} · 11_{T̃(M)}(y_{1}, …, y_{n})

= |det ((\frac{∂T̃_{i}^{−1}}{∂y_{j}} )_{1≤i,j≤n})| · f_{X}(T̃^{−1}(y_{1}, …, y_{n})) · 11_{T̃(M)}(y_{1}, …, y_{n})

Beweis: Krickeberg (63)

Beispiel 5.2 X = (X_{1}, X_{2}) gleichverteilt auf Q = (0, 1)^{2} mit Dichte f_{X}(x_{1}, x_{2}) = 11_{Q}(x_{1}, x_{2}), d.h. X_{1}, X_{2} stochastisch unabhängig, X_{i} ∼ R(0, 1), i = 1, 2. T (X_{1}, X_{2}) = (\sqrt{x_{1}} cos(2πx_{2}), \sqrt{x_{1}} sin(2πx_{2}) mit (x_{1}, x_{2}) ∈ Q

det ((\frac{∂T̃_{i}}{∂y_{j}} )_{1≤i,j≤n}) = det ( \begin{matrix}\frac{1}{2\sqrt{x_{1}}} cos(2πx_{2}) & −2π\sqrt{x_{1}} sin(2πx_{2}) \\ \frac{1}{2\sqrt{x_{1}}} sin(2πx_{2}) & 2π\sqrt{x_{1}} cos(2πx_{2}) \end{matrix} )

= π cos^{2}(2πx_{2}) + π sin^{2}(2πx_{2}) = π(\underbrace{cos^{2}(2πx_{2}) + sin^{2}(2πx_{2})}_{=1}) = π

Y = T (X) besitzt nach Satz 5.1 eine Dichte f_{Y} (y_{1}, y_{2}) = \frac{1}{π}11_{T (Q)}(y_{1}, y_{2})^{8} mit K̂ = T (Q) =”Einheitskreis ohne die positive X-Achse” Also: Y = T (X) ist gleichverteilt auf dem Einheitskreis. (Vergleiche Beispiel 4.7)

8f_{X}(T^{−1}(y_{1}, y_{2})) = 11_{Q}(T^{−1}(y_{1}, y_{2})) = 11_{T (Q)}(y_{1}, y_{2})

Beispiel 5.3 (Rayleigh-Verteilung) X, Y stid ∼ N(0, σ^{2}), also gemeinsame

Dichte f_{(X,Y)}(x, y) = \frac{1}{\sqrt{2π}σ}e^{− \frac{x^{2}}{σ^{2}}} · \frac{1}{\sqrt{2π}σ}e^{− \frac{y^{2}}{σ^{2}}} mit (x, y) ∈ ℝ^{2} Transformation in Polarkoordinaten (r, φ) = T (X, Y) : ℝ^{2} \ \{0\} → (0, ∞) × (0, 2π) mit r = \sqrt{x^{2} + y^{2}} und

φ = \{ \begin{matrix}arctan(\frac{y}{x}) & , y > 0 \\ π + arctan(\frac{y}{x}) & , y < 0 \end{matrix} , wobei arctan(±∞) = \frac{π}{2}.

(x, y) = T^{−1}(r, φ) = (r cos φ, r sin φ)

det ((\frac{∂T_{i}^{−1}}{∂z_{j}} )_{1≤i,j≤2}) = det ( \begin{matrix}cos φ & −r sin φ \\ sin φ & r cos φ \end{matrix} ) = r(cos^{2} φ + sin^{2} φ) = r

(R, Φ) = T (X, Y) besitzt nach Satz 5.1 eine Dichte f_{(R,Φ)}(r, φ)

= r\frac{1}{2πσ^{2}} e^{− \frac{r^{2} cos^{2} φ+r^{2} sin^{2} φ}{2σ^{2}}} 11_{(0,∞)}(r)11_{(0,2π)}(φ) = \underbrace{\frac{r}{σ^{2}} e^{− \frac{r^{2}}{2σ^{2}}} 11_{(0,∞)}(r)}_{Rayleigh−Verteilung} · \underbrace{\frac{1}{2π} 11_{(0,2π)}(φ)}_{Gleichverteilung}

Also: R, Φ sind stochastisch unabhängig mit f_{R}(r) = \frac{r}{σ^{2}} e^{− \frac{r^{2}}{2σ^{2}}} 11_{(0,∞)}(r), R ∼ Ray(σ^{2}) Rayleigh-Verteilung und f_{Φ}(φ) = \frac{1}{2π}11_{(0,2π)}(φ), Φ ∼ R(0, 2π).

Lemma 5.4 X = (X_{1}, X_{2}) Zufallsvektor, absolut-stetig mit Dichte f_{X}(x_{1}, x_{2}). Dann ist Y = X_{1} + X_{2} absolut-stetig mit Dichte f_{Y} (y) = ∫_{−∞}^{∞} f_{X}(t, y − t)dt, y ∈ ℝ.

Beweis: Mit Satz 5.1: T (X_{1}, X_{2}) = (X_{1}, X_{1} + X_{2})^{9}, T^{−1}(Y_{1}, Y_{2}) = (Y_{1}, Y_{2} − Y_{1}).

det (\frac{∂T_{i}}{∂x_{j}} ) = det ( \begin{matrix}\frac{∂T_{1}}{∂x_{1}} & \frac{∂T_{1}}{∂x_{2}} \\ \frac{∂T_{2}}{∂x_{1}} & \frac{∂T_{2}}{∂x_{2}} \end{matrix} ) = det ( \begin{matrix}1 & 0 \\ 1 & 1 \end{matrix} ) = 1

f_{T (X)}(y_{1}, y_{2}) =^{Satz 5.1} f_{X}(y_{1}, y_{2} − y_{1}).

Es folgt: f_{Y} (y) = ∫_{−∞}^{∞} f_{X}(y_{1}, y − y_{1})dy_{1}. (2te Randverteilung)

Speziell in Lemma 5.4: Wenn X_{1}, X_{2} stochastisch unabhängig ⟹ f_{(X_{1},X_{2})} = f_{X_{1}}(x_{1}) · f_{X_{2}}(x_{2}). Dann ist

f_{(X_{1}+X_{2})}(y) = ∫_{−∞}^{∞} f_{X_{1}}(t) · f_{X_{2}}(y − t)dt, y ∈ ℝ

Bei stochastisch unabhängigen ZV X_{1}, X_{2} heißt die Verteilung von X_{1} + X_{2} Faltung (convolution) der Verteilung von X_{1} und X_{2}. Bezeichnung: P^{X_{1}+X_{2}} = P^{X_{1}} ∗ P^{X_{2}} (Nur möglich, wenn X_{1}, X_{2} s.u.!!)

Beispiel 5.5

a) X_{1}, X_{2} stochastisch unabhängig, X_{1} ∼ Γ(α, λ), X_{2} ∼ Γ(β, λ), α, β, λ > 0. Es gilt: X_{1} + X_{2} ∼ Γ(α + β, λ), d.h. Γ(α, λ) ∗ Γ(β, λ) = Γ(α + β, λ)

Beweis: Übung 8 Aufgabe 31 a b) X_{1}, X_{2} stochastisch unabhängig, X_{1} ∼ N(μ_{1}, σ_{1}^{2}), X_{2} ∼ N(μ_{2}, σ_{2}^{2}),

9Trick: Transformation T auf zwei Dimensionen ”aufblasen”, damit Satz 5.1 anwendbar wird

μ_{1}, μ_{2} ∈ ℝ, σ_{1}, σ_{2} > 0. Dann gilt: X_{1} + X_{2} ∼ N(μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}), d.h. N(μ_{1}, σ_{1}^{2}) ∗ N(μ_{2}, σ_{2}^{2}) = N(μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}).

Beweis:

∫_{−∞}^{∞} \frac{1}{\sqrt{2π}σ_{1}} e^{− \frac{(t−μ_{1})^{2}}{2σ^{2}_{1}}} \frac{1}{\sqrt{2π}σ_{2}} e^{− \frac{(y−t−μ_{2})^{2}}{2σ^{2}_{2}}} dt = … = \frac{1}{\sqrt{2π}\sqrt{σ_{1}^{2} + σ_{1}^{2}}} e^{− \frac{(y−μ_{1}−μ_{2})^{2}}{2(σ^{2}_{1}+σ^{2}_{2})}}

c) X ∼ N(0, 1). Dann gilt: X^{2} ∼ Γ(\frac{1}{2}, \frac{1}{2}).

Beweis: Sei X > 0. P (X^{2} ≤ x) = P (−\sqrt{x} ≤ X ≤ \sqrt{x}) = ∫_{−\sqrt{x}}^{\sqrt{x}} \frac{1}{\sqrt{2π}}e^{− \frac{t^{2}}{2}} dt

Substituiere: u = t^{2}, also t = \sqrt{u} ⟹ dt = \frac{1}{2\sqrt{u}}du (Ableitung nach u)

=^{Symmetrie} 2 ∫_{0}^{x} \frac{1}{\sqrt{2π}}e^{− \frac{u}{2}} \frac{1}{2\sqrt{u}}du

Dichte von X^{2} also: f_{X^{2}} = \{ \begin{matrix}\frac{1}{\sqrt{2π}}x^{− \frac{1}{2}} e^{− \frac{x}{2}} = \underbrace{\frac{(\frac{1}{2})^{\frac{1}{2}}}{Γ(\frac{1}{2})}x^{− \frac{1}{2}} e^{− \frac{x}{2}}}_{Dichte einer Γ( \frac{1}{2} , \frac{1}{2} )−Vert.} & , x ≥ 0 \\ 0 & , sonst \end{matrix}

Seien X_{1}, …, X_{n} stid ∼ N(0, 1). Da X_{i}^{2} ∼ Γ(\frac{1}{2}, \frac{1}{2}) ist, gilt nach a): X_{1}^{2} + … + X_{n}^{2} ∼ Γ(\frac{n}{2}, \frac{1}{2}). Γ(\frac{n}{2}, \frac{1}{2}) heißt χ^{2}-Verteilung mit n Freiheitsgraden. Bezeichnung: χ_{n}^{2} Dichte: f(x) = _{\frac{1}{2^{\frac{n}{2}} Γ( \frac{n}{2} )}}x^{\frac{n}{2} −1}e^{− \frac{x}{2}} 11_{(0,∞)}(x)

Mit Beispiel 5.3: Sei Y ∼ χ_{2}^{2} = Γ(1, \frac{1}{2}) ⟹ X = \sqrt{Y} ∼ Ray(1)

d) (siehe Beispiel 4.14) X_{1}, …, X_{n} stid ∼ Exp(λ) = Γ(1, λ), λ > 0. Mit a): S_{n} = X_{1} + … + X_{n} ∼ Γ(n, λ) (Erlang-Verteilung mit Par. n, λ) Interpretation:

X_{i} =”Bedienzeiten eines Servers”, stid ∼ Exp(λ)

S_{n} =”Gesamtbedienzeit für n Anforderungen” Umgekehrte Fragestellung: t ≥ 0. Mit welcher Wahrscheinlichkeit werden im Intervall [0, t] genau n Anforderungen bedient?

Definition 5.6 {X_{n}}_{n∈ℕ} sei Folge von stochastisch unabhängigen ZV, X_{i} ∼ Exp(λ), i ∈ ℕ, λ > 0.

\overline{}t X_{1} X_{2} X_{3}  X_{4}  …

N(t) = max{n ∈ ℕ_{0}| ∑_{i=1}^{n} X_{i} ≤ t} = |{n ∈ ℕ| ∑_{i=1}^{n} X_{i} ≤ t}|, heißt Poisson-Prozeß

mit Parameter λ > 0. Bezeichnung: P P (λ)

Graphisch:

[figure: ; X_{1}; ; X_{2}; ; X_{3}; ; X_{4}; …; S_{1}; S_{2}; S_{3}; S_{4}; 1; 2; 3; 4; •; •; •; •; N(t); Bediente Kunden]

Sprechweisen: Die X_{n} heißen Zwischenankunftszeiten (interarrival times)/Verweilzeiten (sojourn times). Die S_{n} = ∑_{i=1}^{n} X_{i} heißen Ankunftszeiten (arrival times).

Lemma 5.7 Für alle t ≥ 0 besitzt N(t) eine Poissonverteilung mit Parameter λt, d.h. N(t) ∼ P oi(λt), P (N(t) = k) = e^{−λt} \frac{(λt)^{k}}{k!} , k ∈ ℕ. Interpretation: Wie ist die W’keit, daß genau k Kunden bis zum Zeitpunkt t komplett bedient werden?

Beweis:

k = 0 : P (N(t) = 0) = P (X_{1} > t) = 1 − (1 − e^{−λt}) = e^{−λt} = e^{−λt} · \frac{(λt)^{0}}{0!}

k ≥ 1 : P (N(t) = k) = P (∑_{i=1}^{k} X_{i} ≤ t, ∑_{i=1}^{k+1} X_{i} > t) = P ({S_{k} ≤ t} ∩ {S_{k+1} > t}

= P ({S_{k} ≤ t} \ {S_{k+1} ≤ t}) = P ({S_{k} ≤ t}) − P ({S_{k+1} ≤ t})

(wegen der Monotonie von P) S_{k} ∼ Erl(k, λ), S_{k+1} ∼ Erl(k + 1, λ)

= \frac{λ^{k}}{(k−1)!} ∫_{0}^{t} x^{k−1}e^{−λx}dx − \frac{λ^{k+1}}{k!} ∫_{0}^{t} x^{k}e^{−λx}dx

= \frac{λ^{k}}{(k−1)!} (∫_{0}^{t} x^{k−1}e^{−λx}dx − \frac{λ}{k} ∫_{0}^{t} x^{k}e^{−λx}dx)

= \frac{λ^{k}}{(k−1)!}(∫_{0}^{t} \underbrace{x^{k−1}}_{u′} \underbrace{e^{−λx}}_{v} dx + ∫_{0}^{t} \underbrace{\frac{x^{k}}{k}}_{u} \underbrace{(−λe^{−λx}}_{v′} dx)  ∫_{a}^{b} uv′ = uv|_{a}^{b} − ∫_{a}^{b} u′v

= \frac{λ^{k}}{(k−1)!} \frac{x^{k}}{k} e^{−λx}|_{0}^{t} = \frac{λ^{k}}{k!} t^{k}e^{−λt} = e^{−λt} \frac{(λt)^{k}}{k!}

Es gilt sogar für N_{(s,t]} = N(t) − N(s) mit 0 ≤ s ≤ t, gennant Zuwachs in (s, t]:

• N_{(s,t]} ∼ P oi(λ(t − s))

• N_{(s_{i},t_{i}]} mit i ∈ ℕ sind stochastisch unabhängig P oi(λ(t_{i} − s_{i}))-verteilt, falls die Intervalle (s_{i}, t_{i}] paarweise disjunkt sind, d.h. die Zuwächse eines Poissonprozesses sind stochastisch unabhängige poissonverteilte ZV.

Im folgenden: Summen von diskreten ZV.

Lemma 5.8 X_{1}, X_{2} stochastisch unabhängig, diskret mit Träger ℕ_{0}, Zähldichten

f_{X_{1}}, f_{X_{2}}. Dann besitzt X_{1} + X_{2} die Zähldichte f_{X_{1}+X_{2}}(k) = ∑_{i=0}^{k} f_{X_{1}}(i) · f_{X_{2}}(k − i),

k ∈ ℕ_{0}.

Beweis: P (X_{1} + X_{2} = k) = P ( ⋃_{i=0}^{k}({X_{1} = i} ∩ {X_{2} = k − i}))

= ∑_{i=0}^{k} P (X_{1} = i, X_{2} = k − i) = ∑_{i=0}^{k} \underbrace{P (X_{1} = i)}_{f_{X_{1}}(i)} \underbrace{P (X_{2} = k − i)}_{f_{X_{2}}(k−i)}

Beispiel 5.9 X_{1}, …, X_{n} stid ∼ Geo(p), 0 < p < 1.

Dann gilt P (∑_{i=1}^{n} X_{i} = k) = \binom{n+k−1}{k}(1 − p)^{k}p^{n} = \binom{n+k−1}{n−1}(1 − p)^{k}p^{n}, k ∈ ℕ_{0}.

Diese Verteilung heißt negative Binomialverteilung, Bezeichnung: \overline{Bin}(n, p).

Also: \underbrace{Geo(p) ∗ … ∗ Geo(p)}_{n mal} = \overline{Bin}(n, p).

Beweis: Übung 8, Aufgabe 31 d)

X_{1} + … + X_{n} = Wartezeit bis zum n-ten Treffer (ohne die Treffer mitzuzählen).

Lemma 5.10

a) Bin(n_{1}, p) ∗ Bin(n_{2}, p) = Bin(n_{1} + n_{2}, p), n_{1}, n_{2} ∈ ℕ, 0 ≤ p ≤ 1, insbeson-

dere \underbrace{Bin(1, p) ∗ … ∗ Bin(1, p)}_{n mal} = Bin(n, p)

b) \overline{Bin}(n_{1}, p) ∗ \overline{Bin}(n_{2}, p) = \overline{Bin}(n_{1} + n_{2}, p), n_{1}, n_{2} ∈ ℕ, 0 < p < 1

c) P oi(λ_{1}) ∗ P oi(λ_{2}) = P oi(λ_{1} + λ_{2})

Diese drei Verteilungen sind faltungsstabil.

Beweis: Übung 8, Aufgabe 31

Lemma 5.11 X_{1}, X_{2} stochastisch unabhängig, absolut-stetig mit Dichten f_{X_{1}}, f_{X_{2}}, f_{X_{i}}(x) = 0, falls x ≤ 0 für i = 1, 2. Dann gilt:

a) Y = X_{1} · X_{2} ist absolut-stetig mit Dichte

f_{Y} (y) = ∫_{0}^{∞} \frac{1}{t}f_{X_{1}}(\frac{y}{t})f_{X_{2}}(t)dt11_{(0,∞)}(y)

b) Z = \frac{X_{1}}{X_{2}} ist absolut-stetig mit Dichte

f_{Z}(y) = ∫_{0}^{∞}tf_{X_{1}}(yt)f_{X_{2}}(t)dt11_{(0,∞)}(y)

Beweis: Transformationssatz für Dichten mit T (X, Y) = (Y, X · Y) bzw. T (X, Y) = (Y, \frac{X}{Y}) (siehe Übung 9 Aufgabe 34).

6 Erwartungswerte und Momente von ZV

Motivierendes Beispiel

a) Spiel: Symmetrischer Würfel Modell: ZV X auf W’raum (Ω, 𝔄, P), P (X = i) = \frac{1}{6} für i = 1, …, 6.

• Auszahlung = Augenzahl in Euro Frage: ”Mittlere”, erwartete Auszahlung (= Einsatz beim Spiel) E(X) = \frac{1}{6} · 1 + … + \frac{1}{6} · 6 = \frac{1}{6}(1 + … + 6) = \frac{21}{6} = 3, 5

• Auszahlung = Augenzahl zum Quadrat (in Euro) g(X) = X^{2} E(X) = \frac{1}{6} · 1^{2} + … + \frac{1}{6} · 6^{2} = \frac{1}{6}(1^{2} + … + 6^{2}) = 15\frac{1}{6}

b) Roulette (Petersburger Paradoxon) (Nikolaus Bernoulli, 1695-1726) Strategie: Beim n-ten Spiel setze 2^{n} DM auf ”Rot”, n ∈ ℕ_{0}. Bei Gewinn ⇒ Stop Bei Verlust ⇒ n → n + 1 Erstmalig ”Rot” beim n-ten Spiel bedeutet:

Gesamteinsatz : 1 + 2 + … + 2^{n} = 2^{n+1} − 1
Auszahlung :  2^{n+1}
Gewinn :  1

Sichere Gewinnstrategie? Modell: \{X_{n}\}_{n∈ℕ_{0}} stid, X_{n} ∼ Bin(1, \frac{1}{2}), wobei \{X_{n} = 1\}: ”Rot” im Spiel n. S = min{n ∈ ℕ_{0}|X_{n} = 1}: Zeitpunkt von erstmalig ”Rot” S ∼ Geo(\frac{1}{2}), P (S = k) = (1 − p)^{k}p, k ∈ ℕ_{0}. Auszahlung: A = 1, falls S < ∞,

P (A = 1) = P (S < ∞) = ∑_{k=0}^{∞} P (S = k) = 1

Erwartete Auszahlung: E(A) = 1 · P (A = 1) = 1 Ist eine sichere Gewinnstrategie, erfordert aber unendliches Kapital und unendliche Zeit. Annahme: Maximales Kapital = 2^{L} − 1 DM ⟹ höchstens L − 1 Spiele spielbar Auszahlung: A = 1 ⟺ S ≤ L−1 und A = −(2^{L}−1) ⟺ S ≥ L

P (A = 1) = P (S ≤ L − 1) = ∑_{k=0}^{L−1} \frac{1}{2^{k+1}} = 1 − \frac{1}{2^{L}}

P (A = −(2^{L} − 1)) = P (S ≥ L) = 1 − P (A = 1) = \frac{1}{2^{L}} Erwartete Auszahlung: E(A) = 1 · (1 − \frac{1}{2^{L}}) − (2^{L} − 1)\frac{1}{2^{L}} = 0

In beiden Beispielen: E(X) = ∑_{i} i · P (X = i), bzw. E(g(X)) = ∑_{i} g(i) · P (X = i)

für Trägerpunkte i. Beachte bei der Erweiterung von E auf ∞ viele Trägerpunkte oder absolut-stetige ZV, daß ∑ bzw. ∫ wohldefiniert sind.

Definition 6.1 (Erwartungswert von ZV) g sei eine reellwertige Funktion.

a) X sei eine diskrete ZV mit Träger T = {x_{1}, x_{2}, …, } ⊂ ℝ und Zähldichte f. Falls ∑_{i=1}^{∞} |g(x_{i})|f(x_{i}) < ∞, so heißt E(g(X)) = ∑_{i=1}^{∞} g(x_{i})f(x_{i}) = ∑_{i=1}^{∞} g(x_{i})P (X = x_{i}) Erwartungswert von g(X).

b) X sei absolut-stetig mit Dichte f. Falls ∫_{−∞}^{∞} |g(x)|f(x)dx < ∞, so heißt

E(g(X)) = ∫_{−∞}^{∞} g(x)f(x)dx Erwartungswert von g(X). Insbesondere g(X) = X: E(X) = ∑_{i=1}^{∞} x_{i}P (X = x_{i}) bei diskreten ZV E(X) = ∫_{−∞}^{∞} xP (X = x) bei abs.-stetigen ZV

\begin{matrix}E(X^{2}) = ∑_{i=1}^{∞} x_{i}^{2}P (X = x_{i}) \\ E(X^{2}) = ∫_{−∞}^{∞} x^{2}P (X = x) \end{matrix}

Für beliebige ZV kann der Erwartungswert mit Hilfe der Verteilungsfunktion wie folgt berechnet werden. Lemma 6.2 X sei ZV mit Verteilungsfunktion F. Falls ∫_{−∞}^{0} F (x)dx < ∞ und ∫_{0}^{∞} 1 − F (x)dx < ∞, so gilt:

E(X) = − ∫_{−∞}^{0} F (x)dx + ∫_{0}^{∞} 1 − F (x)dx

Beweis: Nur für den Fall differenzierbarer Verteilungsfunktion F. (F′(x) = f(x) ist dann eine Dichte.)

∫_{−∞}^{0} \underbrace{F (x)}_{u} · \underbrace{1}_{v′} dx = F (x) · x|_{−∞}^{0} − ∫_{−∞}^{0} x · f(x)dx = − ∫_{−∞}^{0} x · f(x)dx

∫_{0}^{∞} \underbrace{(1 − F (x))}_{u} · \underbrace{1}_{v′} dx = (1 − F (x)) · x|_{0}^{∞} − ∫_{0}^{∞} x · f(x)dx = ∫_{0}^{∞} x · f(x)dx

Also: E(X) = ∫_{−∞}^{0} x · f(x)dx + ∫_{0}^{∞} x · f(x)dx = − ∫_{−∞}^{0} F (x)dx + ∫_{0}^{∞}(1 − F (x))dx Beispiel 6.3

a) Geometrische Verteilung, X ∼ Geo(p), P (X = k) = f(k) = (1 − p)^{k}p, k ∈ ℕ_{0}, 0 < p ≤ 1.

E(X) = ∑_{k=0}^{∞} k(1 − p)^{k}p = ∑_{k=1}^{∞} k(1 − p)^{k}p = ∑_{k=0}^{∞}(k + 1)(1 − p)^{k+1}p

= (1 − p) \underbrace{∑_{k=0}^{∞} k(1 − p)^{k}p}_{E(X)} +(1 − p) \underbrace{∑_{k=0}^{∞}(1 − p)^{k}p}_{1} = (1 − p)E(X) + 1 − p

Also: p \underbrace{∑_{k=0}^{∞} k(1 − p)^{k}p}_{E(X)} = 1 − p ⟹ E(X) = \frac{1−p}{p}, 0 < p ≤ 1.

b) Exponentialverteilung, X ∼ Exp(λ), f(x) = λe^{−λx}, x ≥ 0, λ > 0.

E(X) = ∫_{0}^{∞} \underbrace{x}_{u} \underbrace{λe^{−λx}}_{v′} dx = \underbrace{−xe^{−λx}|_{0}^{∞}}_{0, da lim_{x→∞} \frac{x}{e^{x}} =0} + ∫_{0}^{∞} e^{−λx}dx = −\frac{1}{λ}e^{−λx}|_{0}^{∞} = \frac{1}{λ}

Also: E(X) = \frac{1}{λ}, falls X ∼ Exp(λ).

c) Normalverteilung, X ∼ N(μ, σ^{2}), f(x) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} , x ∈ ℝ, μ ∈ ℝ,

σ > 0.  Ersetze im 2. Schritt x durch x + μ
E(X) = ∫_{−∞}^{∞} x\frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} dx = \frac{1}{\sqrt{2π}σ} ∫_{−∞}^{∞}(x + μ)e^{− \frac{x^{2}}{2σ^{2}}} dx
= \frac{1}{\sqrt{2π}σ} \underbrace{∫_{−∞}^{∞} xe^{− \frac{x^{2}}{2σ^{2}}} dx}_{0, wegen Sym. zum Ursprung} +μ \underbrace{\frac{1}{\sqrt{2π}σ} ∫_{−∞}^{∞} e^{− \frac{x^{2}}{2σ^{2}}} dx}_{1} = μ

Also: E(X) = μ, falls X ∼ N(μ, σ^{2}).

Lemma 6.4 X sei diskrete ZV mit Träger ℕ_{0}. Dann gilt:

E(X) = ∑_{k=1}^{∞} P (X ≥ k) = ∑_{k=0}^{∞} P (X > k)

Beweis: Mit Lemma 6.2: [figure: 1; 0; …; •; •; •; •] E(X) = ∫_{0}^{∞}(1 − F (x))dx

= ∑_{k=0}^{∞} P (X > k)

= ∑_{k=1}^{∞} P (X ≥ k).

Satz 6.5 (Eigenschaften des Erwartungswerts) (auftretende Erwartungswerte sollen existieren)

a) E(aX + bY) = aE(X) + bE(Y) ∀a, b ∈ ℝ

b) X ≤ Y ⟹ E(X) ≤ E(Y) (Monotonie)

c) Für X = 11_{A}, A ∈ 𝔄, gilt: E(X) = E(11_{A}) = P (A)

d) P (|X| > c) ≤ {E(|X|) \atop c} ∀c > 0 (Markoff-Ungleichung)

e) X, Y stochastisch unabhängig ⟹ E(X · Y) = E(X) · E(Y)

Erwartungswerte von Funktionen von Zufallsvektoren (transformierte Zufallsvektoren) werden wie folgt berechnet.

Satz 6.6 (X_{1}, …, X_{n}) sei Zufallsvektor, g : ℝ^{n} → ℝ meßbare Funktion. a) (X_{1}, …, X_{n}) sei diskret mit Träger T = {t_{1}, t_{2}, …} ⊂ ℝ^{n} und Zähldich-

te f. Falls ∑_{i=1}^{∞} |g(t_{i})|f(t_{i}) < ∞, so gilt E(g(X_{1}, …, X_{n})) = ∑_{i=1}^{∞} g(t_{i})f(t_{i}).

Also: E(X · Y) = ∑_{i=1}^{∞} ∑_{j=1}^{∞} x_{i} · y_{i} · f_{(X,Y)}(x_{i}, y_{i})

b) (X_{1}, …, X_{n}) sei absolut-stetig mit Dichte f. Falls ∫ … ∫ |g(x_{1}, …, x_{n})|f(x_{1}, …, x_{n})dx_{1} … dx_{n} < ∞, so gilt E(g(X_{1}, …, X_{n})) = ∫ … ∫ g(x_{1}, …, x_{n})f(x_{1}, …, x_{n})dx_{1} … dx_{n}.

Also: E(X · Y) = ∫ ∫ x · y · f_{(X,Y)}(x, y)dxdy

Beweis: von Satz 6.5

a) Für absolut-stetige ZV: E(aX + bY) =^{6.6b} ∫ ∫ (ax + by)f_{(X,Y)}(x, y)dxdy = a ∫ ∫ xf_{(X,Y)}(x, y)dxdy + b ∫ ∫ yf_{(X,Y)}(x, y)dxdy

= a \underbrace{∫ xf_{X}(x)dx}_{E(X)} +b \underbrace{∫ yf_{Y} (y)dy}_{E(Y)} = aE(X) + bE(Y)

c) 11_{A}(w) = \{ \begin{matrix}1 & , w ∈ A \\ 0 & , w ∉ A \end{matrix}

E(11_{A}) = 1 · P (A) + 0 · P (A^{C}) = P (A)

d) ∀c > 0: c · 11_{\{|x|>c\}}(x) = \{ \begin{matrix}c & , |x| > c \\ 0 & , |x| ≤ c \end{matrix} \} ≤ |x|

E(c · 11_{{|x|>c}}) = c · P (|x| > c) ≤ E(|X|) Also P (|x| > c) ≤ \frac{E(|X|)}{c} ∀c > 0.

e) Für diskrete ZV: X, Y stochastisch unabhängig

E(X · Y) = ∑_{i,j} x_{i}y_{j}f_{(X,Y)}(x_{i}, y_{i}) = ∑_{i,j} x_{i}y_{j}f_{X}(x_{i})f_{Y} (y_{j})

= \underbrace{(∑_{i} x_{i}f_{X}(x_{i}))}_{E(X)} \underbrace{(∑_{j} y_{j}f_{Y} (y_{j}))}_{E(Y)} = E(X) · E(Y)

Definition 6.7 X, Y seien ZV. X und Y heißen unkorreliert (uncorrelated), wenn E(X · Y) = E(X) · E(Y).

Also mit Satz 6.5: X, Y stochastisch unabhängig ⟹ X, Y unkorreliert. Die Umkehrung hiervon ist im Allgemeinen falsch, siehe Übung.^{10}

Transformationen von besonderer Bedeutung sind g(X) = X^{k} mit k ∈ ℕ_{0} und g(X, Y) = (X − E(X))(Y − E(Y)).

Definition 6.8 X, Y seien ZV. Alle auftretenden Erwartungswerte sollen existieren. a) E(X^{k}) mit k ∈ ℕ_{0} heißt k-tes Moment (moment) von X.

10Gilt aber bei der Normalverteilung.

b) E((X − E(X))^{k}) heißt k-tes zentrales Moment (central moment). Insbesondere k = 2: E((X − E(X))^{2}) = V (X) = V ar(X) heißt Varianz von X (variance). \sqrt{V (X)} heißt Standardabweichung von X (standard deviation).

c) Cov(X, Y) = E ((X − E(X))(Y − E(Y))) heißt Kovarianz von X und Y (covariance). Corr(X, Y) = \frac{Cov(X,Y)}{\sqrt{V ar(X)}\sqrt{V ar(Y)}} heißt Korrelation von X und Y (correla-

tion).

Lemma 6.9 X, Y, X_{1}, …, X_{n} seien ZV. Auftretende Momente (Erwartungswerte) sollen existieren.

a) Cov(X, Y) = E(X · Y) − E(X) · E(Y)

Cov(X, X) = V ar(X) V ar(X) = E(X^{2}) − (E(X))^{2}

b) V ar(aX + b) = a^{2}V ar(X) ∀a, b ∈ ℝ

c) V ar(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} V ar(X_{i}) + 2 ∑_{i<j} Cov(X_{i}, Y_{j})

V ar(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} V ar(X_{i}), falls X_{1}, …, X_{n} paarweise unkorreliert

d) |Cov(X, Y)| ≤ \sqrt{V ar(X)V ar(Y)} Cauchy-Schwarz-Ungleichung Insbesondere folgt: |Corr(X, Y)| ≤ 1.

Beweis:

1. Cov(X, X) = E[(X − E(X))(X − E(X))] = E[(X − E(X))^{2}] = V ar(X) Cov(X, Y) = E[(X − E(X))(Y − E(Y))] = E[X · Y − X · E(Y) − Y · E(X) + E(X)E(Y)] = E(X · Y) − E(Y)E(X) − E(X)E(Y) + E(X)E(Y) = E(X · Y) − E(X)E(Y) V ar(X) = Cov(X, X) = E(X^{2}) − E(X)^{2}

2. V ar(aX + b) = E[((aX + b) − E(aX + b))^{2}] = E[(aX + b − aE(X) − b)^{2}] = a^{2}E[(X − E(X))^{2}] = a^{2}V ar(X)

3. V ar(∑_{i=1}^{n} X_{i}) = E [(∑_{i=1}^{n} X_{i})^{2}] − E [∑_{i=1}^{n} X_{i}]^{2} = ∑_{i,j} E(X_{i}X_{j}) − ∑_{i,j} E(X_{i})E(X_{j})

= ∑_{i} V ar(X_{i}) + 2 ∑_{i,j}[E(X_{i}X_{j}) − E(X_{i})E(X_{j})]

= ∑_{i} V ar(X_{i}) + 2 ∑_{i<j} Cov(X_{i}, X_{j})

4. Hier bei Existenz von Dichten:

|E(X, Y)| = | ∫ ∫ X · Y f(x, y)dxdy| ≤ ∫ ∫ |x||y|f(x, y)dxdy

≤^{Cauchy−Schwarz} \sqrt{(∫ ∫ x^{2}f(x, y)dxdy)(∫ ∫ y^{2}f(x, y)dxdy)}

= \sqrt{(∫ x^{2}f_{X}(x)dx)(∫ y^{2}f_{Y} (y)dy)} = \sqrt{E(X^{2})E(Y^{2})}

Behauptung durch Ersetzen von X durch X −E(X) und Y durch Y −E(Y).

Interpretation der Größen aus Lemma 6.9

E(X): mittlerer Wert
V ar(X): mittlere quadratische Abweichung vom Erwartungswert.

Maßzahl für die Streuung

Cov(X, Y): Korrekturterm bei der Varianzberechn. von Summen von ZV.

V ar(X, Y) = V ar(X) + V ar(Y) + 2Cov(X, Y)

Corr(X, Y): Maßzahl für den linearen Zusammenhang zwischen ZV.

Es gilt: ∃a, b ∈ ℝ : P (X = aY + b) = 1 ⇔ |Corr(X, Y)| = 1.

Satz 6.10 G_{X_{1}}(z), G_{X_{2}}(z) seien erzeugende Funktionen von stochastisch unabhängigen diskreten ZV X_{1}, X_{2}, bzw. L_{X_{1}}(s), L_{X_{2}}(s) die Laplace-Transformierten von stochastisch unabhängigen absolut-stetigen ZV X_{1}, X_{2} ≥ 0. Dann gilt:

G_{X_{1}+X_{2}}(z) = G_{X_{1}}(z)G_{X_{2}}(z) für |z| ≤ 1, bzw.

L_{X_{1}+X_{2}}(s) = L_{X_{1}}(s)L_{X_{2}}(s) für s ≥ 0.

Beweis:

Es gilt: G_{X}(z) = ∑_{k=0}^{∞} p_{k}z^{k} = E(z^{X}) und L_{X}(s) = ∫_{0}^{∞}e^{sx}f(x)dx = E(e^{−sX}).

Also: G_{X_{1}+X_{2}}(z) = E(z^{X_{1}+X_{2}}) = E(\underbrace{z^{X_{1}}}_{s.u.} \underbrace{z^{X_{2}}}_{s.u.}) = E(z^{X_{1}})E(z^{X_{2}})

= G_{X_{1}}(z)G_{X_{2}}(z) für |z| ≤ 1.

L_{X_{1}+X_{2}}(s) = E(e^{−s(X_{1}+X_{2})}) = E(\underbrace{e^{−sX_{1}}}_{s.u.} \underbrace{e^{−sX_{2}}}_{s.u.}) = E(e^{−sX_{1}})E(e^{−sX_{2}})

= L_{X_{1}}(s)L_{X_{2}}(s) fürs ≥ 0.

Beispiel 6.11

a) X ∼ Bin(n, p). Dann G_{X}(z) = (1 − p + pz)^{n} für |z| ≤ 1. X_{1} ∼ Bin(n_{1}, p), X_{2} ∼ Bin(n_{2}, p) stochastisch unabhängig. ⟹ G_{X_{1}+X_{2}}(z) = (1 − p + pz)^{n_{1}}(1 − p + pz)^{n_{2}} = (1 − p + pz)^{n_{1}+n_{2}} ist die erzeugende Funktion einer Bin(n_{1} + n_{2}, p)-Verteilung.

b) X_{1} ∼ Exp(λ), L_{X_{1}}(s) = \frac{s}{s+λ} für s ≥ 0. X_{2} ∼ Exp(μ), L_{X_{2}}(s) = \frac{s}{s+μ} für s ≥ 0. L_{X_{1}+X_{2}}(s) = \frac{s}{s+λ} \frac{s}{s+μ} = \frac{μ}{μ−λ} \frac{λ}{s+λ} \frac{λ}{λ−μ} \frac{μ}{s+μ} (*) Die Dichte f(x) = (\frac{μ}{μ−λ}λe^{−λx} + \frac{λ}{λ−μ}μe^{−μx})11_{0,∞}(x) (**) hat als Laplace-Transformierte (*). X_{1} + X_{2} hat die Dichte (**).

Satz 6.12 (Transformierte und Momente)

a) G(z) = ∑_{k=0}^{∞} P (X = k)z^{k} sei erzeugende Funktion einer diskreten ZV X mit

Träger ℕ_{0}. Dann gilt:

E(X) = G′(1) und \underbrace{E[X(X − 1) … (X − k + 1)]}_{k−tes faktorielles Moment} = G^{(k)}(1).

Also: E(X^{2}) = G′(1) + G′′(1). Damit: V ar(X) = G′(1) + G′′(1) − G′(1)^{2}

Beachte: G^{(i)}(1) = lim_{z→1^{−}} G^{(i)}(z), falls G(z) nicht ex. für z > 1.

b) L(s) = ∫_{0}^{∞} e^{−sx}f(x)dx sei Laplace-Transformierte einer absolut-stetigen ZV X ≥ 0 mit Dichte f. Dann gilt: E(X) = −L′(0) und E(X^{k}) = (−1)^{k}L^{(k)}(0).

Damit: V ar(X) = L′′(0) − L′(0)^{2}

Beweis: Nur eine intuitive ”Idee”, kein echter Beweis. Nur für a) E(X)

G′(z) = ∑_{k=0}^{n} p_{k}kz^{k−1} für |z| < 1 (durch gliedweises Differenzieren)

Also: G′(1) = ∑_{k=0}^{n} p_{k}k = E(X).

Satz 6.13 (Berechnung von Momenten)

a) X ∼ Bin(n, p) mit 0 ≤ p ≤ 1.

Berechnung des Erwartungswertes:

1) E(X) = ∑_{k=0}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k} = … = np

2) X ∼ ∑_{i=1}^{n} X_{i} mit X_{i} stid ∼ Bin(1, p) und E(X_{i}) = 1 · p + 0 · (1 − p) = p

E(X) = E(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} E(X_{i}) = ∑_{i=1}^{n} p = np

Dieser Trick läßt sich bei faltungsstabilen Verteilungen anwenden!

3) Erzeugende Funktion G(z) = (1 − p + pz)^{n} und G′(z) = n(1 − p + pz)^{n−1}p. Also: G′(1) = np = E(X).

V ar(X) wie in 2):

V ar(X) = V ar(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} V ar(X_{i}) = ∑_{i=1}^{n} p(1 − p) = np(1 − p)

{V ar(X_{i}) = E(X_{i}^{2}) − E(X_{i})^{2} = E(X_{1}^{2}) − p^{2} = p − p^{2} = p(1 − p) \atop E(X_{i}^{2}) = 1^{2}p + 0^{2}(1 − p) = p}

b) X ∼ Exp(λ) mit λ > 0. L_{X}(s) = \frac{λ}{s+λ} und L_{X}^{(k)}(s) = (−1)^{k}k!\frac{λ}{(s+λ)^{k+1}}

L_{X}^{(k)}(0) = (−1)^{k}k!λ^{−k} Also: E(X^{k}) = k!λ^{−k}, E(X) = \frac{1}{λ} und E(X^{2}) = \frac{2}{λ^{2}} V ar(X) = E(X^{2}) − E(X)^{2} = \frac{2}{λ^{2}} − \frac{1}{λ^{2}} = \frac{1}{λ^{2}} 40 6 ERWARTUNGSWERTE UND MOMENTE VON ZV

c) X ∼ N(0, 1), d.h. normalverteilt mit μ = 0 und σ^{2} = 1. Dann E(X) = 0.

E(X^{2}) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{∞} x^{2}e^{− \frac{x^{2}}{2}} dx =^{Symmetrie} \frac{2}{\sqrt{2π}} ∫_{0}^{∞}x^{2}e^{− \frac{x^{2}}{2}} dx

Substitution: \frac{x^{2}}{2} = y und dx = \frac{dy}{\sqrt{2y}}

= \frac{2}{\sqrt{2π}} ∫_{0}^{∞}2ye^{−y} \frac{1}{\sqrt{2y}}dy = \frac{2}{\sqrt{π}} ∫_{0}^{∞} \frac{\frac{2}{\sqrt{2}}}{\sqrt{2}} \frac{y}{\sqrt{y}}e^{−y}dy = \underbrace{\frac{2}{\sqrt{π}} ∫_{0}^{∞}y^{\frac{1}{2}} e^{−y}dy}_{Integral über die Dichte einer Γ( \frac{3}{2} ,1)−Verteilung} = 1

Es folgt: V ar(X) = E(X^{2}) − E(X)^{2} = 1 − 0 = 1 (Varianz einer Standard-Normalverteilung ist 1) Y = σX + μ besitzt die Dichte f_{Y} (y) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(y−μ)^{2}}{2σ^{2}}} , d.h. Y ∼ N(μ, σ^{2}).

Also E(Y) = E(σX + μ) = σ^{2} \underbrace{V ar(X)}_{1} = σ^{2}

Also: Bei N(μ, σ^{2}) ist μ der Erwartungswert und σ^{2} die Varianz.

7 Bedingte Verteilungen und Erwartungswerte

a) X, Y diskrete ZV mit Träger T_{X}, T_{Y}, gemeinsamer Zähldichte f_{(X,Y)}(x, y) = P (X =x, Y =y) für (x, y) ∈ T_{X} × T_{Y}. Definiere die bedingte Zähldichte von X unter Y = y (analog zu Definition 2.14) durch

f_{X|Y} (x|y) = \{ \begin{matrix}\frac{P (X=x,Y =y)}{P (Y =y)} = \frac{f_{(X,Y )}(x,y)}{f_{Y} (y)} & , falls f_{Y} (y) > 0 \\ f_{X}(x) (oder bel. andere Zähldichte) & , falls f_{Y} (y) = 0 \end{matrix}

Beachte: f_{X|Y} (x|y) ist eine Zähldichte für alle y ∈ T_{Y} mit y fest. Die zugehörige Vert. heißt bedingte Verteilung von X unter Y = y,

also P (X ∈ A|Y =y) = P^{X|Y =y}(A) = ∑_{x∈A} f_{X|Y} (x|y) mit A ∈ 𝔄 und y ∈ T_{Y}.

Der Satz von der totalen Warscheinlichkeit (Satz 2.15) liefert

f_{X}(x) = P (X =x) = ∑_{y∈T_{Y}} f_{X|Y} (x|y)f_{Y} (y) mit x ∈ T_{X}. (*)

Beispiel 7.1 Sei f_{X|N}(k|n) = \binom{n}{k}p^{k}(1 − p)^{n−k} für k = 0, …, n, also P^{X|N=n} = Bin(n, p) und N ∼ P oi(λ). Zweistufiges Experiment: ^{\overline{}^{N=n}}

P (X =k) = ∑_{n=0}^{∞} P (X =k|N =n)P (N =n)  Es ist \binom{n}{k} = 0 für k > n

= ∑_{n=k}^{∞} P (X =k|N =n)P (N =n) = ∑_{n=k}^{∞} \frac{n!}{(n−k)!k!}p^{k}(1 − p)^{n−k}e^{−λ} \frac{λ^{n}}{n!}

= e^{−λ} \frac{λ^{k}p^{k}}{k!} \underbrace{∑_{n=k}^{∞} \frac{(λ(1 − p))^{n−k}}{(n − k)!}}_{e^{λ(1−p)}} = e^{−λ} \frac{λ^{k}p^{k}}{k!} e^{λ(1−p)} = \frac{(λp)^{k}}{k!} e^{−λp} ∼ P oi(λp),

d.h. X ∼ P oi(λp).

Betrachte den Erwartungswert der bedingten Verteilung:

E(g(X)|Y =y) = ∑_{x∈T_{X}} g(x)f_{X|Y} (x|y) für y ∈ T_{Y}

heißt bedingter Erwartungswert von g(X) unter Y = y (falls existent). Berechnung des Erwartungswertes mit den bedingten E-Werten wie folgt:

E(g(X)) = ∑_{x∈T_{X}} g(X)f_{X}(x) = ∑_{x∈T_{X}} g(X) ∑_{y∈T_{Y}} f_{X|Y} (x|y)f_{Y} (y)

= ∑_{y∈T_{Y}} \underbrace{∑_{x∈T_{X}} g(X)f_{X|Y} (x|y)}_{E(g(X)|Y =y)} f_{Y} (y) = ∑_{y∈T_{Y}} E(g(X)|Y =y)f_{Y} (y)

b) X, Y absolut-stetige ZV mit gemeinsamer Dichte f_{(X,Y)}(x, y). Definiere die bedingte Dichte von X unter Y = y durch

f_{X|Y} (x|y) = \{ \begin{matrix}\frac{f_{(X,Y )}(x,y)}{f_{Y} (y)} & , falls f_{Y} (y) > 0 \\ f_{X}(x) (oder bel. andere Zähldichte) & , falls f_{Y} (y) = 0 \end{matrix}

Beachte: f_{X|Y} (x|y) ist eine Dichte für alle y ∈ ℝ.

Die zugehörige Vert. heißt bedingte Verteilung von X unter Y = y,

also P (X ∈ A|Y =y) = P^{X|Y =y}(A) = ∫_{A} f_{X|Y} (x|y)dx mit A ∈ 𝔄 und y ∈ ℝ.

Speziell heißt F_{X|Y =y}(x) = P (X ≤ x|Y = y) = ∫_{−∞}^{x} f_{X|Y} (z|y)dz bedingte Verteilungsfunktion von X unter Y = y.

Wie bei a) (*): f_{X}(x) = ∫_{−∞}^{∞} f_{X|Y} (x|y)f_{Y} (y)dy.

Analog zum diskreten Fall heißt E(g(X)|Y = y) = ∫ g(X)f_{X|Y} (x|y)dx für y ∈ ℝ bedingter Erwartungswert von g(X) unter Y = y. Wie oben:

E(g(X)) = ∫ g(X)f_{X}(x)dx = ∫ g(X) ∫ f_{X|Y} (x|y)f_{Y} (y)dydx

= ∫ \underbrace{(∫ g(X)f_{X|Y} (x|y)dx)}_{E(g(X)|Y=y)} f_{Y} (y)dy = ∫ E(g(X)|Y = y)f_{Y} (y)dy

c) Gemischte Fälle: absolut-stetig/diskret werden analog behandelt

Beispiel 7.2 (Wartezeit in einem Wartesystem) N: Anzahl der Kunden in der Warteschlange, N ∼ Geo(p) X_{n} mit n ∈ ℕ: Bedienzeit des Kunden n, X_{n} stid ∼ Exp(λ) Gesucht: W = ∑_{i=1}^{N+1} X_{i} Gesamtwartezeit für neu ankommende Kunden Bekannt: P^{W |N=n} = Erl(n + 1, λ)

Es gilt: P (W ≤t) = ∑_{n=0}^{∞} P (W ≤t|N =n)P (N =n)

= ∑_{n=0}^{∞} ∫_{0}^{t} \frac{λ^{n+1}}{n!} y^{n−1+1}e^{−λy}dy(1 − p)^{n}p = ∫_{0}^{t} λpe^{−λy} \underbrace{∑_{n=0}^{∞} \frac{(λy(1 − p))^{n}}{n!}}_{e^{λy(1−p)}} dy

= ∫_{0}^{t} λpe^{−λy}e^{λy(1−p)}dy = ∫_{0}^{t} \underbrace{λpe^{−λpy}}_{Dichte einer Exp-Vert.} dy = 1 − e^{−λpt} für t ≥ 0

Also: W ∼ Exp(λp) mit E(W) = \frac{1}{λp}

Beispiel 7.3 (Ankünfte eines PP in zufälligen Intervallen)

\begin{matrix}N(t): P P (λ) mit λ > 0 \\ Y ∼ Exp(μ) mit μ > 0 \end{matrix} \}s.u. [figure: •; •; •; •; •; t; Y; 0]

Gesucht: N(Y) = max{n ∈ ℕ_{0}| ∑_{i=1}^{n} X_{i} ≤ Y }, wobei X_{i} stid ∼ Exp(λ).

N(Y) ist Anzahl der Ankünfte im zufälligen Intervall [0, Y]. Bekannt: P^{N(Y)|y=t} = P oi(λt) für alle t > 0. P (N(Y)=k) = ∫_{0}^{∞} P (N(Y)=k|Y =t)μe^{−μt}dt = ∫_{0}^{∞} \frac{(λt)^{k}}{k!} e^{−λt}μe^{−μt}dt

= \frac{λ^{k}μ}{k!} ∫_{0}^{∞} t^{k}e^{−(λ+μ)t}dt = \frac{λ^{k}μ}{k!} \frac{k!}{(λ+μ)^{k+1}} \underbrace{∫_{0}^{∞} \frac{(λ + μ)^{k+1}}{k!} t^{k}e^{−(λ+μ)t}dt}_{1, da Γ(k+1,λ+μ)−Verteilung}

= \frac{μ}{λ+μ} (\frac{λ}{λ+μ})^{k} (für k ∈ ℕ_{0}) = (1 − \frac{μ}{λ+μ})^{k} \frac{μ}{λ+μ} Also: N(Y) ∼ Geo(\frac{μ}{λ+μ})

8 Grenzwertsätze

Zur Motivation

1) Unendlicher Münzwurf, Wahrscheinlichkeit für Kopf = p (unbekannt) Frage: Ist die Münze fair? Idee: Werfe die Münze sehr oft in unabhängigen Versuchen. h_{n} = \frac{Anzahl der Würfe mit Kopf}{n=Anzahl aller Würfe} Frage: Konvergiert h_{n} gegen p für n → ∞?

2) Wartesystem: Anzahl der in einem Zeitraum ankommenden Kunden durch X_{i} ∼ P oi(λ) (Zeitintervall der Länge 1) Anzahl der bis zum Zeitpunkt n ankommenden Kunden durch Y_{n} = ∑_{i=1}^{n} X_{i} ∼ P oi(nλ) Frage: Welche Verteilung ergibt sich asymptotisch (n groß)? Es existieren Konstanten: a_{n}, b_{n}: \frac{Y_{n}−a_{n}}{b_{n}} ∼^{asymptotisch} N(0, 1) Gilt die gleiche Aussage, wenn X_{i} ∼ Bin(k, p)? → Ja! Gilt immer, auch wenn die Verteilung der X_{i} unbekannt.

Zunächst geeignete Konvergenzbegriffe:

Definition 8.1 {X_{n}}_{n∈ℕ} sei eine Folge von ZV und X sei ZV, alle auf W’raum (Ω, 𝔄, p). Die Folge heißt

a) P-fast sicher konvergent (almost surely, almost everywhere) gegen X, wenn P ({w| lim_{n→∞} X_{n}(w) = X(w)}) = P ( lim_{n→∞} X_{n} = X) = 1.

Bez.: X_{n} →^{n→∞} X P -fast sicher konvergent (P-f.s.), lim_{n→∞} X_{n} = X P -f.s.

b) P-stochastisch konvergent (stochastically convergent) gegen X, wenn lim_{n→∞} P (|X_{n} − X|>ε) = 0 für alle ε > 0.

Bez.: X_{n} →^{n→∞} X P -stoch., lim_{n→∞} X_{n} = X P -stoch.

c) schwach konvergent oder verteilungskonvergent (convergent in distribution) gegen X, wenn lim_{n→∞} F_{n}(x) = F (x) für alle Stetigkeitspunkte von F,

wobei X_{n} ∼ F_{n} und X ∼ F. Bez.: X_{n} ∼^{asym.} X, X_{n} →^{𝔇} X.

Lemma 8.2 P (lim sup_{n→∞}{|X_{n} − X|>ε}) = 0 ⟺ X_{n} →^{n→∞} X P -f.s.

Also X_{n} →^{n→∞} X P -f.s. ⟺ P (|X_{n} − X|>ε für ∞ viele n) = 0 für alle ε > 0.

Beweis: ”⇐”: ✓ ”⇒”: Für alle ε = \frac{1}{k}: P (|X_{n} − X|> \frac{1}{k} für ∞ viele n) = 0

Es folgt: P ( \underbrace{⋃_{k} \{w | |X_{n}(w) − X(w)|> \frac{1}{k} für ∞ viele n\}}_{=\{w|∃k∀n_{0}∃n≥n_{0}:|X_{n}(w)−X(w)|>\frac{1}{k} \}} ) ≤ ∑_{k} P (…) = 0

Aus dem Komplement: P (\{w|∀k∃n_{0}∀n ≥ n_{0} : |X_{n}(w) − X(w)| ≤ \frac{1}{k}\}) = 1, d.h. X_{n} → X P -f.s.

Satz 8.3 (Zusammenhänge zwischen Konvergenzarten)

a) X_{n} → X P -f.s. ⟹^{(i)} X_{n} → X P -stoch. ⟹^{(ii)} X_{n} →^{𝔇} X (Umkehrung i.A. falsch)

b) ∑_{n=1}^{∞} P (|X_{n} − X| > ε) < ∞ für alle ε > 0 ⟹ X_{n} → X P -f.s.

Beweis:

a) i) ∀ε > 0 gilt: 0 ≤ lim_{n→∞} P (|X_{n} − X|>ε) ≤ lim_{n→∞} P ( ⋃_{m≥n}{|X_{n} − X|>ε})

=^{Stetigkeit} P ( ⋂_{n=1}^{∞} ⋃_{m≥n}{|X_{n} − X|>ε}) = P (lim sup_{n→∞}{|X_{n} − X|>ε})

= P (|X_{n} − X|>ε für ∞ viele n) = 0, da X_{n} → X P -f.s. (Vergl. Lem. 8.2)

ii) Mathar & Pfeiffer, Lemma 2.3.2, Seite 137

b) Sei ε > 0. Mit dem Borel-Cantelli-Lemma (BCL) und Lemma 8.2:

∑_{n=1}^{∞} P (|X_{n} − X| > ε) < ∞ ⟹^{BCL} P (lim sup_{n→∞}{|X_{n} − X|>ε}) = 0 ⟹^{L 8.2} Beh.

Lemma 8.4 (Tschebyscheff-Ungleichung) (Chebyshev inequality) X sei ZV mit V ar(X) < ∞. Dann gilt für alle ε > 0:

P (|X − E(X)|>ε) ≤ \frac{V ar(X)}{ε^{2}}

Beweis: Mit Markoff-Ungleichung: P (|X|>c) ≤ \frac{E(|X|)}{c} für alle c > 0

P (|X − E(X)|>ε) = P ((X − E(X))^{2} >ε^{2}) ≤ \frac{E(|X−E(X)|^{2})}{ε^{2}} = \frac{V ar(X)}{ε^{2}}

Satz 8.5 (Starkes Gesetz großer Zahlen, SGGZ)^{11}

{X_{n}}_{n∈ℕ} sei eine Folge von paarweise unkorrelierten ZV auf einem W’raum (Ω, 𝔄, P) mit V ar(X_{n}) ≤ M < ∞ für alle n ∈ ℕ. Dann gilt:

\frac{1}{n} ∑_{i=1}^{n} (X_{i} − E(X_{i})) →^{n→∞} 0 P -f.s.

Beweis: O.B.d.A. E(X_{i}) = 0 für alle i, X_{i} paarweise unkorreliert.

Setze \overline{X_{n}} = \frac{1}{n} ∑_{i=1}^{n} X_{i} (arithmetisches Mittel).

Damit: V ar(\overline{X_{n}}) = V ar(\frac{1}{n} ∑_{i=1}^{n} X_{i}) = \frac{1}{n^{2}} ∑_{i=1}^{n} V ar(X_{i}) ≤ \frac{1}{n^{2}} n · M

11strong law of large numbers, LLN

Zeige: ∀ε > 0: ∑_{i=1}^{∞} P (|\overline{X_{n}}|>ε) < ∞. Dann \overline{X_{n}} → 0 P -f.s. (Satz 8.3 b))

Betrachte zunächst die Teilfolge \overline{X_{n^{2}}}. Mit der Tschbyscheff-Ungleichung P (|\overline{X_{n^{2}}}|>ε) ≤ \frac{V ar(\overline{X_{n^{2}}})}{ε^{2}} ≤ \frac{1}{n^{4}ε^{2}} n^{2}M = \frac{M}{n^{2}ε^{2}} für alle n ∈ ℕ, ε > 0.

Also: ∑_{i=1}^{∞} P (|\overline{X_{n^{2}}}|>ε) ≤ ∑_{i=1}^{∞} \frac{M}{n^{2}ε^{2}} = \frac{M}{ε^{2}} ∑_{i=1}^{∞} \frac{1}{n^{2}} < ∞ ⟹ \overline{X_{n^{2}}} → 0 P -f.s.

Für die nicht-quadratischen Terme: Sei n = n(k) definiert durch n^{2} ≤ k < (n + 1)^{2} für alle k ∈ ℕ.

V ar(k\overline{X_{k}} −n^{2}\overline{X_{n^{2}}}) = V ar(k \frac{1}{k} ∑_{i=1}^{k} X_{i} −n^{2} \frac{1}{n^{2}} ∑_{i=1}^{n^{2}} X_{i}) = V ar( ∑_{i=n^{2}+1}^{k} X_{i}) ≤ (k −n^{2})M

Es folgt (Tsch.-Ungl.): P (|k\overline{X_{k}} − n^{2}\overline{X_{n^{2}}}|≥εn^{2}) ≤ \frac{(k−n^{2})M}{ε^{2}n^{4}} Also mit Satz 8.3 b): \frac{k}{n(k)^{2}} \overline{X_{k}} →^{k→∞} 0 P -f.s.

Insgesamt: ∃F_{1} ∈ 𝔄 mit P (F_{1}) = 1 und für alle w ∈ F_{1} : \overline{X_{n^{2}}} → 0 (für n → ∞) ∃F_{2} ∈ 𝔄 mit P (F_{2}) = 1 und für alle w ∈ F_{2} : \frac{k}{n(k)^{2}} \overline{X_{k}} − \overline{X_{n(k)^{2}}} → 0 (für k → ∞) \frac{k}{n(k)^{2}} → 1 für k → ∞

Es folgt: \overline{X_{n}} → 0 ∀w ∈ F_{1} ∩ F_{2}, wobei

P (F_{1} ∩ F_{2}) = \underbrace{P (F_{1})}_{1} + \underbrace{P (F_{2})}_{1} − \underbrace{P (F_{1} ∪ F_{2})}_{1} = 1, d.h. \overline{X_{n}} → 0 P -f.s.

Bemerkung 8.6 a) Wegen Satz 8.3 (fast sichere Konvergenz impliziert stochastische):

\frac{1}{n} ∑_{i=1}^{n}(X_{i} − E(X_{i})) →^{n→∞} 0 P -f.s. ⟹ \frac{1}{n} ∑_{i=1}^{n}(X_{i} − E(X_{i})) →^{n→∞} 0 P -stoch.

Die rechte Aussage heißt schwaches Gesetz großer Zahlen

b) Das SGGZ gilt auch, wenn {X_{n}}_{n∈ℕ} stid und E(X_{1}) existiert (ohne die Existenz der Varianz zu fordern).

Dann gilt mit μ = E(X_{1}) : \frac{1}{n} ∑_{i=1}^{n} →^{n→∞} μ P -f.s.

Beweis: sehr aufwendig..., siehe Shiryayev

Beispiel 8.7 (Anwendung des SGGZ) {X_{n}}_{n∈ℕ} sei Folge von stid ZV, A ∈ 𝔅^{1}, P (X_{n} ∈ A) = p für alle i ∈ ℕ.

∑_{i=1}^{n} 11_{A}(X_{i}) : Anzahl des Auftretens {X_{i} ∈ A} bis zum n-ten Versuch.

Y_{i} := 11_{A}(X_{i}) sind stid mit E(Y_{i}) = P (X_{i} ∈ A) = p für alle i ∈ ℕ

Da: \frac{1}{n} ∑_{i=1}^{n}(11_{A}(X_{i}) − p) = \frac{1}{n} ∑_{i=1}^{n} 11_{A}(X_{i}) − p →^{n→∞} 0 P -f.s. p nach rechts bringen:

Mit SGGZ: \frac{1}{n} ∑_{i=1}^{n} Y_{i} = \frac{1}{n} \underbrace{∑_{i=1}^{n} 11_{A}(X_{i})}_{rel. Häufigkeit des Auftretens von \{X_{i}∈ A\}} →^{n→∞} p P -f.s.

Beispiel 8.8 {X_{n}}_{n∈ℕ} sei stid Folge von ZV. μ = EX_{i}, σ^{2} = V ar(X_{i}). Dann \frac{1}{n} ∑_{i=1}^{n} X_{i} = \overline{X_{n}} →^{n→∞} μ P -f.s. (d.h. \overline{X_{n}} ist stark konsistenter Schätzer für μ) \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} →^{n→∞} E(X_{1}^{2}) P -f.s. (wegen SGGZ; ersetze X_{i} durch X_{i}^{2})

\frac{1}{n} ∑_{i=1}^{n}(X_{i}−\overline{X_{n}})^{2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i}^{2}−2X_{i} \underbrace{\overline{X_{n}}}_{fest bzgl. ∑} +\overline{X_{n}}^{2}) = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2}−\underbrace{\frac{1}{n}2\overline{X_{n}} ∑_{i=1}^{n} X_{i}}_{2\overline{X_{n}}^{2}} +\frac{1}{n} ∑_{i=1}^{n} \overline{X_{n}}^{2}

= \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − (\overline{X_{n}})^{2} → E(X_{1}^{2}) − μ^{2} = V ar(X_{1}) = σ^{2} (wegen SGGZ)

(D.h. \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X_{n}})^{2} ist ein stark konsistenter Schätzer für σ^{2}) Satz 8.9 (Zentraler Grenzwertsatz, ZGWS, CLT) {X_{n}}_{n∈ℕ} sei stid Folge von ZV, μ = E(X_{n}), σ^{2} = V ar(X_{n}) existiere. Dann gilt

\frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ∼^{asym.} N(0, 1) (n → ∞), σ^{2} > 0

d.h. P (\frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ≤ z) → Φ(z) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{z} e^{− \frac{x^{2}}{2}} dx ∀z ∈ ℝ

Eine Anwendung hiervon (siehe auch das folgende Beispiel):

P (∑_{i=1}^{n} X_{i} ≤ z) = P (^{\frac{∑_{i=1}^{n} X_{i}−n·E(X_{n})}{\sqrt{n·V ar(X_{n})}}} ≤ \frac{z−n·E(X_{n})}{\sqrt{n·V ar(X_{n})}} ) ≈^{ZGW S} Φ (\frac{z−n·E(X_{n})}{\sqrt{n·V ar(X_{n})}})

Beweis: z.B. Casella & Berger 216 ff.

Für S_{n} = ∑_{i=1}^{n} X_{i} gilt E(S_{n}) = nμ, V ar(S_{n}) = nσ^{2}.

\frac{S_{n}−nμ}{\sqrt{nσ^{2}}} = \frac{1}{\sqrt{n}σ} ∑_{i=1}^{n}(X_{i} − μ) ∼^{asym.} N(0, 1) (n → ∞)

Dies bezeichnet man als die standardisierte Summe, und diese konvergiert nach Verteilung gegen die Standardnormalverteilung N(0, 1). Beispiel 8.10 {X_{n}}_{n_{∈}ℕ} stid ∼ Bin(1, p), 0 < p < 1. Es gilt: E(X_{n}) = p, V ar(X_{n}) = p(1 − p)

Mit ZGWS: ^{\frac{∑_{i=1}^{n} X_{i}−np}{\sqrt{np(1−p)}}} ∼^{asym.} N(0, 1) (n → ∞)

Also: P (∑_{i=1}^{n} X_{i} ≤ z) [= ∑_{k=0}^{⌊z⌋} \binom{n}{k}p^{k}(1 − p)^{n−k} (sehr aufwendig für große n)]

= P (^{\frac{∑_{i=1}^{n} X_{i}−np}{\sqrt{np(1−p)}}} ≤ \frac{z−np}{\sqrt{np(1−p)}} ) ≈ Φ (\frac{z−np}{\sqrt{np(1−p)}}), wobei Φ(z) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{z} e^{− \frac{x^{2}}{2}} dx

_{∼^{asym.}N(0,1)}

(Approximation ist ”brauchbar”, falls n ≥ 30) Anwendung: Lieferung von n Teilen, W’keit, für Defekt: p = 0, 08. Gesucht: W’keit, daß Lieferung mehr als 9% defekte Teile enthält!

P (∑_{i=1}^{n} X_{i} > 0, 09n) = 1 − P (∑_{i=1}^{n} X_{i} ≤ 0, 09n) ≈ 1 − Φ (\frac{0,09n−0,08n}{\sqrt{n0,08(1−0,08)}})

= 1 − Φ (\frac{0,01}{\sqrt{0,08·0,92}} \sqrt{n}) = 1 − Φ (0, 03686\sqrt{n}) = ...

9 Schätzfunktionen und Konfidenzintervalle

Zur Motivation:

a) Werfe Münze in unabhängigen Versuchen, W’keit für Kopf=p (unbekannt). Schätze p. Modell: X_{1}, …, X_{n} stid ∼ Bin(1, p)

p̂ = p̂(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} → p P -f.s. (bekannt, SGGZ) ist ein vernünf-

tiger Schätzer für p. Beachte: p̂(X_{1}, …, X_{n}) ist eine ZV. Setzt man Realisationen x_{1}, …, x_{n} ein, so erhält man den Schätzwert \overline{x} = \frac{1}{n} ∑_{i=1}^{n} x_{i}.

b) X_{1}, …, X_{n} stid ∼ Exp(λ). Familie der Exp-Vert., parametrische Familie

ϑ̂ = \frac{1}{n} ∑_{i=1}^{n} X_{i} → \frac{1}{λ} = E(X_{1}) P -f.s. (SGGZ)

ϑ̂ ist ein Schätzer für g(λ) = \frac{1}{λ} = E(X_{1})

c) In a), b) wird der Erwartungswert durch das arithmetische Mittel geschätzt. Es gibt auch schwierigere Situationen, z.B. M: Anzahl der regelmäßigen Besucher einer Webseite M unbekannt, schätze M. Wie? Intuitives Verfahren:

• Merke die Adressen von n Besuchern (im Logfile), ”markierte Besucher”

• Zu einem späteren Zeitpunkt: Merke m Adressen, bestimme die Anzahl x von bereits markierten Besuchern.

Unter entsprechenden Vorraussetzungen sollte \frac{n}{M} ≈ \frac{x}{m} (ungefähr gleich) sein. Ein vernünftiger Schätzer für M ist ⌊\frac{n·m}{x}⌋. Kann dieses Vorgehen exakt begründet werden?

9.1 Methoden zur Bestimmung von Schätzern

Definition 9.1 X_{1}, …, X_{n} seien ZV mit gemeinsamer Verteilung P_{ϑ}^{(X_{1},...,X_{n})}, ϑ ∈ Θ (Parameterraum). g(ϑ) : Θ → γ sei eine Funktion. Jede Abbildung h(X_{1}, …, X_{n}) mit Werten in γ heißt statistische Schätzfunktion oder (Punkt-) Schätzer ((point) estimator).

Beispiel 9.2

a) X_{1}, …, X_{n} stid ∼ N(μ, σ^{2}), ϑ = (μ, σ^{2}), Θ = ℝ × ℝ^{+}

\begin{matrix}g_{1}(ϑ) = g_{1}(μ, σ^{2}) = μ, & h_{1}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} & OK✓ \\ g_{2}(ϑ) = g_{2}(μ, σ^{2}) = σ^{2}, & h_{2}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} & OK✓ \end{matrix}

b) X_{1}, …, X_{n} stid ∼ Exp(λ), ϑ = λ, Θ = ℝ^{+}

g_{1}(λ) = \frac{1}{λ} = E(X_{1}), h_{1}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i}  OK✓
g_{2}(λ) = λ,  h_{2}(X_{1}, …, X_{n}) = (\frac{1}{n} ∑_{i=1}^{n} X_{i})^{−1}  Vernünftig?

Im Folgenden: Methoden um geeignete Schätzer zu finden.

Definition 9.3 (Maximum-Likelihood-Schätzer) f(x_{1}, …, x_{n}|ϑ) für ϑ ∈ Θ sei eine Zähldichte oder Dichte. L(ϑ|x_{1}, …, x_{n}) = f(x_{1}, …, x_{n}|ϑ) (als Funktion von ϑ bei gegebenen x_{1}, …, x_{n}) heißt Likelihood-Funktion, ϑ̂(x_{1}, …, x_{n}) heißt Maximum-Likelihood-Schätzer (MLS) (maximum likelihood estimator, MLE), falls

L(ϑ̂(x_{1}, …, x_{n})|x_{1}, …, x_{n}) = sup_{ϑ∈Θ} L(ϑ|x_{1}, …, x_{n}) für alle x_{1}, …, x_{n}.

g(ϑ̂) heißt MLS von g(ϑ).

Konzept: ϑ̂(x_{1}, …, x_{n}) ist bei gegebenen Beobachtungen x_{1}, …, x_{n} der ”passendste” Parameter; der, der die Beobachtungen ”am wahrscheinlichsten” macht.

Bemerkungen:

a) ϑ̂ zu bestimmen, ist eine Maximierungsaufgabe, die oft durch Differenzieren (und Nullsetzen der 1. Abbleitung) gelöst werden kann.

b) Oft ist es günstiger, statt L(ϑ|x) die Log-Likelihood-Funktion log L(ϑ|x) zu betrachten (siehe Beisp. 9.4). Das Maximum von L(ϑ|x) und log L(ϑ|x) liegt an derselben Stelle.

Beispiel 9.4

a) X_{1}, …, X_{n} stid ∼ N(μ, σ^{2}). Schätze ϑ = (μ, σ^{2}) ∈ ℝ × ℝ^{+}.

f(x_{1}, …, x_{n}|ϑ) = ∏_{i=1}^{n} \frac{1}{\sqrt{2πσ^{2}}} e^{− \frac{(x_{i}−μ)^{2}}{2σ^{2}}} = \frac{1}{(2πσ^{2})^{\frac{n}{2}}} e^{− \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i}−μ)^{2}}
= L(ϑ|x_{1}, …, x_{n})

log L(ϑ|x_{1}, …, x_{n}) = −\frac{n}{2} log(2πσ^{2}) − \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i} − μ)^{2}

Setze τ = σ^{2}, partielle Abbleitung = 0 setzen, auflösen nach μ, τ:

(i) \frac{∂ log L(ϑ|x_{1},...,x_{n})}{∂μ} = \frac{2}{2σ^{2}} ∑_{i=1}^{n}(x_{i} − μ) =^{!} 0

(ii) \frac{∂ log L(ϑ|x_{1},...,x_{n})}{∂τ} = −\frac{n}{2} \frac{2π}{2πτ} + \frac{1}{2τ^{2}} ∑_{i=1}^{n}(x_{i} − μ)^{2} =^{!} 0

Aus i) μ̂ = \frac{1}{n} ∑_{i=1}^{n} x_{i} = \overline{x}

ii) −\frac{n}{2} \frac{1}{τ} + \frac{1}{2τ^{2}} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2} = 0 ⟺ τ = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2}

τ̂ = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2}

Insgesamt: (μ̂, σ̂^{2}) = (\overline{x}, \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2}) ist der MLS für (μ, σ^{2}).

(Noch zu prüfen, daß das Maximum bei (μ̂, σ̂^{2}) wirklich angenommen wird.)

b) X_{1}, …, X_{n} stid ∼ Exp(λ). Schätze ϑ = λ ∈ ℝ^{+}.

f(x_{1}, …, x_{n}|λ) = ∏_{i=1}^{n} λe^{−λx_{i}} = λ^{n}e^{−λ ∑_{i=1}^{n} x_{i}} = L(λ|x_{1}, …, x_{n}) für x_{i} > 0

log L(λ|x_{1}, …, x_{n}) = n log λ − λ ∑_{i=1}^{n} x_{i} (Aufgabe: max_{λ} log L(…))

\frac{∂ log L(λ|x_{1},...,x_{n})}{∂λ} = \frac{n}{λ} − ∑_{i=1}^{n} x_{i} =^{!} 0 ⟺ \frac{n}{λ} = ∑_{i=1}^{n} x_{i} ⟺ λ = _{\frac{n}{∑_{i=1}^{n} x_{i}}} = \frac{1}{\overline{x}}

Also λ̂ = \frac{1}{\overline{x}} ist ein ML-Schätzer für λ. (Noch zu zeigen: λ̂ ist ein Maximum von L(λ|x_{1}, …, x_{n}).)

c) X_{1}, …, X_{n} stid ∼ Bin(1, p). Schätze p ∈ [0, 1].

f(x_{1}, …, x_{n}|p) = ∏_{i=1}^{n} p^{x_{i}}(1 − p)^{1−x_{i}} = p^{∑_{i=1}^{n} x_{i}}(1 − p)^{n−∑_{i=1}^{n} x_{i}}

= L(p|x_{1}, …, x_{n}) für x_{i} ∈ {0, 1}

log L(p|x_{1}, …, x_{n}) = (∑_{i=1}^{n} x_{i}) log p + (n − ∑_{i=1}^{n} x_{i}) log(1 − p)

(Aufgabe: Maximum über p ∈ [0, 1]!)

\frac{∂ log L(p|x_{1},...,x_{n})}{∂p} = \frac{1}{p} ∑_{i=1}^{n} x_{i} − \frac{1}{1−p}(n − ∑_{i=1}^{n} x_{i}) =^{!} 0

⟺ \frac{1}{p} \overline{x} − \frac{1}{1−p}(1 − \overline{x}) = 0 ⟺ p = \overline{x} Also p̂ = \frac{1}{n} ∑_{i=1}^{n} x_{i} = \overline{x} ist ein ML-Schätzer.

Eine weitere Methode zur Konstruktion von Schätzern: Bayes-Methode.

• Modelliere Vorkenntnisse über den Parameter ϑ durch eine Wahrscheinlichkeitsverteilung über Θ, die a-priori-Verteilung, beschrieben durch die Zähldichte oder Dichte π(ϑ).

• f(x|ϑ) für x = (x_{1}, …, x_{n}) sei die Zähldichte oder Dichte der Verteilung von X_{1}, …, X_{n} bei Vorliegen von ϑ, aufgefaßt als bedingte Verteilung von (X_{1}, …, X_{n}), gegeben ϑ.

• Gegeben die Beobachtungen x = (x_{1}, …, x_{n}). Die zu f(ϑ|x) gehörige Verteilung heißt a-posteriori-Verteilung von ϑ. f(ϑ|x) reflektiert den Kenntnisstand über ϑ \underline{nach} Beobachten von x_{1}, …, x_{n}.

\underline{Gegeben:} f(x, ϑ) und die a-priori-Verteilung π(ϑ)

Berechnung von f(ϑ|x) wie folgt (hier für Dichten):

f(x) = ∫ f(x|ϑ)π(ϑ)dϑ (siehe Kapitel 7)

Also:

f(ϑ|x) = \frac{f(x, ϑ)}{f(x)} = \frac{f(x|ϑ)π(ϑ)}{∫ f(x|ϑ)π(ϑ)dϑ} (Nenner ist normierende Konstante)

Ein natürlicher Schätzer für ϑ in der folgenden Definition:

Definition 9.5 Bez. wie oben. Die ZV ϑ̂(x) besitze die (Zähl-)Dichte f(ϑ|x). Dann heißt E(ϑ̂(x)) Bayes-Schätzer von ϑ.

Bemerkung: Bei Dichten ist ∫ ϑf(ϑ|x)dϑ der Bayes-Schätzer.

Beispiel 9.6 Sei X ∼ Bin(n, p), n fest. Die a-priori-Verteilung für p sei Beta(α, β) für α, β > 0 mit Dichte

π(p) = \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{α−1}(1 − p)^{β−1} für 0 ≤ p ≤ 1. Es gilt: X ∼ Beta(α, β) ⟹ E(X) = \frac{α}{α+β}

Sei x ∈ {0, 1, …, n}.

f(p|x) = \frac{f(x|p)π(p)}{∫ f(x|p)π(p)dp} = \frac{\binom{n}{x}p^{x}(1 − p)^{n−x} \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{α−1}(1 − p)^{β−1}}{∫ … dp}

= \frac{\binom{n}{x} \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{x+α−1}(1 − p)^{n−x+β−1}}{∫ … dp}

Begründung: Da das Ganze eine Dichte ist, und p^{x−α−1}(1 − p)^{n−x+β−1} Teil einer Beta(x + α, n − x + β)-Verteilung ist, heben sich die Vorfaktoren und der Korrekturterm genau weg, so daß der passende Vorfaktor übrigbleibt.

= \frac{Γ(n + α + β)}{Γ(x + α)Γ(n − x + β)}p^{x+α−1}(1 − p)^{n−x+β−1}

ist die Dichte einer Beta(x+α, n−x+β)-Vert.

Also: p̂(x) = \frac{x+α}{n+α+β} ist der Bayes-Schätzer zur a-priori-Verteilung π. Speziell für α = β = 1, wobei Beta(1, 1) = R(0, 1): p̂(x) = \frac{x+1}{n+2} Der ML-Schätzer für p lautet: p̂_{ML}(x) = \frac{x}{n}

9.2 Gütekriterien für Schätzer

Definition 9.7 H = h(X_{1}, …, X_{n}) sei ein Schätzer für g(ϑ) ∈ ℝ. E_{ϑ}(H − g(ϑ))^{2} = E_{ϑ}(h(X_{1}, …, X_{n}) − g(ϑ))^{2} heißt mittlerer quadratischer Fehler (mean squared error, MSE).

MSE mißt die mittlere quadratische Abweichung vom zu schätzenden Wert g(ϑ). MSE ist eine Funktion von ϑ. Es gilt:

E_{ϑ} [(H − g(ϑ))^{2}] = E_{ϑ} [(H − E_{ϑ}(H) + E_{ϑ}(H) − g(ϑ))^{2}]

= E_{ϑ} [(H − E_{ϑ}(H))^{2} + 2 (H − E_{ϑ}(H)) \underbrace{(E_{ϑ}(H) − g(ϑ))}_{konst. bzgl. ϑ} + \underbrace{(E_{ϑ}(H) − g(ϑ))^{2}}_{konst. bzgl. ϑ}]

= E_{ϑ} [(H − E_{ϑ}(H))^{2}] + 2 (E_{ϑ}(H) − g(ϑ)) \underbrace{E_{ϑ} [H − E_{ϑ}(H)]}_{0} + (E_{ϑ}(H) − g(ϑ))^{2}

= E_{ϑ} [(H − E_{ϑ}(H))^{2}] + (E_{ϑ}(H) − g(ϑ))^{2}
= \underbrace{V ar_{ϑ}(H)}_{Präzision} + \underbrace{(Bias_{ϑ}(H))^{2}}_{Schiefe}

Wichtig ist der Fall, daß Bias_{ϑ}(H) = 0.

Definition 9.8 Ein Schätzer heißt erwartungstreu (unbiased) für g(ϑ), wenn Bias_{ϑ}(H) = 0 für alle ϑ ∈ Θ, falls also E_{ϑ}(H) = g(ϑ) für alle ϑ ∈ Θ.

Offensichtlich gilt für erwartungstreue Schätzer:

MSE(H) = E_{ϑ}(H − g(ϑ))^{2} = V ar_{ϑ}(H).

Beispiel 9.9 X_{1}, …, X_{n} ∼ N(μ, σ^{2}), ϑ = (μ, σ^{2}).

Sind \overline{X} und \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} erwartungstreu?

a) μ̂ = H(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} = \overline{X}

E_{ϑ}(\overline{X}) = E_{ϑ}(\frac{1}{n} ∑_{i=1}^{n} X_{i}) = \frac{1}{n} ∑_{i=1}^{n} E_{ϑ}(X_{i}) = \frac{1}{n}nμ = μ ∀ ϑ = (μ, σ^{2}).

Also: \overline{X} ist erwartungstreu für μ.

b) σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2}

Vorüberlegungen:

\overline{X} ∼ N(μ, \frac{σ^{2}}{n}) ⟹ E(\overline{X}^{2}) = V ar(\overline{X}) + E(\overline{X})^{2} = \frac{σ^{2}}{n} + μ^{2} Y ∼ N(0, 1) ⟹ E(Y^{2}) = 1 (siehe Beispiel 6.13 c) Y ∼ N(0, 1) ⟹ Z = σY + μ ∼ N(μ, σ^{2})

E(Z^{2}) = E((σY + μ)^{2}) = σ^{2} \underbrace{E(Y^{2})}_{1} +2σμ \underbrace{E(Y)}_{0} +μ^{2} = σ^{2} + μ^{2}

σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − \overline{X}^{2}

E_{ϑ}(σ̂^{2}) = \frac{1}{n} ∑_{i=1}^{n} \underbrace{E(X_{i}^{2})}_{σ^{2}+μ^{2}} − \underbrace{E(\overline{X}^{2})}_{\frac{σ^{2}}{n} +μ^{2}} = σ^{2} + μ^{2} − \frac{σ^{2}}{n} + μ^{2} = \frac{n−1}{n}σ^{2}

Also: σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} ist nicht erwartungstreu für σ^{2}.

Aber: σ̂^{2} ist asymptotisch erwartungstreu, d.h. lim_{n→∞} E(σ^{2}) = σ^{2}.

Allerdings: S^{2} = \frac{1}{n−1} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} ist erwartungstreu für σ^{2}.

Denn: E(S^{2}) = E(\frac{n}{n}S^{2}) = E(\frac{n}{n−1} \frac{1}{n} ∑_{i=1}^{n−1}(X_{i} − \overline{X})^{2}) = \frac{n}{n−1} \frac{n−1}{n}σ^{2} = σ^{2}.

Beispiel 9.10 (Gütevergleich von 2 Schätzern) X ∼ Bin(n, p). (n fest) ML-Schätzer: p̂_{ML} = \frac{x}{n} Bayes-Schätzer zur a-priori-Verteilung Beta(α, β): p̂_{B} = \frac{x+α}{n+α+β} (s. Bsp. 9.6) Welcher ist besser? Vergleich mit MSE: E_{p}((p̂_{ML} − p)^{2}) = V ar(p̂_{ML}) = V ar(\frac{1}{n}X) = \frac{1}{n^{2}} np(1 − p) = \frac{p(1−p)}{n}

E_{p}((p̂_{B} − p)^{2}) = V ar(p̂_{B}) + (Bias(p̂_{B}))^{2} = V ar (\frac{X+α}{n+α+β} ) + (E_{p} (\frac{X+α}{n+α+β} ) − p)^{2}

= \frac{V ar(X)}{n+α+β} + (\frac{E(X)+α}{n+α+β} − p)^{2} = \frac{np(1−p)}{n+α+β} + (\frac{np+α}{n+α+β} − p)^{2} Wähle α, β so, daß MSE(p̂_{B}) konstant, d.h. kein Wert von p wird bei der Schätzung bevorzugt. Lösung: α = β = \frac{1}{n} \sqrt{n}

Dann gilt: p̂_{B} = ^{\frac{X+ \frac{1}{n} \sqrt{n}}{n+\sqrt{n}}} und E_{p}((p̂_{B} − p)^{2}) = \frac{n}{4(n+\sqrt{n})^{2}}

[figure: \underline{n = 5:}; 0; 0.05; 1; E(p̂_{ML}); E(p̂_{B}); \underline{n = 300:}; 0; 0.0008; 1; E(p̂_{B}); E(p̂_{ML})]

9.3 Konfidenzintervalle

Punktschätzer: Bestimme das ϑ̂, das möglichst nahe am Parameter ϑ liegt. Ziel jetzt: Angabe von Schranken, so daß der Parameter ϑ mit vorgegebener W’keit innerhalb der Schranken liegt. Idee: X_{1}, …, X_{n} stid ∼ Bin(1, p). Mit schwachem GGZ:

P (|\frac{1}{n} ∑_{i=1}^{n} X_{i} − p| > ε) →^{n→∞} 0 ⟺ P (\overline{X} − ε ≤ p ≤ \overline{X} + ε) →^{n→∞} 1 ∀ ε > 0

Für große n wird der Parameter p durch das zufällige Intervall [\overline{X} − ε, \overline{X} + ε] mit hoher Wahrscheinlichkeit überdeckt. Nutze die Kenntnisse über die Verteilung von \overline{X}, um ε und P (…) zu quantifizieren.

Definition 9.11 X_{1}, …, X_{n} seien ZV mit gemeinsamer Verteilung P^{(X_{1},...,X_{n})}. Ein Intervall der Form [L(X_{1}, …, X_{n}), U(X_{1}, …, X_{n})] heißt Konfidenzintervall zum Niveau 1 − α für g(ϑ), falls

P_{ϑ} (g(ϑ) ∈ [L(X_{1}, …, X_{n}), U(X_{1}, …, X_{n})]) ≥ 1 − α für alle ϑ ∈ Θ.

Beispiel 9.12 X_{1}, …, X_{n} stid ∼ N(μ, σ^{2}), σ^{2} fest. Dann \overline{X} ∼ N(μ, \frac{σ^{2}}{n}) und \frac{n\overline{X}−nμ}{\sqrt{σ^{2}n}} = _{\frac{\overline{X}−μ}{\sqrt{\frac{σ^{2}}{n}}}} ∼ N(0, 1). Bestimme μ so, daß [figure: −u_{1− \frac{α}{2}}; u_{1− \frac{α}{2}}; 1−α; \frac{α}{2}; \frac{α}{2}]

P (|\frac{\overline{X}−μ}{\frac{σ}{\sqrt{n}}} | ≤ u) = 1 − α (*)

Wähle u = u_{1− \frac{α}{2}} als (1 − α)-Fraktil der N(0, 1)-Verteilung. Löse (*) nach μ auf:

P (|\overline{X} − μ| ≤ \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ) = P (\overline{X} − \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ≤ μ ≤ \overline{X} + \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} = 1 − α Also: [\overline{X} − \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} , \overline{X} + \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ] ist ein (1 − α)-Konfidenzintervall für μ. Beachte: Die Länge des Konfidenzintervalls

• fällt mit wachsendem n

• wächst mit wachsendem Niveau 1 − α

Auch einseitige Konfidenzintervalle durch: P (\frac{\overline{X}−μ}{\frac{σ}{\sqrt{n}}} ≤ u) = 1 − α Wähle u = u_{1−α}, dann [figure: u_{1−α}; 1−α]

P (X − μ ≤ \begin{matrix}σ \\ √ & n \end{matrix}u_{1−α})

= P (μ ≥ X − \begin{matrix}σ \\ √ & n \end{matrix}u_{1−α} = 1 − α

Also [X − \begin{matrix}σ \\ √ & n \end{matrix}u_{1−α}, ∞) ist einseitiges (1 − α)-Konfidenzintervall für μ. Das andere einseitige (1 − α)-Konf.-intervall durch Ansetzen des u_{α}-Fraktils. Tabelle:

\begin{matrix}α & 0, 1 & 0, 05 & 0, 025 & 0, 01 & 0, 005 & 0, 0025 \\ 1 − α & 0, 9 & 0, 95 & 0, 975 & 0, 99 & 0, 995 & 0, 9975 \\ μ_{1−α} & 1, 282 & 1, 645 & 1, 960 & 2, 326 & 2, 576 & 2, 807 \end{matrix}

(ausführliche Tabelle in Casella & Berger Seite 608 ff)

Beispiel 9.13 (Approximatives Konfidenzintervall für W’keiten)

X_{1}, …, X_{n} ∼ Bin(1, p). Dann _{\begin{matrix}X−p \\ √ & {p(1−p) \atop n} \end{matrix}} ∼^{asym.} N(0, 1). (s. Bsp. 8.10)

Es gilt: P (_{\begin{matrix}X−p \\ √ & {p(1−p) \atop n} \end{matrix}} ≤ u_{1− {α \atop 2}} ) ≈ 1 − α, wobei u_{1− {α \atop 2}} Fraktil der N(0, 1)-Verteilung ist. |X − p| ≤ u_{1− {α \atop 2}} √{p(1−p) \atop n} ⟺ (X − p)^{2} = u_{1− {α \atop 2}} {p(1−p) \atop n} ist eine quadratische Gleichung in p mit den Lösungen p_{L}(X) ≤ p_{U}(X). [p_{L}(X), p_{U}(X)] ist ein approximatives (1 − α)-Konfidenzintervall für p.

Index

S^{2}, 54 Γ(n), 24 Θ, 49 α-Quantil, 18 σ-Additivität, 4 σ-Algebra, 6

n-dimensionale Borelsche, 22 Borelsche, 7 erzeugte, 7 feinste, 6 gröbste, 6

ϑ̂, 49, 50 p̂, 49 11, 17

a-posteriori, 51 a-priori, 51 absolut-stetig, 19, 23 absteigend, 7 Ankunftszeiten, 31 arithmetisches Mittel, 45 aufsteigend, 7

Bayes-Formel, 10 Bayes-Methode, 51 Bayes-Schätzer, 52 bedingte Verteilung, 10 bedingte Wahrscheinlichkeit, 10 Bernoulli-Serie, 14 Bonferroni-Ungleichung, 8 Borel-Cantelli-Lemma, 12

Cauchy-Schwarz-Ungleichung, 37

Dichte, 19, 23 bedingte, 42 Beta-Verteilung, 52

diskret, 14 diskrete Gleichverteilung, 4

Eindeutigkeitssatz für VF, 16 Ereignis, 4 Ergebnis, 4 Ergebnismenge, 4 erste Eintrittszeit in B, 26 erwartungstreu, 53

asymptotisch, 54 Erwartungswert, 34 bedingter, 41, 42 erzeugende Funktion, 20

Geometrische Verteilung, 20 Poissonverteilung, 20

Faltung, 29

faltungsstabil, 32

Indikatorfunktion, 17

Konfidenzintervall approximatives (1 − α)-, 55 einseitig, 55 zum Niveau 1 − α, 54

Korrelation, 37 Kovarianz, 37

Laplace-Transformierte, 20 Exponentialverteilung, 21 Rechtecksverteilung, 21

Laplace-Verteilung, 4 Likelihood-Funktion, 50 Limes, 7 Limes inferior, 12 Limes superior, 12 Log-Likelihood-Funktion, 50

Markoff-Ungleichung, 35

Meßbarkeit, 13 Meßraum, 6 Median, 18 Mischung, 24 mittlerer quadratischer Fehler, 52 Moment k-tes, 37 k-tes faktorielles, 39 k-tes zentrales, 37

P-fast sicher konvergent, 44 P-stochastisch konvergent, 44 p.d., 8 Parameterraum, 49 Poisson-Prozeß, 30 Produkt-σ-Algebra, 22 Produkt-Meßraum, 22 Pseudoinverse, 18

Realisationen, 49

Satz von der totalen W’keit, 10 Schätzer, 49

Maximum-Likelihood-, 50 stark konsistenter für μ, 47 stark konsistenter für σ^{2}, 47

Schätzwert, 49 schwach konvergent, 44 Schwaches Gesetz großer Zahlen, 46 Siebformel, 8 Standardabweichung, 37 standardisierte Summe, 47 Starkes Gesetz großer Zahlen, 45 statistische Schätzfunktion, 49 stid, 25 stochastisch unabhängig, 10, 24, 25

identisch verteilt, 25

Träger, 14 Tschebyscheff-Ungleichung, 45

unkorreliert, 36

Varianz, 37 verteilt

Γ(α, λ)-, 26 binomial-, 14 exponential-, 17 gleich-, 16 rechteck-, 16

Verteilung, 13 Γ-, 26 χ^{2}-, 30 bedingte, 41, 42 Beta-, 52 Binomial-, 14 Erlang-, 26 Exponential-, 19 gemeinsame, 23 geometrische, 15 negative Binomial-, 32 Normal-, 19 Poisson-, 15 Rayleigh-, 29 Rechteck-, 19 Verteilungsfunktion, 16 bedingte, 42 verteilungskonvergent, 44 Verweilzeiten, 31

Wahrscheinlichkeitsmaß, 7 Wahrscheinlichkeitsraum, 7 Wahrscheinlichkeitsverteilung, 7

Zähldichte, 15

bedingte, 41 Zentraler Grenzwertsatz, 47 Zufallsgröße, 13 Zufallsvariable, 13 Zufallsvektor, 22 Zuwachs in (s, t], 31 Zwischenankunftszeiten, 31