Einführung in die Stochastik für Informatiker

Vorlesungsmitschrift SS 2000 Prof. Mathar

geL^{A}TEXt von

David Buttgereit david.buttgereit@post.rwth-aachen.de

14. Juli 2000

Inhaltsverzeichnis

1 Einleitung 3

2 σ-Algebren und W’keitsverteilungen 4

3 Zufallsvariable und ihre Verteilung 13 3.1 Diskrete Verteilungen / Zufallsvariablen . . . . . . . . . . . . . . 15 3.2 Verteilungsfunktionen . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.3 Dichten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.4 Erzeugende Funktionen und LaPlace-Transformierte . . . . . . . . 20

4 Produkträume und Zufallsvektoren 22 4.1 Produkträume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.2 Zufallsvektoren und Folgen von Zufallsvariablen . . . . . . . . . . 23

5 Transformation von ZV’en/Verteilungen 28

6 Erwartungswerte und Momente von ZV’en 34

7 Bedingte Verteilungen und Erwartungswerte 42

8 Grenzwertsätze 45

9 Schätzfunktionen und Konfidenzintervalle 50 9.1 Methoden zur Bestimmung von Schätzern . . . . . . . . . . . . . 50 9.2 Gütekriterien für Schätzer . . . . . . . . . . . . . . . . . . . . . . 54 9.3 Konfidenzintervalle . . . . . . . . . . . . . . . . . . . . . . . . . . 56

1 Einleitung

Betrachte ”Zufallsexperimente”, z.B.

- Münzwurf, Würfelwurf, Spiele, Roulette, Lotto

- Ankunft von Kunden an Schaltern, Pakete in Netzwerken

- Input für Algorithmen

- Signale, die von einer Quelle ausgesendet werden

- Positionierung von Mobilstationen in Zellnetzen

Gemeinsam in diesen Beispielen: Interessierende Größen können nicht genau vorhergesagt werden, sind zufallsabhängig Stochastik: mathematische Behandlung von Zufallsphänomenen \underline{Teilgebiete:}

• Wahrscheinlichkeitstheorie

– theoretisch (stochastische Prozesse, Grenzwertsätze, stochastische Diffentialgleichungen)

– angewandt = stochastische Modellierung (Warteschlangen, Zuverlässigkeitstheorie, stochastische Signalerkennung)

• mathematische Statistik (mit Teilgebieten)

Hier: Wahrscheinlichkeitstheorie, angewandt, stochastische Modellierung, Betonung der Anwendung in der Informatik \underline{Ziel der Vorlesung:} Bereitstellung der Grundlagen, Basis für weiterführende Vorlesungen

Warteschlangensysteme (I), Warteschlangennetze (II), Informationstheorie I,II, Kryptologie, stochastische Simulation, zufallsgesteuerte Optimierungsverfahren

Historiche Entwicklung

Fermat (1601-65), Pascal (1623-62), Bernoulli (1654-1705)

Laplace (1749-1827): Kombinatorischer Zugang, motiviert durch Spielprobleme, relative Häufigkeiten als Wahrscheinlichkeiten Kolmogoroff (1933): Axiomatische Entwicklung

4 2 σ-ALGEBREN UND W’KEITSVERTEILUNGEN

2 σ-Algebren und W’keitsverteilungen

Mathematische Beschreibung von Zufallsexperimenten mit Mengen. Betrachte relevante Ergebnisse und fasse sie zu einer Menge zusammen. Ω: Ergebnismenge (oft ℕ, ℤ, ℝ, ℝ^{n}, {0, 1}^{ℕ}) Ereignisse werden durch Teilmengen von Ω beschrieben. Zunächst P(Ω) als Ereignismenge.

W’keiten von Ereignissen durch Funktion P : P(Ω) → [0, 1] mit den Eigenschaften (*): P (Ω) = 1, P (∅) = 0, P (A^{C}) = 1 − P (A) ∀A ∈ P(Ω), P (A ∪ B) = P (A) + P (B) ∀A, B ∈ P(Ω) mit A ∩ B = ∅,

σ-Additivität: P (⋃_{i=1}^{∞} A_{i}) = ∑_{i=1}^{∞} P (A_{i}) A_{i} ∈ P(Ω) mit A_{i} paarweise disjunkt ^{1}

Schrechweisen: A^{C}: ”A tritt nicht ein”, A ∈ P(Ω) A ∪ B: ”A oder B treten ein”, A, B ∈ P(Ω) A ∩ B: ”A und B treten ein”, A, B ∈ P(Ω)

Wie erhält man W’keiten? Bei endlichem Ω durch Abzählen.

Definition 2.1 (Laplacescher W’begriff) Ω sei eine endliche Menge. |A| bezeichnet die Mächtigkeit von A ⊆ Ω. Durch P (A) = \frac{|A|}{|Ω|} für A ∈ P(Ω) wird eine W’verteilung P auf P(Ω) mit den Eigenschaften (*) definiert. P heißt Laplace-Verteilung oder diskrete Gleichverteilung über Ω.

Beispiel 2.2 (Binäre Suche) Geg. geordnetes Feld von 2^{n} − 1 Elementen. Schlüsselelement y vergleichbar mit den Elementen. Problem: Ist y in dem Feld vorhanden und an welcher Stelle? Algorithmus: Binary search Stochastisches Modell: Ω = \{0, 1, …, 2^{n} − 1\}, w ∈ Ω = \{ \begin{matrix}w ≥ 1 : & gesuchtes Element an Stelle w \\ w = 0 : & y nicht vorhanden \end{matrix}

Bestimme Ereignisse A_{k} : y wird im k-ten Schritt gefunden. A_{1} = {2^{n−1}}, A_{2} = {2^{n−2}, 3 · 2^{n−2}},…, A_{k} = {(2j − 1)2^{n−k}|j = 1, …, 2^{k−1}} für k = 1, …, n Annahme: Jede Platznummer und 0 sind gleichwahrscheinlich. Dann |A_{k}| = 2^{k−1}, P (A_{k}) = \frac{2^{k−1}}{2^{n}} für 1 ≤ k ≤ n ⟹ W’keit, y in genau k Schritten zu finden

Zusammengesetzte Ereignisse B_{k} : y wird in höchstens k Schritten gefunden B_{k} = ∑_{j=1}^{k} A_{j} mit j = 1, …, k und die A_{j} disjunkt

1d.h. A_{i} ∩ A_{j} = ∅ ∀i ≠ j

P (B_{k}) = P (⋃_{j=1}^{k} A_{j}) = ∑_{j=1}^{k} P (A_{j}) = ∑_{j=1}^{k} \frac{2^{j−1}}{2^{n}} = \frac{1}{2^{n}} (2^{k} − 1) = \frac{2^{k}−1}{2^{n}}

Komplizierte Anzahlbestimmungen durch kombinatorische Überlegungen.

Beispiel 2.3 (Hashing) Universum U, M ⊆ U, |M| = k, M soll abgespeichert werden Hashtafel: a : array[0, …, n − 1] of … Hashfunktion: h : U → [0, …, n − 1] Einfache Funktion! Speichere x ∈ M in a[h(x)] Kollision, falls h(x) = h(y) für x ≠ y (Auflösung durch linerare Liste)

Stochastisches Modell: (”Rein zufälliges” Ablegen von k Daten in Feld der Länge n) S = {1, …, n} (Speicherplätze) Ω = S^{k} (k − n−Permutationen mit Wiederholungen/Kollisionen) A_{k,n} (k − n−Permutationen ohne Wiederholungen/Kollisionen)

Wahrscheinlichkeit für kollisionsfreie Abspeicherung: P (A_{k,n}) = \frac{|A_{k,n}|}{|Ω|} = \frac{n(n−1)...(n−k+1)}{n^{k}} = ∏_{i=0}^{k−1}(1 − \frac{i}{n}) = exp(ln(∏_{i=0}^{k−1}(1 − \frac{i}{n})))

= exp(∑_{i=0}^{k−1} ln(1 − \frac{i}{n}))

≤^{(∗)} exp(− ∑_{i=0}^{k−1} \frac{i}{n})

= exp(−\frac{(k−1)k}{2n})

Benutzte Abschätzung (∗): ln x ≤ x − 1 ∀x ≥ 0 ⟹ ln(1 − x) ≤ −x ∀x ≤ 1

[figure: x − 1; ln x; −1]

Zahlenbeispiel: Für n = 365 und k = 23 ist P (A_{k,n}) ≤ 0, 499998

Der Laplacesche W’begriff reicht nicht aus, da

• Ω ist oft ∞ oder überabzählbar

• Viele Experimente sind nicht durch eine diskrete Gleichverteilung beschreibbar

Beispiel 2.4 (∞-Münzwurf) Kopfˆ=1, Zahlˆ=0 Bestimme ein Modell für nicht-abbrechende Folge von Münzwürfen (wird gebraucht bei der Frage ”Wann tritt zum ersten Mal Kopf (Zahl) auf?”. Jeder beliebig ferne Wurf könnte der erste sein.).

Stochastisches Modell: Ω = {w = (x_{1}, x_{2}, …)|x_{i} ∈ {0, 1}} = {0, 1}^{ℕ} Menge der 0-1-Folgen Bekannt: Ω ist überabzählbar.

Problem: Beschreibe Gleichverteilung auf Ω Ansatz: P ({w}) = δ > 0

Sei A = {w_{1}, w_{2}, …} ⊂ Ω unendlich, aber abzählbar. Dann P (A) = ∑_{i=1}^{∞} P ({w_{i}})

= ∑_{i=1}^{∞} δ = ∞ Wiederspruch zu P (Ω) = 1.

Also: P ({w}) = 0 ∀w ∈ Ω Wenig hilfreich!

Beispiel 2.5 (Gleichverteilung über [0, 1]) (z.B. jede reelle Zahl zwischen 0 und 1 ist gleich wahrscheinlich) Ω = [0, 1] (Ergebnismenge) Versuch: Ereignismenge = P(Ω) Forderungen:

1. P ([a, b]) = b − a ∀0 ≤ a < b ≤ 1

2. P ist σ-additiv

Es gilt: Eine Funktion P mit diesen Eigenschaften existiert nicht. Im ℝ^{3} gibt es sogar keine, wenn nur endliche Additivität verlangt wird: Es gibt kein endlich additives drehinvariantes^{2} Maß auf P(ℝ^{3}). (Hausdorff 1914)

Für einen allgemeinen W’begriff (ohne Existenzprobleme): Ereignismenge nicht P(Ω), sondern kleineres Mengensystem wählen, das noch alle interessanten Ereignisse enthält.

Definition 2.6 Sei Ω ≠ ∅, 𝔄 ⊆ P(Ω) ein System von Teilmengen von Ω. 𝔄 heißt σ-Algebra (von Ereignissen) über Ω, wenn

(i) Ω ∈ 𝔄 (ii) A ∈ 𝔄 ⟹ A^{C} ∈ 𝔄 (iii) A_{n} ∈ 𝔄 ∀n ∈ ℕ ⟹ ⋃_{n=1}^{∞} A_{n} ∈ 𝔄

(Ω, 𝔄) heißt Meßraum.

Mit den De Morgan-Regeln: A_{n} ∈ 𝔄 ⟹^{ii)} A_{n}^{C} ∈ 𝔄 ⟹^{iii)} ⋃_{n=1}^{∞} A_{n}^{C} ∈ 𝔄 ⟹^{ii)}

(⋃_{n=1}^{∞} A_{n}^{C})^{C} ∈ 𝔄 ⟹ ⋂_{n=1}^{∞} A_{n} ∈ 𝔄 ∀n ∈ ℕ σ-Algebren enthalten alle Ereignisse, die durch Verknüpfungen (abzählbar vieler Ereignisse) mit ”und”, ”oder” und ”nicht” entstehen. Dies ist wichtig für die Festlegung von W’verteilungen.

Beispiel 2.7

a) P(Ω) ist stets eine σ-Algebra (die feinste σ-Algebra) b) {∅, Ω} ist eine σ-Algebra (die gröbste σ-Algebra)

2Wenn man im ℝ^{3} einen Körper dreht, muss er derselbe bleiben.

c) Ω = ℕ, G = {2, 4, 6, …}, U = {1, 3, 5, …}, 𝔄 = {∅, G, U, Ω} ist σ-Algebra d) Ω = ℝ, E = {(a, b]|a < b mit a, b ∈ ℝ} ist keine σ-Algebra

Denn sei a < b < c < d. (a, b] ∈ E und (c, d] ∈ E, aber (a, b] ∪ (c, d] ∉ E.

Problem: Gibt es eine kleinste (im Sinne der Mengeninklusion) σ-Algebra, die E enthält?

Lemma 2.8 Ω ≠ ∅, 𝔄_{i} sei σ-Algebra über Ω für alle i ∈ I. Dann ist ⋂_{i∈I} 𝔄_{i} ebenfalls eine σ-Algebra. (Beweis in der Übung 2)

Sei E ⊆ P(Ω). 𝔄(E) = ⋂ ; 𝔄 ist σ-Algebra und E ⊆ 𝔄 𝔄 ist die kleinste σ-Algebra, die E

enthält, ist die von E erzeugte σ-Algebra.

Definition 2.9 Sei Ω = ℝ, E = {(a, b]|a < b mit a, b ∈ ℝ}. B = 𝔄(E) heißt Borelsche σ-Algebra.

Auf σ-Algebren können W’verteilungen mit den Eigenschaften (*) (Seite 4) definiert werden.

Definition 2.10 Ω ≠ ∅, 𝔄 eine σ-Algebra. Eine Abbildung P : 𝔄 → [0, 1] mit

(i) P (Ω) = 1

(ii) P (⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}) ∀A_{n} ∈ 𝔄, paarweise disjunkt

heißt Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß auf (Ω, 𝔄). (Ω, 𝔄, P) heißt Wahrscheinlichkeitsraum.

Der Laplacesche W’begriff (Def. 2.1) ist ein Spezialfall von Def. 2.10. Denn für 𝔄 = P(Ω) erfüllt P (A) = \frac{|A|}{|Ω|}

(i) P (Ω) = \frac{|Ω|}{|Ω|} = 1

(ii) P (⋃_{n=1}^{∞} A_{n}) = ^{\frac{| ⋃_{n=1}^{∞} A_{n}|}{|Ω|}} = ^{\frac{∑_{n=1}^{∞} |A_{n}|}{|Ω|}} = ∑_{n=1}^{∞} \frac{|A_{n}|}{|Ω|} = ∑_{n=1}^{∞} P (A_{n})

∀A_{n} paarweise disjunkt

Sei (Ω, 𝔄, P) W’raum. Eine Folge von Ereignissen {A_{n}}_{n∈ℕ} heißt aufsteigend (absteigend), wenn A_{n} ⊆ A_{n+1} (A_{n+1} ⊆ A_{n}) für alle n ∈ ℕ. ⋃_{n=1}^{∞} A_{n} = lim_{n→∞} A_{n} (⋂_{n=1}^{∞} A_{n} = lim_{n→∞} A_{n}) heißt Limes der Mengenfolge {A_{n}}.

Lemma 2.11 (Eigenschaften von W’verteilungen) (Ω, 𝔄, , P) sei W’raum. A, B, A_{n} ∈ 𝔄 ∀n ∈ ℕ.

a) P (A^{C}) = 1 − P (A)

b) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)

c) P (A) ≤ P (B) falls A ⊆ B

d) P (B \ A) = P (B) − P (A) falls A ⊆ B

e) {A_{n}} aufsteigend ⟹ P ( lim_{n→∞} A_{n}) = lim_{n→∞} P (A_{n}) (Stetigkeit von unten) {A_{n}} absteigend ⟹ P ( lim_{n→∞} A_{n}) = lim_{n→∞} P (A_{n}) (Stetigkeit von oben)

Beweis: a)-d) in der 2. Übung

e) 1.) {A_{n}} aufsteigend, d.h. A_{n} ⊆ A_{n+1} ∀n ∈ ℕ Setze B_{1} = A_{1}, B_{2} = A_{2} \ A_{1}, …, B_{n+1} = A_{n+1} \ A_{n} Dann gilt B_{n} p.d. (paarweise disjunkt) und ⋃_{n=1}^{∞} A_{n} = ⋃_{n=1}^{∞} B_{n}. Setze A_{0} = ∅,

dann ist P (⋃_{n=1}^{∞} A_{n}) = P (⋃_{n=1}^{∞} B_{n}) =^{ii)} ∑_{n=1}^{∞} P (B_{n}) = lim_{k→∞} ∑_{n=1}^{k} P (A_{n} \ A_{n−1})

= lim_{k→∞} ∑_{n=1}^{k}[P (A_{n}) − P (A_{n−1})] = lim_{k→∞} P (A_{k})

2.) {A_{n}} absteigend ⟹ {A_{n}^{C}} aufsteigend. Es gilt:

P (⋂_{n=1}^{∞} A_{n}) = 1 − P (⋃_{n=1}^{∞} A_{n}^{C}) =^{1.)} 1 − lim_{n→∞} P (A_{n}^{C}) = lim_{n→∞}(1 − P (A_{n}^{C}))

= lim_{n→∞} P (A_{n}) □

Lemma 2.12 (Ω, 𝔄, P) sei W’raum. A_{1}, …, A_{n} ∈ 𝔄.

a) Siebformel von Pomcare-Sylvester (inclusion-exclusion-formula)

P (⋃_{i=1}^{n} A_{i}) = ∑_{i=1}^{n} P (A_{i}) − ∑_{1≤i_{1}<i_{2}≤n} P (A_{i_{1}} ∩ A_{i_{2}}) + ∑_{1≤i_{1}<i_{2}<i_{3}≤n} P (A_{i_{1}} ∩ A_{i_{2}} ∩

A_{i_{3}}) − … + … + (−1)^{n+1}P (⋂_{i=1}^{n} A_{i})

b) Bonferroni-Ungleichung (Bonferroni inequality)

∑_{i=1}^{n} P (A_{i}) − ∑_{1≤i_{1}<i_{2}≤n} P (A_{i_{1}} ∩ A_{i_{2}}) ≤ P (⋃_{i=1}^{n} A_{i}) ≤ ∑_{i=1}^{n} P (A_{i})

Weitere obere bzw. untere Schranken durch Abbruch in a) nach + oder - Zeichen

Beispiel 2.13 (Sortieren) (Recourtre-Problem) Betrachte Feld der Länge n von vergleichbaren, verschiedenen Elementen. Alle Anordnungen seien gleichwahrscheinlich. Stoch. Modell: Ω = {Permutationen von {1, …, n}}, 𝔄 = P(Ω) P (\{w\}) = \frac{1}{|Ω|} = \frac{1}{n!} ∀w ∈ Ω

a) Bestimme die W’keit, daß mindestens ein Element an der richtigen Stelle ist (vorsortiert).

A_{j} = {w = (w_{1}, …, w_{n}) ∈ Ω|w_{j} = j} j-tes Element an der richtigen Stelle Gesucht: P (A_{1} ∪ … ∪ A_{n}) = P (⋃_{i=1}^{n} A_{i}) Berechnung mit Hilfe der Siebformel: 1 ≤ i_{1} < i_{2} ≤ n, l ≤ n ⋂_{j=1}^{l} A_{i_{j}} = {w ∈ Ω|w_{i_{j}} = i_{j}, j = 1, …, l}, | ⋂_{j=1}^{l} A_{i_{j}}| = (n − l)! Also P (⋂_{j=1}^{l} A_{i_{j}}) = \frac{(n−l)!}{n!} = _{\frac{1}{\binom{n}{l}l!}} mit l = 1, …, n

Außerdem: |\{(i_{1}, …, i_{l})|1 ≤ i_{1} < … < i_{l} ≤ n\}| = \binom{n}{l}

Insgesamt: P ( ⋃_{j=1}^{n} A_{j}) = ∑_{j=1}^{n} P (A_{i}) − ∑_{i<j} P (A_{i} ∩ A_{j}) + … + (−1)^{n+1}P ( ⋂_{j=1} A_{j})

= \frac{n}{n} − \binom{n}{2}_{\frac{1}{\binom{n}{2}2!}} + \binom{n}{3}_{\frac{1}{\binom{n}{3}3!}} − … + (−1)^{n+1}\binom{n}{n}_{\frac{1}{\binom{n}{n}n!}}

= 1 − \frac{1}{2!} + \frac{1}{3!} − … + \frac{(−1)^{n+1}}{n!}

= 1 − (1 − \frac{1}{1!} + \frac{1}{2!} − \frac{1}{3!} + … + \frac{(−1)^{n}}{n!} ) →^{n→∞} 1 − e^{−1} ≈ 0, 6321

n groß: W’keit für mindestens ein vorsortiertes Element ist 0, 6321 (fast unabhängig von n)

b) Bestimme die W’keit, daß mindestens k Elemente vorsortiert sind.

P ( ⋃_{1≤i_{i}<...<i_{k}≤n} ⋂_{l=1}^{k} A_{i_{l}}) ≤^{Lemma 2.12b)} ∑_{1≤i_{i}<...<i_{k}≤n} P ( ⋂_{l=1}^{k} A_{i_{l}}) = \binom{n}{k}_{\frac{1}{\binom{n}{k}k!}} = \frac{1}{k!}

fällt sehr schnell mit steigendem k

c) Bestimme die W’keit, daß genau k Elemente vorsortiert sind. Nach a): W’keit, daß in einem Feld der Länge n−k kein Element vorsortiert ist: 1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n}}{n!} ⟹ Anzahl der Anordnungen, beim denen kein Element vorsortiert ist: (n − k)!(1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n}}{n!} ) Anzahl der Möglichkeiten, ein Feld der Länge n in ein Teilfeld der Länge n − k und eines der Länge k aufzuteilen: \binom{n}{k} Insgesamt: W’keit, daß genau k Elemente vorsortiert sind: \frac{1}{n!} \binom{n}{k}(n − k)!(1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n}}{n!} ) = \frac{1}{k!}(1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n−k)!} )

Wie legt man W’keiten fest, wenn schon bekannt ist, daß das Ergebnis in einer bestimmten Teilmenge liegt?

Motivierendes Beispiel 2.14 5000 Chips von zwei Firmen. Ω mit |Ω| = 5000. A: Chips der Firma A, mit |A| = 1000 B: Chips der Firma B, mit |B| = 4000 D: Defekte Chips, mit |D| = 300 Gelte: |A ∩ D| = 100 (10% defekt) und |B ∩ D| = 200 (5% defekt) Ziehe zufällig einen Chip (Laplace-Modell). W’keit, daß der Chip defekt ist, wenn er von Firma A stammt:

P (D|A) = \frac{|D∩A|}{|A|} = \frac{|D∩A|/Ω}{|A|/Ω} = \frac{P (D∩A)}{P (A)} = \frac{100/5000}{1000/5000} = 0, 1

Auch: P (A|D) = \frac{|A∩D|}{|D|} = \frac{|A∩D|/Ω}{|D|/Ω} = \frac{P (A∩D)}{P (D)} = \frac{100/5000}{300/5000} = \frac{1}{3} Definition 2.15 (Ω, 𝔄, P) sei W’raum. A, B ∈ 𝔄, P (B) > 0. P (A|B) = \frac{P (A∩B)}{P (B)} heißt (elementare) bedingte Wahrscheinlichkeit von A unter (der Hypothese) B. Durch P (A^{3}|B) : 𝔄 → [0, 1] mit A ↦ P (A|B) wird eine W’verteilung auf 𝔄 definiert, die (elementare) bedingte Verteilung unter B.

Satz 2.16 (Ω, 𝔄, P) sei W’raum. B_{n} ∈ 𝔄 für n ∈ ℕ sei Partition von Ω, d.h. ⋃_{n=1}^{∞} B_{n} = Ω und B_{n} paarweise disjunkt.

a) Satz von der totalen W’keit Für alle A ∈ 𝔄 gilt: P (A) = ∑_{n=1}^{∞} P (A|B_{n})P (B_{n}) (Konvention: ”Nicht definiert”·0 = 0, z.B. \frac{x}{0} · 0 = 0)

b) Bayes-Formel Falls P (A) > 0, gilt für alle n ∈ ℕ P (B_{n}|A) = \frac{P (A|B_{n})P (B_{n})}{∑_{j=1}^{∞} P (A|B_{j})P (B_{j})}

Beweis:

a) P (A) = P (⋃^{·}_{n=1}^{∞} A ∩ B_{n}) = ∑_{n=1}^{∞} P (A ∩ B_{n}) = ∑_{n=1}^{∞} P (A|B_{n})P (B_{n}) □

b) P (B_{n}|A) = \frac{P (B_{n}∩A)}{P (A)} = \frac{P (A|B_{n})P (B_{n})}{∑_{j=1}^{∞} P (A|B_{j})P (B_{j})} □

Wichtiger Spezialfall: P (A|B) = P (A|B^{C}), wobei P (B) > 0, P (B^{C}) > 0 (∗) (W’keit für das Eintreten von A hängt nicht vom Eintreten von B ab.)

Dann gilt: P (A) = P (A ∩ B) + P (A ∩ B^{C}) = P (A|B)P (B) + P (A|B^{C})P (B^{C}) =^{(∗)}

P (A|B)(P (B) + P (B^{C})) = P (A|B) = \frac{P (A∩B)}{P (B)}

Also: P (A) = \frac{P (A∩B)}{P (B)} ⟺ P (A)P (B) = P (A ∩ B) Diese Definition wird erweitert auf n Ereignisse A_{1}, …, A_{n} ∈ 𝔄, bzw. auf Folgen von Ereignissen.

Definition 2.17 (Ω, 𝔄, P) sei W’raum. A_{1}, …, A_{n} ∈ 𝔄 Ereignisse. A_{1}, …, A_{n} heißen (gemeinsam) stochastisch unabhängig , wenn P (A_{i_{1}} ∩ … ∩ A_{i_{k}}) = P (A_{i_{1}}) … P (A_{i_{k}}) für alle 1 ≤ i_{1} < … < i_{k} ≤ n und für alle k. Eine Folge {A_{n}}_{n∈ℕ} von Ereignissen heißt stochastisch unabhängig, wenn die A_{1}, …, A_{n} für alle n ∈ ℕ stochastisch unabhängig sind.

Beachte: Aus paarweiser stochastischer Unabhängigkeit folgt nicht die (gemeinsame) stochastische Unabhängigkeit!

Lemma 2.18 (Ω, 𝔄, P) sei W’raum. A_{1}, …, A_{n} ∈ 𝔄. Es gilt: A_{1}, …, A_{n} ∈ 𝔄 stochastisch unabhängig ⟺ ∀B_{i} ∈ {A_{i}, A_{i}^{C}}, i = 1, …, n: P (⋂_{i=1}^{n} B_{i}) = ∏_{i=1}^{n} P (B_{i})

3A variabel in 𝔄

Es gilt: A_{1}, …, A_{n} ∈ 𝔄 stochastisch unabhängig ⟺ ∀B_{i} ∈ {A_{i}, A_{i}^{C}}, i = 1, …, n: B_{1}, …, B_{n} stochastisch unabhängig

Beweis: Stochastik für Informatiker (Mathar & Pfeiffer)

Beispiel 2.19 System bestehe aus 5 Komponenten:

[figure: K_{1}; 0, 9; K_{2}; 0, 8; K_{3}; 0, 9; K_{4}; 0, 7; K_{5}; 0, 7]

System ist intakt, wenn mindestens ein ”Pfad” intakt ist. W’keit, daß Komponente i intakt ist: p_{i} für i = 1, …, 5 (Werte in Skizze) {Komponente K_{i} intakt} seien stochastisch unabhängige Ereignisse.

Modellbildung: Ω = {(x_{1}, …, x_{5})|x_{i} ∈ {0, 1}} (x_{i} = 1: Komponente i intakt) A_{i} = {(x_{1}, …, x_{5})|x_{i} = 1}, P (A_{i}) = p_{i} (Komponente i intakt) A_{1}, …, A_{5} stochastisch unabhängig S = (A_{1} ∩ A_{4}) ∪ (A_{2} ∩ A_{4}) ∪ (A_{2} ∩ A_{5}) ∪ (A_{3} ∩ A_{5}) (System intakt) P (S) = P ((A_{1} ∩ A_{4}) ∪ (A_{2} ∩ A_{4}) ∪ (A_{2} ∩ A_{5}) ∪ (A_{3} ∩ A_{5})) Vereinigung nicht disjunkter Mengen ⟹ Berechnung mit Sylvesterformel möglich, aber sehr aufwendig!

Mit Satz 2.15 a):

P (S) = \underbrace{P (S|A_{2})P (A_{2})}_{(∗1)} + \underbrace{P (S|A_{2}^{C})}_{(∗2)} P (A_{2}^{C})^{4}

(∗1): P (S|A_{2}) = P (A_{4} ∪ A_{5}) = 1 − P (A_{4}^{C} ∩ A_{5}^{C}) = 1 − P (A_{4}^{C})P (A_{5}^{C})

= 1 − (1 − p_{4})(1 − p_{5})

(∗2): P (S|A_{2}^{C}) = P ((A_{1} ∩ A_{4}) ∪ (A_{3} ∩ A_{5})) = 1 − P ((A_{1} ∩ A_{4})^{C} ∩ (A_{3} ∩ A_{5})^{C})

= 1 − (1 − p_{1}p_{4})(1 − p_{3}p_{5})

Insgesamt: P (S) = [1 − (1 − p_{4})(1 − p_{5})]p_{2} + [1 − (1 − p_{1}p_{4})(1 − p_{3}p_{5})](1 − p_{2}) = … = 1 − p_{2}(1 − p_{4})(1 − p_{5}) − (1 − p_{2})(1 − p_{1}p_{4})(1 − p_{3}p_{5}) = 0, 90062

Mit Satz 2.15 b): (W’keit, daß Komponente 2 intakt, wenn System intakt) P (A_{2}|S) = \frac{P (S|A_{2})P (A_{2})}{P (S)} = \frac{0,91·0,8}{0,90062} = 0, 80833

Betrachte Limites von Mengenfolgen die nicht notwendig auf- oder absteigend sind.

4A_{2} und A_{2}^{c} stellen eine Mengenpartition von Ω dar, also Satz der totalen W’Keit

Beispiel 2.20 (unendlicher Münzwurf) Ω = {w = (x_{1}, x_{2}, …)|x_{i} ∈ {0, 1}} A_{n} = {w = (x_{1}, x_{2}, …)|x_{n} = 1} (im n-ten Wurf fällt Kopf) Beschreibe das Ereignis A: es fällt ∞-oft Kopf = es treten ∞ viele der A_{n} ein A = {w|w ∈ A_{n} für ∞ viele n} = {w|∀k∃n ≥ k : w ∈ A_{n}} = ⋂_{k=1}^{∞} ⋃_{n=k}^{∞} Analog: B: Fast alle der A_{n} treten ein (alle bis auf endlich viele Ausnahmen) B = {w|w ∈ A_{n} für fast alle n} = {w|∃k∀n ≥ k : w ∈ A_{n}} = ⋃_{k=1}^{∞} ⋂_{n=k}^{∞}

Definition 2.21 (Ω, 𝔄, P) sei W’raum. A_{n} ∈ 𝔄, n ∈ ℕ

lim sup_{n→∞} A_{n} = ⋂_{k=1}^{∞} ⋃_{n=k}^{∞} A_{n} heißt Limes superior der {A_{n}}

lim inf_{n→∞} A_{n} = ⋃_{k=1}^{∞} ⋂_{n=k}^{∞} A_{n} heißt Limes inferior der {A_{n}}

Es ist:

lim sup_{n→∞} A_{n} = lim_{n→∞} ( ⋃_{k=n}^{∞} A_{k}) = ⋂_{n=1}^{∞} ⋃_{k=n}^{∞} A_{k}

lim inf_{n→∞} A_{n} = lim_{n→∞} ( ⋂_{k=n}^{∞} A_{k}) = ⋃_{n=1}^{∞} ⋂_{k=n}^{∞} A_{k}

3 Zufallsvariable und ihre Verteilung

\underline{Zur Motivation:} Wahrscheinlichkeitsraum (Ω, 𝔄, P) : Zur Beschreibung von Zufallsexperimenten, zur Modellierung von Zufallseinflüssen.

• Oft interessiert nicht das gesamte Modell, sondern nur Teilgrößen. Z.B. 5000 Stichproben mit Ausgang gut/schlecht. Von Interesse sind nun aber z.B. die Anzahl der schlechten Stücke. Ω = {(x_{1}, ..., x_{5000})|x_{i} ∈{g, s}} ursprüngliche Ergebnismenge T ={0, ..., 5000} von Ereignissen

• Ergebnisse von Zufallsexperimenten sind oft Zahlen oder Vektoren. Nützlich oft: arithmetische Operationen. Z.B.: 5000 Münzwürfe mit Ergebnis 0 oder 1 (s.o.) x_{1}, ...x_{5000} ∈{0, 1}

Von Interesse: Anzahl der 1’en = ∑_{i=1}^{5000} x_{i}

oder

x_{1}, ..., x_{n} ∈ ℝ^{+} (Z.B. Verzögerungszeiten im Switch)

\overline{x} = \frac{1}{n} ∑_{i=1}^{n} x_{i} (mittlere Verzögerungszeit, Mittelwert)

Modellierung allgemein mit Zufallsvariablen.

Definition 3.1 (Zufallsvariable) (Ω, 𝔄, P) sei W’Raum. Eine Abb. X : Ω → ℝ heißt Zufallsvariable (ZV) oder Zufallsgröße (random variable, r.v.), wenn X^{−1}(B) ={ω ∈ Ω|X(ω) ∈ B} = {X ∈ B} ∈ 𝔄 ∀B ∈ B^{1} Diese Bedingung heißt Meßbarkeit von X Schreibweise: X : (Ω, 𝔄) → (ℝ, B^{1}) (X ist Abb. und meßbar)

\underline{Bemerkung:} Der Begriff ’Zufallsvariable’ hat sich eingebürgert, obwohl es sich eigentlich um eine ’Funktion’ handelt. Betont wird die Modellierung des Zufalls, wichtig ist die Verteilung von Zufallsvariablen.

Lemma 3.2 X : (Ω, 𝔄) → (ℝ, B^{1}) sei ZV’e. durch P^{X}(B) := P (X^{−1}(B)) = P ({ω|X(ω) ∈ B}) = P (X ∈ B), B ∈ B^{1} wird eine W’verteilung auf (ℝ, B^{1}) definiert. P^{X} heißt Verteilung der ZV’en X.

Beweis: Überprüfe Def. 2.10

(i) P^{X}(ℝ) = P (X^{−1}(ℝ)) = P (Ω) = 1 (ii) B_{n} paarweise disjunkt, B_{n} ∈ B^{1}, n ∈ ℕ

P^{X}(⋃_{n=1}^{∞} B_{n}) = P (\underbrace{X^{−1} \underbrace{(⋃_{n=1}^{∞} B_{n})}_{∈B^{1}}}_{∈𝔄}) = P (⋃_{n=1}^{∞} \underbrace{X^{−1}(B_{n})}_{p.w.disjunkt})

= ∑_{n=1}^{∞} P (X^{−1}(B_{n})) = ∑_{n=1}^{∞} P^{X}(B_{n}) □

Wesentlich in Def. 3.1: ’meßbar’, d.h. ZV’en X induzieren auf (ℝ^{1}, B^{1}) die Verteilung P^{X}. Mathematisches Modell für Zufallsexperimente häufig: (Ω, 𝔄, P) → (ℝ, B, P^{X}) Dabei modelliert die linke Seite alle Zufallseinflüsse, genaue Kenntnis oft nicht erforderlich, ledigleich Existenz. Die rechte Seite modelliert die interessanten beobachteten Größen. P^{X} oft bekannt bis auf Parameter. Beachte: (ℝ, B, P^{X}) ist ein W’Raum, bisherige Regeln gelten auch hier.

Mittels ZV X werden nur die uns interessierenden Dinge ’rausgefiltert’, was (Ω, 𝔄, P) ist, ist uns egal, nur Ergebnisse sind von Relevanz. Dabei ist wichtig: Meßbarkeit!!!

Beispiel 3.3 (Binomialverteilung) n-facher Münzwurf; Kopfˆ=1, Zahlˆ=0, Würfe unabhängig. Kopf mit W’keit p, Zahl mit W’keit (1-p) in jedem Wurf. Modell: Ω ={ω = (x_{1}, ..., x_{n})|x_{i} ∈{0, 1}}, 𝔄 = P(Ω),

P (\{(x_{1}, ..., x_{n})\}) = \underbrace{p...p}_{|1′en|} \underbrace{(1 − p)...(1 − p)}_{|0′en|} = p^{∑_{i=1}^{n} x_{i}}(1 − p)^{n− ∑_{i=1}^{n} x_{i}}

ZV X = Anzahl der 1’en

X(ω) = X((x_{1}, ...x_{n})) = ∑_{i=1}^{n} x_{i}

Wertebereich von X: T ={0, 1, 2, ..., n} Verteilung von X: P^{X}({k}) = P (X^{−1}({k})) = P ({ω|X(ω) = k}) = P (X = k) =

P ({(x_{1}, ..., x_{n})| ∑_{i=1}^{n} x_{i} = k}) = ∑_{(x_{1},...x_{n}): ∑_{i=1}^{n} x_{i}=k} p^{∑_{i=1}^{n} x_{i}}(1 − p)^{n− ∑_{i=1}^{n} x_{i}}

= ∑_{(x_{1},...x_{n}): ∑_{i=1}^{n} x_{i}=k} p^{k}(1 − p)^{n−k} = \binom{n}{k}p^{k}(1 − p)^{n−k}, k = 0, 1, ..., n

Eine ZV X heißt binomialverteilt mit 2 Parametern n ∈ ℕ, p ∈ [0, 1], wenn P (X = k) = \binom{n}{k}p^{k}(1 − p)^{n−k}, k = 0, 1, ..., n Bezeichnung: Bin(n, p)

Interpretation: Bin(n, p) ist die Verteilung der Anzahl der ’Treffer’ in Bernoulli-Serie^{5} der Länge n mit Trefferwahrscheinlichkeit p. Im Weiteren: Allgemeine Methoden zur Beschreibung von Wahrscheinlichkeitsverteilungen, direkt formuliert für ZV’en. Beachte: Mit X = Identität lassen sich die folgenden Überlegungen auch direkt auf W’Maße P anwenden.

3.1 Diskrete Verteilungen / Zufallsvariablen

Definition 3.4 Eine ZV X (auf einem Wahrscheinlichkeitsraum (Ω, 𝔄, P)) bzw. deren Verteilung P^{X} heißt diskret, wenn eine höchstens abzählbare Menge T = {t_{1}, t_{2}, ...} ex. mit P^{X}(T) = 1 = P (X ∈ T).

X sei diskrete ZV mit Träger T ={t_{1}, t_{2}, ...}, A ∈ B^{1}. Dann gilt P^{X}(A ∩ T) = P^{X}(A) + P^{X}(T) − P^{X}(A ∪ T) = P^{X}(A)

Also: P (X ∈ A) = P^{X}(A) = P^{X}(A ∩ T) = P^{X}(⋃_{i=1}^{∞}(A∩{t_{i}})) = ∑_{i:t_{i}∈A} P^{X}({t_{i}})

= ∑_{i:t_{i}∈A} P (X = t_{i})

Definition 3.5 X sei diskrete ZV mit Träger T ={t_{1}, t_{2}, ...}. Die Abbildung f_{X} : T → [0, 1] mit f_{X}(t_{i}) = P (X = t_{i}), i = 1, 2, .... heißt Zähldichte der ZV’en X.

X ∼ Bin(n, p) (s.Bsp. 3.3) ist ein Beispiel für eine diskrete ZV mit f_{X}(k) = \binom{n}{k}p^{k}(1 − p)^{n−k}, k = 0, 1, ..., n, (0 ≤ p ≤ 1 ein P arameter)

Beispiel 3.6 (geometrische Verteilung) Unendlicher, unabhängiger Münzwurf, s. Beispiel 3.3; Ω ={ω = (x_{1}, x_{2}, ...)|x_{i} ∈{0, 1}}; X = Wartezeit bis zum ersten Treffer (’1’); Träger T = ℕ_{0}. P (X = k) = P ({ω = (x_{1}, x_{2}, ...)|x_{1} = x_{2} = ... = x_{k} = 0, x_{k+1} = 1}) = (1 − p)^{k}p, k = 0, 1, 2, ... Die Verteilung mit der Zähldichte f_{X}(k) = (1−p)^{k}p, k = 0, 1, 2, ... und (0 ≤ p ≤ 1 ein P arameter) heißt geometrische Verteilung. Bezeichnung: X ∼ Geo(p), 0 ≤ p ≤ 1

Beispiel 3.7 (Poissonverteilung) Sei p_{n} ∈ (0, 1) mit np_{n} → λ (für n → ∞), λ > 0. Dann gilt \binom{n}{k}p_{n}^{k}(1 − p_{n})^{n−k} → e^{−λ} \frac{λ^{k}}{k!} ∀k ∈ ℕ_{0}

Es gilt e^{−λ} \frac{λ^{k}}{k!} ≥ 0 und e^{−λ} \underbrace{∑_{k=0}^{∞} \frac{λ^{k}}{k!}}_{e^{λ}} = 1

Eine diskrete ZV’e X mit der Zähldichte f_{X}(k) = e^{−λ} \frac{λ^{k}}{k!} , k = 0, 1, 2, ... heißt poissonverteilt (λ > 0 ein Parameter) Bezeichnung: X ∼ P oi(λ), λ > 0 Interpretation: Man unterteile das Intervall (0, 1) in n Stücke (gleicher Länge). Die Wahrscheinlichkeit für das Auftreten eines Ereignisses in jedem Teilstück ist \frac{λ}{n}, das Auftreten ist unabhängig. Werden nun die Intervalle immer kürzer gewählt und die Wahrscheinlichkeit für die einzelen Ereignisse immer geringer, so wird die Poissonverteilung zur Beschreibung benutzt (Gesetzt seltener Ereignisse).

5Als eine ’Bernoulli-Serie’ bezeichnet man z.B. eine Münzwurfserie der Länge n mit Trefferwahrscheinlichkeit p, wobei die einzelnen Würfe unabhängig voneinander sind.

3.2 Verteilungsfunktionen

Definition 3.8 Eine Funktion F : ℝ → [0, 1] mit den Eigenschaften

(i) F monoton steigend (nicht notwendig streng) (ii) lim_{x→∞} F (x) = 1, lim_{x→∞} F (x) = 0

(iii) F ist rechtsseitig stetig (d.h. ∀x_{0}, x_{n} ↓ x_{0}: F (x_{n}) → F (x_{0}))

heißt Verteilungsfunktion (VF).

Beispielskizzen siehe Mitschrift!

Satz 3.9 (Ω, 𝔄, P) sei W’Raum. X : (Ω, 𝔄) → (ℝ^{1}, B^{1}) sei ZV’e. Durch F_{X}(x) = P (X ≤ x) = P ({ω ∈ Ω | X(ω) ≤ x}) = P^{X}((−∞, x]), x ∈ ℝ wird eine Verteilungsfunktion definiert, die Verteilungsfunktion der ZV’en X, bzw. der Verteilung P^{X}.

Satz 3.10 (Eindeutigkeitssatz für VF) 2 ZV’en X und Y besitzen dieselbe Verteilung (auf (ℝ^{1}, B^{1})) ⟺ F_{X}(x) = F_{Y} (x) ∀x ∈ ℝ

D.h. nicht, daß X=Y; punktweises Verhalten muß nicht gleich sein.

Beweis: ′ ⟹′ einfach ′ ⟸′ benutzt den Fortsetzungssatz und Eindeutigkeitssatz der Meßtheorie (sehr schwierig!) □

Beispiel 3.11 (VF)

a) X heißt gleichverteilt (rechteckverteilt) auf [0,1] Bez. X ∼ R(0, 1), wenn

F_{X}(x) = \{ \begin{matrix}0 & : x ≤ 0 \\ x & : 0 ≤ x ≤ 1 \\ 1 & : x ≥ 1 \end{matrix}

Seien 0 ≤ a < b ≤ 1 P (a < X ≤ b) = P ({ω|a < X(ω) ≤ b}) = P ({ω|X(ω) ≤ b}\{ω|X(ω) ≤ a}) = P ({ω|X(ω) ≤ b}) − P ({ω|X(ω) ≤ a}) = P (X ≤ b) − P (X ≤ a) = F_{X}(b) − F_{X}(a) = b − a (Wahrscheinlichkeit für zufälligen Wert im Intervall (a,b] ist gleich der Länge des Intervalls von (a,b], nämlich b-a)

Analog: Rechteckverteilung auf (a,b], Bez. X ∼ R(a, b) a < b ∈ ℝ

F_{X}(x) = \{ \begin{matrix}0 & : x ≤ a \\ \frac{1}{b−a}(x − a) & : a ≤ x ≤ b \\ 1 & : x ≥ b \end{matrix}

Für ein Teilintervall (c,d] von (a,b] gilt: P (c < X ≤ d) = F_{X}(d)−F_{X}(c) = F_{X}(d)−F_{X}(c) = \frac{1}{b−a}(d−a)− \frac{1}{b−a}(c−a) = \frac{1}{b−a}(d − c) Wahrscheinlichkeit des Intervalls ist proportional zu deren Länge. Der Faktor beträgt \frac{1}{b−a}, was der Steigung der Funktion entspricht.

b) X heißt exponentialverteilt, X ∼ Exp(λ) (λ > 0 ein Parameter), wenn

F_{X}(x) = \{ \begin{matrix}1 − e^{−λx} & : x ≥ 0 \\ 0 & : x ≤ 0 \end{matrix} \} = (1 − e^{−λx})1_{[0,∞)}(x)

Je größer λ, je steiler ist die Fkt., je kleiner das λ, umso flacher ist sie.

Bei dieser Darstellung wird benutzt:

Indikatorfunktion 1_{A}(x) = \{ \begin{matrix}1 & : x ∈ A \\ 0 & : x ∉ A \end{matrix}

c) Diskrete ZV’en X mit geordnetem Träger T={t_{1}, t_{2}, ...}⊂ ℝ. Zähldichte

f_{X}(t_{i}) = p_{i} , p_{i} ≥ 0 , ∑_{i=1}^{∞} p_{i} = 1.

Dann F_{X}(x) = P (X ≤ x) = ∑_{k:t_{k}≤x} P (X

= t_{k}) = ∑_{k:t_{k}≤x} p_{k} = ∑_{j=1}^{k−1} p_{j}, falls t_{k−1} ≤ x ≤ t_{k}, k = 1, 2, ....(t_{0} = −∞)

Diese Fkt. stellt eine Treppenfunktion dar. Der Sprung erfolgt an der Stelle t_{i} und die Höhe des Sprungs entspricht dem Wert von p_{i}.

z.B.: X ∼ Geo(p), f_{X}(k) = (1 − p)^{k}p, k ∈ ℕ(0 < p ≤ 1) ’Wartezeit bis zum ersten Treffer!’

Es gilt: ∑_{j=0}^{k}(1 − p)^{j}p = p ∑_{j=0}^{k}(1 − p)^{j} = p\frac{1−(1−p)^{k−1}}{1−(1−p)} = 1 − (1 − p)^{k+1}

Also: F_{X} = \{ \begin{matrix}0 & : x < 0 \\ 1 − (1 − p)^{⌊x⌋+1} & : x ≥ 0 \end{matrix}

Berechnung von Wahrscheinlichkeiten und Verteilungsfunktionen X sei ZV’e mit Verteilungsfunktion F_{X}(x) = P (X ≤ x), a < b ∈ ℝ

• P (a < X ≤ b) = P^{X}((−∞, b]\(−∞, a]) =^{Monotonie} P^{X}((−∞, b])−P^{X}((−∞, a])

= F_{X}(b) − F_{X}(a)

• Sei a ∈ ℝ, a_{n} < a_{n+1} < a, a_{n} → a (n → ∞) Dann: (a_{n}, a] ist absteigend

mit lim_{n→∞}(a_{n}, a] ={a}

P (X = a) = P^{X}({a}) = P ( lim_{n→∞}(a_{n}, a]) = lim_{n→∞} P ((a_{n}, a]) = lim_{n→∞}(F_{X}(a) −

F_{X}(a_{n})) = F_{X}(a) − lim_{n→∞} F_{X}(a_{n}) = F_{X}(a) − \underbrace{F_{X}(a−)}_{linksseitiger Grenzwert von F_{X}(a)}

Insbesondere: Ist F_{X} stetig, so gilt P (X = a) = 0 ∀a ∈ ℝ

• P (a ≤ X ≤ b) = P (X = a) + P (a < X ≤ b) = F_{X}(a) − F_{X}(a−) + F_{X}(b) − F_{X}(a) = F_{X}(b) − F_{X}(a−)

Bedienzeit X von Anforderungen an einem Server sei Exp(λ)-verteilt X ∼ Exp(λ) λ ≥ 0 Problem: Bestimme die Zeit x_{α}, unterhalb derer die Bedienzeit mit vorgegebener Wahrscheinlichkeit α liegt. (Z.B. α = 0, 99) Bestimme also x_{α} mit P (X ≤ x_{α}) = α. Interpretation: In 99% der Fälle ist die Bedienzeit kürzer als x_{α}

Definition 3.12 X sei ZV’e mit Verteilungsfunktion F_{X}(x), 0 ≤ α ≤ 1. x_{α} = min{x|F_{X}(x) ≥ α} heißt α-Quantil ((1-α)-Fraktil) von F_{X}. F_{X}^{−}(t) = min{x|F_{X}(x) ≥ t}, t ∈ (0, 1) heißt Pseudoinverse von F_{X}.

Ist F invertierbar, so gilt F^{−} = F^{−} (Inverse) Insbesondere: α = \frac{1}{2}, x_{\frac{1}{2}} heißt Median^{6} von F_{X}. Es gilt: P (X ≤ x_{\frac{1}{2}} ) ≤ \frac{1}{2}. Der Median ’halbiert’ die Verteilung, in diesem Sinn der ’mittlere’ Wert.

3.3 Dichten

Methode zur Konstruktion von Verteilungsfunktionen, Verteilungen.

Definition 3.13 f : ℝ → ℝ^{+} sei (uneigentlich Riemann-) integrierbar, mit

∫_{−∞}^{∞} f(x)dx = 1. Durch F (x) = ∫_{−∞}^{x} f(t)dt wird eine Verteilungsfuntion definiert.

Gilt für eine ZV X : F_{X}(x) = F (x), so heißt f (Verteilungs-)Dichte von X bzw. P^{X}. X (bzw. P^{X}) heißt dann alsolut-stetig.

Mit dem Hauptsatz der Differential- und Integralrechnung (HDI) folgt: f(x) = F′(x) für alle Stetigkeitspunkte x von f.

6Median ist ein Schätzer für den mittleren Wert, der robust gegen Ausreißer ist.

Beispiel 3.14

a) Rechteckverteilung auf [a, b], a < b ∈ ℝ, X ∼ R(a, b):

f(x) = \{ \begin{matrix}\frac{1}{b−a} & : a ≤ x ≤ b \\ 0 & : sonst \end{matrix} = \frac{1}{b−a}1_{[a,b]}(x), x ∈ ℝ

F (x) = ∫_{−∞}^{x} f(t)dt = \{ \begin{matrix}\frac{1}{b−a}(x − a) & : a ≤ x ≤ b \\ 0 & : x ≤ a \\ 1 & : x ≥ b \end{matrix}

Beachte: Die Dichte f̂(x) = \frac{1}{b−a}1_{(a,b)}(x) führt zu derselben Verteilungsfunktion F. Dichten sind nicht eindeutig, sie sind ’fast sicher’ eindeutig.

b) Exponentialverteilung, Exp(λ), X ∼ Exp(λ), λ ≥ 0 f(x) = λe^{−λx}1_{[0,∞)}, x ∈ ℝ

F (x) = ∫_{−∞}^{x} f(t)dt = ∫_{0}^{x} λe^{−λt}dt (Da Funktion links nicht definiert!)

= −e^{−λt}|_{0}^{x} = 1 − e^{−λx}, x ≥ 0

c) Normalverteilung, N(μ, σ^{2}), μ ∈ ℝ, σ ∈ ℝ^{+}\{0}, X ∼ N(μ, σ^{2})

f(x) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} , x ∈ ℝ

F (x) = \frac{1}{\sqrt{2π}σ} ∫_{−∞}^{x} e^{− \frac{(t−μ)^{2}}{2σ^{2}}} dt hat keine ’geschlossene’ Darstellung, allerdings

interessiert man sich für explizite Werte der Funktion. Berechnung dieser erfolgt entweder numerisch oder mit Hilfe von Tabellen.

Berechnung von Wahrscheinlichkeiten mit Dichten. X sei ZV’e mit Verteilungsfunktion F_{X} und Dichte f_{X}(x), a < b ∈ ℝ

• P (a < X ≤ b) = F_{X}(b) − F_{X}(a) = ∫_{−∞}^{b} f_{X}(t)dt − ∫_{−∞}^{a} f_{X}(t)dt = ∫_{a}^{b} f_{X}(t)dt

• P (X = a) = F_{X}(a) − F_{X}(a^{−}) = 0, da F_{X}(a) = ∫_{−∞}^{x} f_{X}(t)dt stetig

• P (a ≤ X ≤ b) = ∫_{a}^{b} f_{X}(t)dt, da einzelne Punkte die W’keit 0 haben.

• Allgemein gilt bei absolut-stetigen ZV’en:

P ∈ (X ∈< a, b >) = ∫_{a}^{b} f_{X}(t)dt, wobei <> für ’abgeschlossen’ oder ’offen’

steht.

• Schreibe allgemein für Mengen B ∈ B:

P (X ∈ B) = ∫_{B} f_{X}(t)dt (auch, wenn B kein Intervall)

3.4 Erzeugende Funktionen und LaPlace-Transformierte

Eine weitere Methode zur eindeutigen Beschreibung von Verteilungen. Definition 3.15

a) X sei diskrete ZV’e mit Träger T ={t_{1}, t_{2}, ...} und Zähldichte f_{X}(t_{k}) = p_{k}, k ∈ ℕ. Dann heißt: G_{X}(z) = ∑_{k=0}^{∞} p_{k}z^{k}, |z| < 1, erzeugende Funktion von X bzw. P^{X}

b) X sei absolut-stetig mit Dichte f_{X}, wobei f_{X}(x) = 0, falls x < 0 (d.h. P (X < 0) = 0). Dann heißt: L_{X}(s) = ∫_{0}^{∞}e^{−sx}f_{X}(x)dx, s ≥ 0 LaPlace-Transformierte von X bzw. P^{X}. Analog zu Satz 3.10 für Verteilungsfunktionen gilt auch hier Eindeutigkeit.

Satz 3.16

a) X, Y seinen diskrete ZV’en mit demselben Träger T. X und Y besitzen dieselbe Verteilung ⟺ G_{X}(z) = G_{Y} (z), ∀|z| ≤ 1

b) X, Y seien absolut-stetig mit f_{X}(x) = f_{Y} (x) = 0, ∀x < 0. X und Y haben

dieselbe Verteilung ⟺ L_{X}(s) = L_{Y} (s), ∀s ≥ 0 Beweis:

a) Eindeutigkeitssatz für Potenzreihen

b) Felber II, Seite 403 Satz 3.17 (Inversionsformel)

a) G_{X}(z) sei erzeugende Funktion einer diskreten ZV’en X mit Träger T =\{t_{1}, t_{2}, ...\}. Dann gilt: P (X = t_{k}) = \frac{1}{k!}G_{X}^{(k)}(0).

b) L_{X}(s) sei LaPlace-Transformierte einer absolut stetigen ZV’en X. Dann gilt:

f_{X}(x) = lim_{y→∞} \frac{1}{2πi} ∫_{c−iy}^{e+iy}e^{sx}L_{X}(s)ds, ∀c ∈ ℝ

Beispiel 3.18

a) Geometrische Verteilung, X ∼ Geo(p), 0 < p ≤ 1

G_{X}(z) = ∑_{k=0}^{∞}(1 − p)^{k}pz^{k} = p ∑_{k=0}^{∞}((1 − p)z)^{k} = \frac{p}{1−z+pz}, |z| < 1

b) Poissonverteilung, X ∼ P oi(λ), λ > 0

G_{X}(z) = ∑_{k=0}^{∞} e^{−λ} \frac{λ^{k}}{k!} z^{k} = e^{−λ} ∑_{k=0}^{∞} \frac{(λz)^{k}}{k!} = e^{−λ}e^{λz} = e^{−λ(1−z)}, z ∈ ℝ

3.4 Erzeugende Funktionen und LaPlace-Transformierte 21

c) Rechteckverteilung, X ∼ R(0, 1)

L_{X}(s) = ∫_{0}^{1} e^{−sx}dx = \frac{1−e^{−s}}{s}, s ≥ 0

d) Exponentialverteilung, X ∼ Exp(λ)

L_{X}(s) = ∫_{0}^{∞}e^{−sx}λe^{−λx}dx = \frac{λ}{λ+s} \underbrace{∫_{0}^{∞}(λ + s)e^{−(s+λ)x}dx}_{1, da Integral über Dichte} = \frac{λ}{λ+s}

4 Produkträume und Zufallsvektoren

Zufallsexperimente mit mehreren Ausgängen (gleichzeitig oder dasselbe Experiment mehrfach wiederholt)

Modell: [figure: (Ω, 𝔄, P); .; .; .; (ℝ^{1}, B^{1}); (ℝ^{1}, B^{1}); (ℝ^{1}, B^{1})] Ausgänge gemeinsam betrachten:

(Ω, 𝔄, P) \overline{}^{X=(X_{1},...X_{n})} (ℝ^{n},?,?)

\underline{Fragen}

1. Welche σ-Algebra?

2. Welche gemeinsame Verteilung?

3. Wie beschreiben?

4.1 Produkträume

Gegeben sind Meßräume (Ω_{i}, 𝔄_{i}), i = 1, ..., n. Oft (Ω_{i}, 𝔄_{i}) = (ℝ^{1}, B^{1}). Setze Ω =[figure: ∞; i=1] Ω_{i} ={w = (w_{1}, ..., w_{n})|w_{i} ∈ Ω_{i}} Frage: Welche σ-Algebra ist über Ω zu wählen? Ansatz: ε ={A_{1} × ... × A_{n}|A_{i} ∈ Ω_{i}, i = 1, ..., n} Aber: ε ist i.a. keine σ-Algebra über Ω = [figure: n; i=1] Ω_{i} Gegenbeispiel: Ω_{1} = Ω_{2} = ℝ^{1}, 𝔄_{1} = 𝔄_{2} = B^{1}. Dann: C_{1} = [−1, 0] × [−1, 0] ∈ ε, C_{2} = [0, 1] × [0, 1] ∈ ε; aber C_{1} ∪ C_{2} ∉ ε, nicht als karthesisches Produkt zweier Mengen darstellbar.

Definition 4.1 (Produkt-σ-Algebra) (Ω_{i}, 𝔄_{i}) seien Meßräume, i = 1, ..., n; ε ={A_{1}×...×A_{n}|A_{i} ∈ 𝔄_{i}}. ⨂_{i=1}^{n} 𝔄_{i} := 𝔄(ε) heißt Produkt-σ-Algebra von 𝔄_{1}, ..., 𝔄_{n} über Ω = [figure: n; i=1] Ω_{i}. ([figure: n; i=1] Ω_{i}, ⨂_{i=1}^{n} 𝔄_{i}) heißt Produkt-Meßraum der (Ω_{i}, 𝔄_{i}), i = 1, ..., n

Beispiel 4.2 (Ω_{i}, 𝔄_{i}) = (ℝ^{1}, B^{1}), ε ={B_{1} × ... × B_{n}|B_{i} ∈ B^{1}}. 𝔄(ε) = B^{n} heißt dann n-dimensionale Borelsche σ-Algebra. Z.B.:

• enthält B^{n} alle (n-dim) Rechtecke oder

• alle abzählbaren Vereinigungen von Rechtecken oder

• alle Linien (durch abz. Vereinigung oder Schnitt von Rechtecken) oder

• alle Kreise (um den Ursprung): {x_{1}^{2} + x_{2}^{2} ≤ c} (hier ℝ^{2})

4.2 Zufallsvektoren und Folgen von Zufallsvariablen

Definition 4.3 (Ω, 𝔄, P) sei Wahrscheinlichkeitsraum. Eine Abbildung X = (X_{1}, ..., X_{n}), Ω → ℝ^{n} heißt Zufallsvektor, wenn X^{−1}(B) ∈ 𝔄 ∀B ∈ B^{n} (Meßbarkeit). Bez.: X : (Ω, 𝔄) → (ℝ^{n}, B^{n})

Bemerkung: Es gilt: X = (X_{1}, ..., X_{n}) ist Zufallsvektor ⟺ X_{1}, ..., X_{n} sind ZV’en.

Lemma 4.4 X sei Z’vektor. Durch P^{X}(B) = P (X^{−1}(B)) = P ({ω|X(ω) ∈ B}) =^{kurz} P (X ∈ B), B ∈ B^{n} wird eine Wahrscheinlichkeitsverteilung auf (ℝ^{n}, B^{n}) definiert. P^{X} = P^{(X_{1},...,X_{n})} heißt gemeinsame Verteilung von (X_{1}, ..., X_{n})

Im Folgenden gemeinsame Verteilung mit Verteilungsfunktion und Dichten beschreiben. Klar: X_{1}, ..., X_{n} diskret ⟹ (X_{1}, ..., X_{n}) diskret. Verteilung mit Zähldichte wie in Kapitel 3 beschreiben.

Satz 4.5 X sei Zufallsvektor, P^{X} wird eindeutig beschrieben durch die (n-di-mensionale) Verteilungsfunktion: F_{X}(x_{1}, ..., x_{n}) = P^{X}((−∞, x_{1}] × ... × (−∞, x_{n}]) = P ({ω|X_{1}(ω) ∈ (−∞, x_{1}], ..., X_{n}(ω) ∈ (−∞, x_{n}]})

= P ({ω|X_{1}(ω) ≤ x_{1}}∪...∪{X_{n}(ω) ≤ x_{n}}) =^{kurz} P (X_{1} ≤ x_{1}, ..., X_{n} ≤ x_{n})

Bez.: X ∼ F_{X}

Beschreibung von Verteilungen mit n-dimensionalen Dichten ist oft einfacher.

Definition 4.6 F_{X}(x_{1}, ..., x_{n}) sei die Verteilungsfunktion des Zufallsvektors X. Eine (uneigentlich Riemann-) integrierbare Funktion f_{X} : ℝ^{n} → ℝ^{+} heißt Dichte

von X, wenn F_{X}(x_{1}, ..., x_{n})) = ∫_{−∞}^{x_{n}} ⋯ ∫_{−∞}^{x_{1}} f_{X}(t_{1}, ..., t_{n})dt_{1} ⋯ dt_{n}, ∀x_{1}, ...x_{n} ∈ ℝ.

X (bzw. F_{X} oder P^{X}) heißt dann absolut-stetig mit Dichte f_{X}.

Bez.: X ∼ f_{X} Sprechweisen: X hat/besitzt/ist verteilt nach Verteilungsfunktion F_{X}/ Dichte f_{X}.

Berechnung von Wahrscheinlichkeiten mit Dichten: X = (X_{1}, ..., X_{n}) sei absolut-stetig mit Verteilung P^{X}, Verteilungsfunktion F_{X} und Dichte f_{X}. Dann: P^{X}(< a_{1}, b_{1} > ×...× < a_{n}, b_{n} >) = P (a_{1} ≤ X_{1} ≤ b_{1}, ..., a_{n} ≤ X_{n} ≤ b_{n}) =

∫_{a_{n}}^{b_{n}} ⋯ ∫_{a_{1}}^{b_{1}} f_{X}(t_{1}, ..., t_{n})dt_{1} ⋯ dt_{n}, ∀a_{i} ≤ b_{i} ∈ ℝ, wobei ’<’ = ’(’ oder ’[’ (’>’ analog)

beliebig auswählbar. Allg.: P^{X}(B) = ∫ ·B· · ∫ f_{X}(t_{1}, ..., t_{n})dt_{1} ⋯ dt_{n}, ∀B ∈ B^{n}

Mit dem HDI: f_{X}(x_{1}, ..., x_{n}) = \frac{∂}{∂x_{1}···∂x_{n}} F_{X}(x_{1}, ..., x_{n}) in allen Stetigkeitspunkten (x_{1}, ...x_{n}) von F.

Beispiel 4.7 (Indizierung mit X zur Vereinfachung weggelassen)

a) Gleichverteilung auf T ∈ B^{n} mit c = ∫ ·T· · ∫ 1dx_{1} ⋯ dx_{n} ≤ ∞

f(x_{1}, ..., x_{n}) = \frac{1}{c}1_{T} (x_{1}, ..., x_{n}) = \{ \begin{matrix}\frac{1}{c} : & (x_{1}, ..., x_{n}) ∈ T \\ 0 : & sonst \end{matrix}

Speziell:

• auf dem Einheitswürfel des ℝ^{n}: T ={(x_{1}, ..., x_{n})|0 ≤ x_{i} ≤ 1, i = 1, ..., n}= [0, 1]^{n} f(x_{1}, ...x_{n}) = 1_{T} (x_{1}, ...x_{n})

F (x_{1}, ...x_{n}) = \{ \begin{matrix}0 : & ∃i : x_{i} < 0 \\ min\{x_{1}, 1\}·... · min\{x_{1}, 1\}: & sonst \end{matrix}

• auf der Einheitskugel des ℝ^{n}

T =\{(x_{1}, ..., x_{n})| ∑_{i=1}^{n} x_{i}^{2} ≤ 1\}, c = \frac{π^{\frac{n}{2}}}{Γ( \frac{n}{2} +1)} (Volumen der Einheitskugel)

{Γ(n) = (n − 1)! (n ∈ ℕ) \atop Γ(\frac{1}{2}) = \sqrt{π} Γ(x + 1) = xΓ(x)}

f(x_{1}, ..., x_{n}) = \frac{Γ( \frac{n}{2} +1)}{π^{\frac{n}{2}}}1_{T} (x_{1}, ...x_{n}), (x_{1}, ...x_{n}) ∈ ℝ^{n}

Verteilungsfunktion ist schwierig zu berechnen → Dirichlet-Integrale

b) n-dim. Normalverteilung N (μ, Σ), μ ∈ ℝ^{n}, Σ ∈ ℝ^{n×n} positiv definit, d.h. EW> 0 f(x_{1}, ..., x_{n}) = \frac{1}{(2Π)^{\frac{n}{2}} (detΣ)^{\frac{1}{2}}} exp(−\frac{1}{2}(x − μ)^{T} Σ^{−1}(x − μ))

x = (x_{1}, ..., x_{n})^{T} ∈ ℝ^{n}

c) f_{1}, ..., f_{k} : ℝ^{n} → ℝ^{+} seien n-dim. Dichten (auch n = 1), α_{1}, ..., α_{k} ≥ 0.

∑_{i=1}^{k} α_{i} = 1. Dann ist f(x) = ∑_{i=1}^{k} α_{i}f_{i}(x), x = (x_{1}, ..., x_{n}) ∈ ℝ^{n} eine n-dim.

Dichte. f(x) heißt Mischung der Dichten f_{1}, ..., f_{k}

Stochastische Unabhängigkeit

Definition 4.8 X_{1}, ..., X_{n} seien ZV’en. Dann ist X = (X_{1}, ..., X_{n}) ein Z’Vektor. X_{1}, ..., X_{n} heißen stochastisch unabhängig, wenn F_{X}(x_{1}, ..., x_{n}) = F_{X_{1}}(x_{1})·...· F_{X_{n}}(x_{n}), ∀(x_{1}, ..., x_{n}) ∈ ℝ^{n}

Also: X_{1}, ..., x_{n} st. unabh., wenn P (X_{1} ≤ x_{1}, ..., X_{n} ≤ x_{n}) = P (X_{1} ≤ x_{1}) · ... · P (X_{n} ≤ x_{n}), ∀(x_{1}, ..., x_{n}) ∈ ℝ^{n} Oder: P ({ω|X_{1}(ω) ≤ x_{1}}∩...∩{ω|X_{n}(ω) ≤ x_{n}}) = P ({ω|X_{1}(ω) ≤ x_{1}}·...·P ({ω|X_{n}(ω) ≤ x_{n}}) dh., X_{1}, ...X_{n} sind st. unabh. ⟺ die Ereignisse {ω|X_{i}(ω) ≤ x_{i}}, i = 1, ..., n, ∀x_{1}, ..., x_{n} st. unabh. im Sinne der Def. 2.17 sind.

Lemma 4.9 (X_{1}, ..., X_{n}) sei Z’Vektor, absolut stetig mit Dichte f_{(X_{1},...,X_{n})}. Dann hat jedes der X_{i} eine Dichte

f_{X_{i}}(x) = ∫_{−∞}^{∞} ... ∫_{−∞}^{∞} f_{(X_{1},...,X_{n})}(x_{1}, ..., x_{i−1}, x, x_{i+1}, ..., x_{n})dt_{x_{1}}...dt_{x_{i−1}}dt_{x_{i+1}}...dt_{x_{n}}

Es gilt: f_{(X_{1},...,X_{n})}(x_{1}, ..., x_{n}) = ∏_{i=1}^{n} f_{X_{i}}(x_{i}), ∀x_{1}, ..., x_{n} ∈ ℝ ⟹ X_{1}, ..., X_{n} stocha-

stisch unabhängig. Umgekehrt: Sind X_{1}, ..., X_{n} st. unabh. und absolut stetig mit Dichten f_{X_{i}}, so

ist f_{(X_{1},...,X_{n})}(x_{1}, ..., x_{n}) = ∏_{i=1}^{n} f_{X_{i}}(x_{i}), x_{1}, ..., x_{n} ∈ ℝ eine Dichte des Z’Vektors

(X_{1}, ..., X_{n}).

Beweis: f_{X_{i}}(x) = ∫_{−∞}^{∞} ... ∫_{−∞}^{∞} ∫_{−∞}^{∞} ... ∫_{−∞}^{∞} f_{(X_{1},...,X_{n})}(x_{1}, ..., x_{i−1}, x, x_{i+1}, ..., x_{n})dt_{x_{1}}...

dt_{x_{i−1}}dt_{x_{i+1}}...dt_{x_{n}} ist eine Dichte von X_{i}, da F_{X_{i}}(x) = P (X_{i} ≤ x) = ∫_{−∞}^{x} f_{X_{i}}(t_{i})dt_{i}

Es gilt: F_{(X_{1},...,X_{n})}(x_{1}, ..., x_{n}) = ∫_{−∞}^{x_{n}} ... ∫_{−∞}^{x_{1}} ∏_{i=1}^{n} f_{X_{i}}dt_{1}...dt_{n} = ∏_{i=1}^{n} ∫_{−∞}^{x_{i}} f_{X_{i}}(t_{i})dt_{i}) =

∏_{i=1}^{n} F_{X_{i}}(x_{i}), ∀x_{1}, ..., x_{n} ∈ ℝ

Also: X_{1}, ..., X_{n} st. unabh. (Def. 4.8)

Umgekehrt: X = (X_{1}, ..., X_{n}) st. unabh. ⟹ F_{(X_{1},...,X_{n})}(x_{1}, ..., x_{n}) = ∏_{i=1}^{n} F_{X_{i}}(x_{i}) =

∏_{i=1}^{n} ∫_{−∞}^{x_{i}} f_{X_{i}}(t_{i})dt_{i} = ∫_{−∞}^{x_{n}} ... ∫_{−∞}^{x_{1}} ∏_{i=1}^{n} f_{X_{i}}(t_{i})dt_{i} ⟹ ∏_{i=1}^{n} f_{X_{i}}(t_{i}) ist eine Dichte von X □

Im Fall von Zähldichten vereinfacht sich Lemma 4.9 zu:

Lemma 4.10 X_{1}, .., X_{n} seien diskrete ZV’en mit Trägern T_{1}, ..., T_{n}. Dann gilt:

X_{1}, .., X_{n} st. unabh. ⟺ P (X_{1} = t_{1}, ..., X_{n} = t_{n}) = ∏_{i=1}^{n} P (X_{i} = t_{i}), ∀t_{i} ∈ T_{i}

Definition 4.11 Eine Folge von ZV’en {X_{n}}_{n∈ℕ} auf W’Raum (Ω, 𝔄, P) heißt stochastisch unabhängig, wenn X_{1}, ..., X_{n} stoch. unabh. sind ∀n ∈ ℕ. Besitzen stoch. unabh. ZV’en alle dieselbe Verteilung, so heißen sie stoch. unabh. identisch verteilt. Kurz: stid Beispiel 4.12

a) X_{1}, X_{2} stid ∼ Bin(n, p).

P (X_{1} = X_{2}) = P^{(X_{1},X_{2})}({(i, i)|0 ≤ i, j ≤ n, i = j}) = ∑_{i=0}^{n} P^{(X_{1},X_{2})}({(i, j)}) =

∑_{i=0}^{n} P (X_{1} = i, X_{2} = i) = ∑_{i=0}^{n} P (X_{1} = i)P (X_{2} = i) = ∑_{i=0}^{n}[\binom{n}{i}p^{i}(1 − p)^{n−i}]^{2}

b) X_{1}, X_{2} stoch. unabh. abs.-stetig mit Dichten f_{1}, f_{2}

P (X_{1} = X_{2}) = ∫ ∫_{x_{1}=x_{2}}f(x_{1}, x_{2})dx_{1}dx_{2} = ∫_{−∞}^{∞} ∫_{x_{2}}^{x_{2}}f_{1}(x_{1})dx_{1}f_{2}(x_{2})dx_{2} = 0

Beispiel 4.13 X_{1}, ..., X_{n} stid ∼ F (Verteilungsfunktion)

a) Y = max{X_{1}, ..., X_{n}} (Interpretation z.B. Max. der Laufzeiten)

P (Y ≤ x) = P (X_{1} ≤ x, ..., X_{n} ≤ x) = ∏_{i=1}^{n} P (X_{i} ≤ x) = F^{n}(x), x ∈ ℝ.

Also Y = max{X_{1}, ..., X_{n}} hat Verteilungsfunktion F^{n}(x).

b) Y = min{X_{1}, ..., X_{n}} P (Y > x) = P (X_{1} > x, ..., X_{n} > x) = (1 − F (x))^{n} Also: Y = min{X_{1}, ..., X_{n}} hat VF 1 − (1 − F (x))^{n} z.B.: X_{i} stid ∼ Exp(λ): P (Y ≤ x) = 1 − e^{−nλx}, λ > 0; d.h.: Y ∼ Exp(nλ)

Beispiel 4.14 X_{1}, X_{2} stid Exp(λ), λ > 0 P (X_{1} + X_{2} ≤ z) = ∫ ∫_{0≤x_{1}+x_{2}≤z} λe^{−λx_{1}}λe^{−λx_{2}}1_{[0,∞)}(x_{1})1_{[0,∞)}(x_{2})dx_{1}dx_{2}

= ∫_{0}^{z} ∫_{0}^{z−x_{2}}λe^{−λx_{1}}λe^{−λx_{2}}dx_{1}dx_{2} = ∫_{0}^{z} λe^{−λx_{2}}[1−e^{−λ(z−x_{2})}]dx_{2} = ∫_{0}^{z}(λe^{−λx_{2}}−λe^{−λz})dx_{2}

= 1 − e^{−λz} − λze^{−λz} = F_{X_{1}+X_{2}}(z), z ≥ 0 Durch Differenzieren: f_{X_{1}+X_{2}}(z) = λe^{−λz} − λ(e^{−λz} + λze^{−λz}), z ≥ 0 Also: Die Verteilung der Summe von stoch. unabh. identisch Exp(λ)-verteilten ZV’en ist absolut steitig verteilt mit Dichte f(x) = λ^{2}xe^{−λx}1_{[0,∞)}(x)

Eine allgemeine Klasse von Verteilungen, die diese Dichte als Spezialfall enthält, sind die Γ-Verteilungen mit Dichten f_{α,λ}(x) = \frac{λ^{α}}{Γ(α)}x^{α−1}e^{−λx}1_{[0,∞)}(x), α, λ > 0,

wobei Γ(α) = ∫_{0}^{∞}x^{α−1}e^{−x}dx das Γ-Integral (Insbes. Γ(n) = (n − 1)! ∀n ∈ ℕ).

Eine ZV mit Dichte f_{α,λ}(x) heißt Γ(α, λ)-verteilt. Spezialfälle:

(i) α = 1 → Exp(λ)-Verteilung (ii) α = 1 → s.o. Verteilung der Summe von 2 stid, Exp(λ)-verteilten ZV’en (iii) α = n ∈ ℕ → Erlang-Verteilung ,mit Parameter n, λ

f_{n,λ}(x) = \frac{λ^{n}}{(n−1)!}x^{n−1}e^{−λx}1_{[0,∞)}(x)

Beispiel 4.15 {X_{n}}_{n∈ℕ} Folge von stid ZV’en, B ∈ B^{1} S = min{n ∈ ℕ|X_{n} ∈ B} heißt erste Eintrittszeit in B. Verteilung von S: P (S = k) = P (X_{1} ∉ B, ..., X_{k−1} ∉ B, X_{k} ∈ B) = P (X_{1} ∉ B) · ... · P (X_{k−1} ∉ B) · P (X_{k} ∈ B) = (1 − p)^{k−1}p, k ∈ ℕ, wobei p = P (X_{1} ∈ B) = ... = P (X_{n} ∈ B). Also: S geometrisch verteilt mit Träger ℕ: S − 1 ∼ Geo(p) Konkret: Unabh. Folge von Münzwürfen, X_{n} stid ∼ Bin(1, p), B ={1}, P (X_{n} ∈{1}) = P (X_{n} = 1) = p {S = k}: Beim k-ten Wurf tritt erstmalig 1 (’Treffer’) auf. Setze X = S − 1 = Wartezeit bis zum ersten Treffer. Dann: X ∼ Geo(p).

Satz 4.16 X_{1}, ..., X_{n} seien stoch. unabh. ZV’en und I, J ⊆{1, ..., n}, I ∩ J = Ø. Dann sind (X_{i})_{i∈I} und (X_{j})_{j∈J} stoch. unabh. Z’Vektoren. Sind f, g meßbare Abbildungen (mit entsprechenden Bild-Meßräumen), so sind f((X_{i})_{i} ∈ I) und f((X_{j})_{j} ∈ J) stoch. unabh.

Beweis: Mathar und Pfeiffer (Lemma 2.1.6 und 2.1.7, Seite 74)

Bsp.: X_{1}, X_{2}, X_{3}, X_{4} stoch. unabh. ⟹ X_{1} + X_{2}, X_{3} + X_{4} stoch. unabh.

5 Transformation von ZV’en/Verteilungen

Im folgenden: allg. Hilfsmittel zur Berechnung der Verteilung von Fkt. von ZV’en.

Satz 5.1 (Transformationssatz für Dichten) X = (X_{1}, ..., X_{n}) sei Z’Vektor auf W’Raum (Ω, 𝔄, P) absolut-stetig mit Dichte f_{X}. Gelte f_{X}(x_{1}, .., x_{n}) = 0 ∀(x_{1}, ..., x_{n}) ∈ M^{C} für eine offene Menge M ⊆ ℝ^{n}. T : (ℝ^{n}, B^{n}) → (ℝ^{n}, B^{n}) sei eine meßbare Abbildung (Z’Vektor, T^{−1}(B) ∈ B^{n} ∀B ∈ B^{n}) mit

(i) T̃=T|_{M} ist injektiv (Restriktion von T auf M) (ii) T̃ ist stetig differenzierbar auf M

(iii) det(\{ \frac{∂T_{i}}{ ˜ ∂x_{j}} \}_{1≤i,j≤n}) ≠ 0 auf M (Funktionaldeterminante)

Dann ist Y = T (X) absolut stetig mit Dichte

f_{Y} (y_{1}, ..., y_{n}) = \frac{f_{X}(T^{ ˜ −1}(y_{1}, ..., y_{n}))1_{T̃ (M)}(y_{1}, ..., y_{n}))}{det(\{ \frac{∂T_{i}}{ ˜ ∂x_{j}} \}_{1≤i,j≤n} _{T̃^{−1}(y_{1},...,y_{n})})}

= det \{( \frac{∂T_{i}^{−1}}{ ˜∂y_{j}} )_{1≤i,j≤n}\} f_{X}(T^{ ˜ −1}(y_{1}, ..., y_{n}))1_{T̃ (M)}(y_{1}, ..., y_{n})

Absolutbetrag der Funktionaldeterminante an der Stelle T^{−1}(y_{1}, ..., y_{n})

Erläuterung T_{1}(y_{1}, x_{2}, x_{3}) = x_{1}x_{2}x_{3} T_{1}(y_{1}, x_{2}, x_{3}) = x_{1} + x_{2} Dann z.B.: \frac{∂T_{1}}{∂x_{3}} = x_{1}x_{2} T_{1}(y_{1}, x_{2}, x_{3}) = x_{3}

Beispiel 5.2 X = (X_{1}, X_{2}) gleichverteilt auf Q = (0, 1)^{2} mit Dichte f_{X}(x_{1}, x_{2}) = 1_{Q}(x_{1}, x_{2}), d.h. X_{1}, X_{2} stoch. unabh. X_{i} ∼ R(0, 1), T (x_{1}, x_{2}) = (\sqrt{x_{1}}cos(2πx_{2}), \sqrt{x_{1}}sin(2πx_{2})), (x_{1}, x_{2}) ∈ Q. [figure: 0; 1; 1; Q]

det \{\frac{∂T_{i}}{∂x_{j}} \}_{1≤i,j≤2} = det \{ \begin{matrix}\frac{1}{2\sqrt{x_{1}}} cos(2πx_{2}) & −2π\sqrt{x_{1}} sin(2πx_{2}) \\ \frac{1}{2\sqrt{x_{1}}} sin(2πx_{2}) & 2π\sqrt{x_{1}} cos(2πx_{2}) \end{matrix} \}

= π cos^{2}(2πx_{2}) + π sin^{2}(2πx_{2}) = π(cos^{2}(2πx_{2}) + sin^{2}(2πx_{2})) = π

Y = T (X) besitzt nach Satz 5.1 eine Dichte f_{Y} (y_{1}, y_{2}) = \frac{1}{π}f_{X}(T^{−1}(y_{1}, y_{2}))1_{T (Q)}(y_{1}, y_{2}) = \frac{1}{π}(1_{T (Q)}(y_{1}, y_{2}))^{2} = \frac{1}{π}1_{T (Q)}(y_{1}, y_{2}) mit K̂=T(Q) ˆ= Einheitskreis ohne positive x-Achse. Also Y = T (X) ist gleichverteilt auf Einheitskreis. (vgl. Bsp. 4.7)

Beispiel 5.3 (Rayleigh-Verteilung)

X, Y stid ∼ N(0, σ^{2}), also gemeinsame Dichte f_{(X,Y)}(x, y) = \frac{1}{\sqrt{2πσ}}e^{− \frac{x^{2}}{2σ^{2}}} ·\frac{1}{\sqrt{2πσ}}e^{− \frac{y^{2}}{2σ^{2}}} , (x, y) ∈ ℝ^{2} Transformation auf Polarkoordinaten: (r, Φ) = T (x, y) : ℝ^{2}\\{0\} → (0, ∞) × (0, 2Φ) mit r = \sqrt{x^{2} + y^{2}} (Länge)

Φ = \{ \begin{matrix}arctan \frac{y}{x} & y > 0 \\ π + arctan \frac{y}{x} & y < 0 \end{matrix} (Winkel) (mit arctan(_{−}^{+}∞) = \frac{π}{2}) [figure: 0; r; φ; _{(}x, y); .]

(x, y) = T^{−1}(r, φ) = (r cos φ, r sin φ)

det \{\frac{∂T^{−1}}{∂z_{j}} \} = det \{ \begin{matrix}cos φ & −r sin φ \\ sin φ & r cos φ \end{matrix} \} = r(cos^{2} φ + sin^{2} φ) = r

(R, Φ) = T (X, Y) besitzt nach Satz 5.1 eine Dichte

f_{(R,Φ)}(r, φ) = \frac{1}{2φσ^{2}} e^{− \frac{r^{2} cos^{2} φ+r^{2} sin^{2} φ}{2σ^{2}}} r1_{(0,∞)}(r)1_{(0,2π})(φ) = \frac{r}{σ^{2}} e^{− \frac{−r^{2}}{2σ^{2}}} 1_{(0,∞)}(r)\frac{1}{2π}1_{(0,2π)}(φ) Also: R, Φ sind stoch. unabhängig mit f_{R}(r) = \frac{r}{σ^{2}} e^{− \frac{r^{2}}{2σ^{2}}} 1_{(0,∞)}(r), Rayleigh-Verteilung, R ∼ Ray(σ^{2}) f_{Φ}(φ)\frac{1}{2π}1_{(0,2π)}(φ), Φ ∼ N(0, 2π)

Lemma 5.4 X = (X_{1}, X_{2}) sei Z’Vektor, absolut stetig mit Dichte f_{X}(x_{1}, x_{2}).

Dann ist Y = X_{1} +X_{2} absolut stetig mit Dichte f_{Y} (y) = ∫_{−∞}^{∞} f_{X}(t, y −t)dt, y ∈ ℝ.

Beweis: Mit Satz 5.1^{7}: T (x_{1}, x_{2}) = (x_{1}, x_{1} + x_{2}), T^{−1}(y_{1}, y_{2}) = (y, y_{2} − y_{1});

det \{\frac{∂T_{i}}{∂x_{j}} \} = det \{ \begin{matrix}1 & 0 \\ 1 & 1 \end{matrix} \} = 1. f_{T (X)}(y_{1}, y_{2}) = f_{X}(y_{1}, y_{2} − y_{1}). Es folgt:

f_{Y} (y) = ∫_{−∞}^{∞} f_{X}(y_{1}, y − y_{1})dy. (2. Randverteilung, Integration über 1. Kompo-

nente)

Speziell in Lemma 5.4: X_{1}, X_{2} stoch. unabh. ⟹ f_{X_{1},X_{2}}(x_{1}, x_{2}) = f_{X_{1}}(x_{1})f_{X_{2}}(x_{2}) Dann

f_{X_{1}+X_{2}}(y) = ∫_{−∞}^{∞} f_{X_{1}}(t)f_{X_{2}}(y − t)dt , y ∈ ℝ

Bei stoch. unabh. ZV’en X_{1}, X_{2} heißt die Verteilung von X_{1} + X_{2} Faltung der Verteilung von X_{1} und X_{2}. Bez.: P^{X_{1}+X_{2}} = P^{X_{1}} ∗ P^{X_{2}} (X_{1}, X_{2} stoch. unabh.)

Beispiel 5.5

a) X_{1}, X_{2} stoch. unabh., X_{1} ∼ Γ(α, λ), X_{2} ∼ Γ(β, λ), Parameter α, β, λ > 0 Dann gilt: X_{1} + X_{2} ∼ Γ(α + β, λ), d.h. Γ(α, λ) ∗ Γ(β, λ) = Γ(α + β, λ)

7Wichtiger Trick: Aufblähen der Transformation, damit Satz 5.1 angewendet werden kann.

Beweis: Übung 8

b) X_{1}, X_{2} st. unabh., X_{1} ∼ N(μ_{1}, σ_{1}^{2}), X_{2} ∼ N(μ_{2}, σ_{2}^{2}), μ_{1}, μ_{2} ∈ ℝ, σ_{1}, σ_{2} > 0. Dann gilt: X_{1} + X_{2} ∼ N(μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}), d.h. N(μ_{1}, σ_{1}^{2}) ∗ N(μ_{2}, σ_{2}^{2}) = N(μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

Beweis: ∫_{−∞}^{∞} \frac{1}{\sqrt{2π}σ_{1}} e^{− \frac{(t−μ_{1})^{2}}{2σ^{2}_{1}}} \frac{1}{\sqrt{2π}σ_{2}} e^{− \frac{(t−μ_{2})^{2}}{2σ^{2}_{2}}} dt = ... = _{\frac{1}{\sqrt{2π}\sqrt{σ_{1}^{2}+σ_{2}^{2}}}} e^{− \frac{(y−μ_{1}−μ_{2})^{2}}{2(σ^{2}_{1}+σ^{2}_{2})}} □

c) X ∼ N(0, 1). Dann gilt: X^{2} ∼ Γ(\frac{1}{2}, \frac{1}{2})

Beweis: Sei x ≥ 0, P (X^{2} ≤ x) = P (−\sqrt{x} ≤ X ≤ +\sqrt{x}) = ∫_{−\sqrt{x}}^{+\sqrt{x}} \frac{1}{\sqrt{2π}}e^{− \frac{t^{2}}{2}} dt

=^{Symmetrie} 2 ∫_{0}^{x} \frac{1}{\sqrt{2π}}e^{− \frac{u}{2}} \frac{1}{2\sqrt{u}}du (Substitution: u := t^{2} ⟹ dt = \frac{1}{2\sqrt{u}}du)

Damit ist die Dichte von X^{2} also: f_{X^{2}}(x) = \{ \begin{matrix}\frac{1}{\sqrt{2π}}x^{− \frac{1}{2}} e^{− \frac{x}{2}} & : x ≥ 0 \\ 0 & : sonst \end{matrix}

\frac{1}{\sqrt{2π}}x^{− \frac{1}{2}} e^{− \frac{x}{2}} ist gerade gleich \frac{( \frac{1}{2} )^{\frac{1}{2}}}{Γ( \frac{1}{2} )} x^{− \frac{1}{2}} e^{− \frac{x}{2}} und dies ist die Γ-Verteilung mit

Paramtern \frac{1}{2} und \frac{1}{2} (i.z.: Γ(\frac{1}{2}, \frac{1}{2})) □

Mit a): X_{1}, ..., X_{n} stid ∼ N(0, 1). Dann gilt X_{1}^{2} + ... + X_{n}^{2} ∼ Γ(\frac{n}{2}, \frac{1}{2}) Bez.: χ^{2}-Verteilung mit n Freiheitsgraden , χ_{n}^{2} Dichte f(x) = _{\frac{1}{Γ( \frac{n}{2} )2^{\frac{n}{2}}}} x^{\frac{n}{2} −1}e^{− \frac{x}{2}} 1_{(0,∞)}(x).

Mit Bsp. 5.3: Sei Y ∼ χ_{2}^{2} = Γ(1, \frac{1}{2}) ⟹ X = \sqrt{Y} ∼ Ray(1)

d) (siehe Bsp. 4.14)

X_{1}, ...X_{n} stid ∼ Exp(λ) = Γ(1, λ), λ > 0 Mit a): S_{n} = X_{1} + ... + X_{n} ∼ Γ(n, λ) (Erlang-Verteilung mit Parametern n, λ) Interpretation: X_{i} =Bedienzeit eines Servers, stid ∼ Exp(λ) S_{n} =Gesamtbedienzeit für n Anforderungen. Umgekehrte Fragestellung: t ≥ 0. Mit welcher Wahrscheinlichkeit werden im Intervall [0, t] genau n Anforderungen bedient?

Definition 5.6 {X_{n}}_{n∈ℕ} sei eine Folge von stoch. unabh. ZV’en, X_{i} ∼ Exp(λ), i ∈ ℕ, λ > 0

N(t) = max{n ∈ ℕ_{0}| ∑_{i=1}^{n} X_{i} ≤ t}= |{n ∈ ℕ| ∑_{i=1}^{n} X_{i} ≤ t}|, heißt Poisson-Prozeß

mit Paramter λ > 0 (Bez. P P (λ)). N(t) ist die Anzahl der bis zur Zeit t ≥ 0 bedienten Kunden.

Grafisch:

[figure: 1; 2; 3; 4; 5; N(t); t; ...; S_{1}; S_{2}; S_{3}; S_{4}; S_{5}; X_{1}; X_{2}; X_{3}; X_{4}; X_{5}; ...; •; •; •; •; •]

Sprechweisen: X_{n} heißen Zwischenankunftszeit, Verweilzeiten (interarrival times, sojourn times)

S_{n} = ∑_{i=1}^{n} X_{i} heißen Ankunftszeiten (arrival times)

Lemma 5.7 ∀t ≥ 0 besitzt N(t) eine Poissonverteilung mit Parameter λt, d.h. N(t) ∼ P oi(λt), P (N(t) = k) = e^{−λt} \frac{(λt)^{k}}{k!} , k ∈ ℕ_{0}.

Beweis:

(i) P (N(t) = 0) = P (X_{1} > t) = 1 − (1 − e^{−λt}) = e^{−λt} = e^{−λt} \frac{(λt)^{0}}{0!}

(ii) P (N(t) = k) = P (\underbrace{∑_{i=1}^{k} X_{i}}_{S_{k}} ≤ t, \underbrace{∑_{i=1}^{k+1} X_{i}}_{S_{k+1}} > t) = P (\{S_{k} ≤ t\}\\{S_{k+1} ≤ t\})^{8}

=^{Monotonie von P} P (S_{k} ≤ t) − P (S_{k+1} ≤ t)

Es ist: S_{k} ∼ Erl(k, λ), S_{k+1} ∼ Erl(k + 1, λ) Somit folgt:

P (S_{k} ≤ t) − P (S_{k+1} ≤ t) = \frac{λ^{k}}{(k−1)!} ∫_{0}^{t} x^{k−1}e^{−λx}dx − \frac{λ^{k+1}}{k!} ∫_{0}^{t} x^{k}e^{−λx}dx

= \frac{λ^{k}}{(k−1)!}(∫_{0}^{t} x^{k−1}e^{−λx}dx − \frac{λ}{k} ∫_{0}^{t} x^{k}e^{−λx}dx)

= \frac{λ^{k}}{(k−1)!}(∫_{0}^{t} \underbrace{x^{k−1}}_{u′} \underbrace{e^{−λx}}_{v} dx + ∫_{0}^{t} \underbrace{\frac{x^{k}}{k}}_{u}(\underbrace{−λe^{−λx}}_{v′})dx)

Mit ∫ uv′ = uv − ∫ u′v folgt dann:^{9}

\frac{λ^{k}}{(k−1)!} \frac{x^{k}}{k} e^{−λx}|_{0}^{t} = \frac{λ^{k}}{k!} t^{k}e^{−λt} = e^{−λt} \frac{(λt)^{k}}{k!} □

Es gilt sogar für N_{(s,t]} = N(t) − N(s) (Anzahl der Kunden im Intervall (s, t]), 0 ≤ s < t, Zuwachs in (s, t]:

8A ∩ B = A\\overline{B}

9Partielle Integration

• N_{(s,t]} ∼ P oi(λ(t − s))

• N_{(s_{i},t_{i}]}, i ∈ ℕ, sind stoch. unabh., P oi(λ(t_{i} − s_{i}))-verteilt, falls die Intervalle (s_{i}, t_{i}] p.d., d.h. die Zuwächse eines PP sind stoch. unabh. poissonverteilte ZV’en.

Im Folgenden: Summen von diskreten ZV’en.

Lemma 5.8 X_{1}, X_{2} stoch. unabh., diskret mit Träger ℕ_{0}, Zähldichten f_{X_{1}}, f_{X_{2}}. Dann besitzt X_{1} + X_{2} die Zähldichte

f_{X_{1}+X_{2}}(k) = ∑_{i=0}^{k} f_{X_{1}}(i)f_{X_{2}}(k − i), k ∈ ℕ_{0}

Beweis: P (X_{1} + X_{2} = k) = P ( ⋃_{i=0}^{k}({X_{1} = i}∩{X_{2} = k − i}))

= ∑_{i=0}^{k} P (X_{1} = i, X_{2} = k − i) =^{st.u.} ∑_{i=0}^{k} \underbrace{P (X_{1} = i)}_{f_{X_{1}}(i)} \underbrace{P (X_{2} = k − i)}_{f_{X_{2}}(k−i)} □

Beispiel 5.9 X_{1}, ..., X_{n} stid ∼ Geo(p), 0 ≤ p < 1. Dann gilt

P (∑_{i=1}^{n} X_{i} = k) = \binom{n + k − 1}{n − 1}(1 − p)^{k}p^{n}, k ∈ ℕ_{0}.^{10}

Diese Verteilung heißt negative Binomialverteilung^{11}, Bez. \overline{Bin}(n, p). Also:

\underbrace{Geo(p) ∗ ... ∗ Geo(p)}_{n−mal} = \overline{Bin}(n, p)

X_{1} + ... + X_{n} = Wartezeit bis zum n-ten Treffer (ohne die Treffer mitzuzählen)

Lemma 5.10

a) Bin(n_{1}, p) ∗ Bin(n_{2}, p) = Bin(n_{1} + n_{2}, p), n_{1}, n_{2} ∈ ℕ, 0 ≤ p < 1. Insbeson-

dere gilt: \underbrace{Bin(1, p) ∗ ... ∗ Bin(1, p)}_{n−mal} = Bin(n, p)

b) \overline{Bin}(n_{1}, p) ∗ \overline{Bin}(n_{2}, p) = \overline{Bin}(n_{1} + n_{2}, p), n_{1}, n_{2} ∈ ℕ, 0 < p < 1

c) P oi(λ_{1}) ∗ P oi(λ_{2}) = P oi(λ_{1} + λ_{2})

Diese 3 Verteilungsklassen sind faltungsstabil Lemma 5.11 X_{1}, X_{2} stoch. unabh., abs.-stetig mit Dichten f_{X_{1}}, f_{X_{2}}, f_{X_{i}}(x) = 0, falls x ≤ 0, i = 1, 2. dann gilt:

10Mit \binom{n}{k} = \binom{n}{n−k} folgt \binom{n+k−1}{n−1}(1 − p)^{k}p^{n} = \binom{n+k−1}{k}(1 − p)^{k}p^{n}

11Die negative Binimialverteilung wird auch Pascalverteilung genannt.

a) Y = X_{1}X_{2} ist abs.-stetig mit Dichte f_{Y} (y) = ∫_{0}^{∞} \frac{1}{t}f_{X_{1}}(\frac{y}{t})f_{X_{2}}(t)dt 1_{(0,∞)}(x)^{12}

b) Z = \frac{x_{1}}{x_{2}} ist abs.-stetig mit Dichte f_{Z}(y) = ∫_{0}^{∞}tf_{X_{1}}(yt)f_{X_{2}}(t)dt 1(0, ∞)(x)

Beweis: Transformationssatz für Dichten mit T (x, y) = (x, xy) bzw. T (x, y) = (x, \frac{x}{y}) □

12Benutze Transformation: T (x, y) = (y, xy) (Aufblähen; siehe Beweis Lemma 5.4)

6 Erwartungswerte und Momente von ZV’en

Zur Motivation 2 Beispiele

(i) Spiel: symmetrischer Würfel Modell: ZV’e X auf einem W’Raum (Ω, 𝔄, P), P (X = i) = \frac{1}{6}, i = 1, ..., 6

• Auszahlung = Augenzahl in Euro Frage: ’mittlere’ Auszahlung, erwartete Auszahlung (=Einsatz beim Spiel) E(X) = \frac{1}{6}1 + \frac{1}{6}2 + ... + \frac{1}{6}6 = \frac{1}{6}(1 + ... + 6) = 3, 5

• Auszahlung = Augenzahl zum Quadrat (in Euro) g(X) = X^{2} E(g(X)) = \frac{1}{6}1^{2} + \frac{1}{6}2^{2} + ... + \frac{1}{6}6^{2} = \frac{1}{6}(1^{2} + 2^{2} + ... + 6^{2}) = 15\frac{1}{6}

(ii) Roulette (Petersburger Paradoxon) (Nikolaus Bernoulli, 1695-1726) Strategie: Beim n-ten Spiel setzte 2^{n} Euro auf ’rot’, n ∈ ℕ_{0}. Bei Gewinn → STOP, Verlust: n → n + 1 Erstmalig ’rot’ beim n-ten Spiel bedeutet: Gesamteinsatz: 1 + 2 + 4 + 8 + ... + 2^{n} = 2^{n+1} − 1 Auszahlung: = 2^{n+1} Gewinn: = 1 Euro

Aber ist die eine sichere Gewinnstrategie? Modell: \{X_{n}\}_{n∈ℕ_{0}} stid, X ∼ Bin(1, \frac{1}{2}), \{X_{n} = 1\}: ’rot’ im n-ten Spiel. S = min\{n ∈ ℕ_{0}|X_{n} = 1\} : Zeitpunkt von erstmalig ’rot’; S ∼ Geo(\frac{1}{2}), P (S = k) = (1 − p)^{k}p, n ∈ ℕ_{0}

Auszahlung: A = 1, falls S < ∞, P (A = 1) = P (S < ∞) = ∑_{k=0}^{∞} P (S =

k) = 1. Erwartete Auszahlung: E(A) = 1P (A = 1) = 1 Ist eine sichere Gewinnstrategie, erfordert allerdings unendliches Kapital und auch unendliche Zeit. Ein genaueres Modell wäre: Annahme: max. Kapital= 2^{L}−1 Euro ⟹ höchstens L−1 Spiele spielbar Auszahlung: A = 1 ⟺ S ≤ L − 1 bzw. A = −(2^{L} − 1) ⟺ S ≥ L

P (A = 1) = P (S ≤ L − 1) = ∑_{k=0}^{L−1} \frac{1}{2^{k+1}} = 1 − \frac{1}{2^{L}}

P (A = −(2^{L} − 1)) = P (S ≥ L) = 1 − (P (A = 1)) = \frac{1}{2^{L}} Erwartete Auszahlung: E(A) = 1(1 − \frac{1}{2^{L}}) − (2^{L} − 1)\frac{1}{2^{L}} = 0

In beiden Beispielen: E(A) = ∑_{i} iP (X = i) bzw.

E(g(X)) = ∑_{i} g(i)P (X = i), i Trägerpunkte

Beachte bei der Erweiterung von E auf ∞ viele Trägerpunkte oder als abs-stetige ZV’e, daß Σ bzw. ∫ wohldefiniert sind.

Definition 6.1 (Erwartungswerte von ZV’en) g sei eine reellwertige Funktion.

a) X sei diskrete ZV’e mit Träger T ={x_{1}, x_{2}, ...}⊂ ℝ und Zähldichte f. Falls

∑_{i=1}^{∞} |g(x_{i})|f(x_{i}) < ∞, so heißt E(g(X)) = ∑_{i=1}^{∞} g(x_{i})f(x_{i}) = ∑_{i=1}^{∞} g(x_{i})P (X =

x_{i}) Erwartungswert von g(X).

b) X sei absolut-stetig mit Dichte f. Falls ∫_{−∞}^{∞} |g(x)|f(x)dx < ∞, so heißt

E(g(X)) = ∫_{−∞}^{∞} g(x)f(x)dx Erwartungswert von g(X).

Insbesondere g(X) = x (Identität):

E(X) = ∑_{i=1}^{∞} x_{i}P (X = x_{i}) bei diskrete ZV’en und

E(X) = ∫_{−∞}^{∞} xf(x)dx bei abs.-stetigen ZV’en

Für beliebige ZV’e kann der Erwartungswert mit Hilfe der Verteilungsfunktion wie folgt berechnet werden.

Lemma 6.2 X sei ZV’e mit Verteilungsfunktion F. Falls ∫_{−∞}^{0} F (x)dx < ∞ und

∫_{0}^{∞}(1 − F (x))dx < ∞, so gilt:

E(X) = − ∫_{−∞}^{0} F (x)dx + ∫_{0}^{∞}(1 − F (x))dx

Beweis: Nur für den Fall differenzierbarer Verteilungsfunktionen (F′(x) = f(x) ist eine Dichte)

∫_{−∞}^{0} F (x)dx = ∫_{−∞}^{0} \underbrace{F (x)}_{u} \underbrace{1}_{v′} dx = F (x)x|_{−∞}^{0} − ∫_{−∞}^{0} xf(x)dx = − ∫_{−∞}^{0} xf(x)dx

∫_{0}^{∞}(1−F (x))dx = ∫_{0}^{∞}\underbrace{(1 − F (x))}_{u} \underbrace{1}_{v′} dx = (1−F (x))x|_{0}^{∞}−∫_{0}^{∞}−f(x)xdx = ∫_{0}^{∞}f(x)xdx

Also E(X) = ∫_{−∞}^{0} xf(x)dx ∫_{0}^{∞}xf(x)dx = − ∫_{−∞}^{0} F (x)dx + ∫_{0}^{∞}(1 − F (x))dx □

Beispiel 6.3

a) Geometrische Verteilung, X ∼ Geo(p), P (X = k) = f(k)

= (1 − p)^{k}p, k ∈ ℕ_{0}, 0 < p ≤ 0 (keine Degenerierung)

E(X) = ∑_{k=0}^{∞} k(1 − p)^{k}p = ∑_{k=1}^{∞} k(1 − p)^{k}p =^{!} ∑_{k=0}^{∞}(k + 1)(1 − p)^{k+1}p

= (1 − p) \underbrace{∑_{k=0}^{∞} k(1 − p)^{k}p}_{E(X)} +(1 − p) \underbrace{∑_{k=0}^{∞}(1 − p)^{k}p}_{1}

Also: E(X) = (1−p)E(X)+(1−p) = E(X)−pE(X)+1−p ⟹ p(EX) = 1 − p und somit: p ∑_{k=0}^{∞} k(1 − p)^{k}p = 1 − p

E(X) = \frac{1−p}{p}, o < p ≤ 1

b) Exponentialverteilung, X ∼ Exp(λ), f(x) = λe^{−λx}, x ≥ 0 (λ > 0)

E(X) = ∫_{0}^{∞}\underbrace{x}_{u} \underbrace{λe^{−λx}}_{v′} dx = −xe^{−λx}|_{0}^{∞} + ∫_{0}^{∞}e^{−λx}dx = −\frac{1}{λ}e^{−λx}|_{0}^{∞} = \frac{1}{λ}

Also: E(X) = \frac{1}{λ}, falls X ∼ Exp(λ)

c) Normalverteilung, X ∼ N(μ, σ^{2}), μ ∈ ℝ, σ > 0, f(x) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} , x ∈ ℝ

E(X) = ∫_{−∞}^{∞} x\frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} dx = \frac{1}{\sqrt{2π}σ} ∫_{−∞}^{∞}(x + μ)e^{− \frac{x^{2}}{2σ^{2}}} dx

= \frac{1}{\sqrt{2π}σ}\underbrace{∫_{−∞}^{∞} xe^{− \frac{x^{2}}{2σ^{2}}} dx}_{0} +μ \underbrace{\frac{1}{\sqrt{2π}σ} ∫_{−∞}^{∞} e^{− \frac{x^{2}}{2σ^{2}}} dx}_{1} = μ

Lemma 6.4 X sei diskrete ZV’e mit Träger ℕ_{0}. Dann gilt

E(X) = ∑_{k=1}^{∞} P (X ≥ k) = ∑_{k=0}^{∞} P (X > k)

Beweis: Mit Lemma 6.2:

E(X) = ∫_{0}^{∞}(1 − F (x))dx = ∑_{k=0}^{∞} P (X > k) = ∑_{k=1}^{∞} P (X ≥ k) □

Satz 6.5 (Eigenschaften des Erwartungswertes) ^{13}

(auftretende EW sollen existieren)

a) E(aX + bY) = aE(X) + bE(Y) ∀a, b ∈ ℝ (Linearität)

b) X ≤ Y ⟹ E(X) ≤ E(Y) (Monotonie)

c) Für X = 1_{A}, A ∈ 𝔄, gilt E(X) = E(1_{A}) = P (A)

d) P (|X| > c) ≤ \frac{E(|X|)}{c} ∀c > 0 (Markoff-Ungleichung)

e) X, Y stoch. unabh. ⟹ E(XY) = E(X)E(Y)

13Im Folgenden wird manchmal für E(X) auch E[X] oder EX geschrieben, diese 3 Bez. sind äquivalent

Für den Beweis wird benötigt E(X), wobei Z = aX + b Erwartungwert von ZV’en werden wie folgt berechnet:

Satz 6.6 (X_{1}, ..., X_{n}) sei Z’Vektor. g : ℝ^{n} → ℝ^{1} meßbare Funktion

a) (X_{1}, ..., X_{n}) sei diskret mit Träger T ={t_{1}, t_{2}, ...}⊂ ℝ^{n}und Zähldichte f.

Falls ∑_{i=0}^{∞} |g(t_{i})|f(t_{i}) < ∞, so gilt: E(g(X_{1}, ..., X_{n})) = ∑_{i=0}^{∞} g(t_{i})f(t_{i}).

E(X, Y) = ∑_{i} ∑_{j} x_{i}y_{j}f_{(X,Y)}(x_{i}, y_{i}) siehe unten im Beweis von 6.5 e)

b) (X_{1}, ..., X_{n}) sei abs.-stetig mit Dichte f. Falls ∫ ⋯ ∫ |g(x_{1}, ..., x_{n})|f(x_{1}, ..., x_{n})dx_{1} ⋯ dx_{n} < ∞, so gilt: E(g(X_{1}, ..., X_{n})) = ∫ ⋯ ∫ g(x_{1}, ..., x_{n})f(x_{1}, ..., x_{n})dx_{1} ⋯ dx_{n}

Beweis: (von Satz 6.5)

a) Für abs.-stetige ZV:

E(aX + bY) = ∫ ∫ (ax + by)f_{(x,y)}(x, y)dxdy

= a ∫ ∫ xf_{(X,Y)}(x, y)dxdy + b ∫ ∫ yf_{(X,Y)}(x, y)fxfy

= a \underbrace{∫ xf_{X}(x)dx}_{E(X)} +b \underbrace{∫ yf_{Y} (y)dy}_{E(Y)} = aE(X) + bE(Y)

b) Übung

c) 1_{A}(ω) = \{ \begin{matrix}1 & : ω ∈ A \\ 0 & : ω ∉ A \end{matrix} somit E(1_{A}) = 1P (A) + 0P (\overline{A}) = P (A)

d) ∀ c > 0 : c · 1_{|X|>c} = \{ \begin{matrix}c & : |X| > c \\ 0 & : |X| ≤ c \end{matrix} \} ≤ |X|

E(c · 1_{|X|>c}) = c · P (|X| > c) ≤ E(X) Also folgt die Behauptung.

e) nur für diskrete ZV (stetiger Fall analog)

E(XY) = ∑_{i,j} x_{i}y_{i}f_{(X,Y)}(x_{i}, y_{j}) =^{s.u.} ∑_{i,j} x_{i}y_{i}f_{X}(x_{i})f_{Y} (y_{j})

= \underbrace{(∑_{i} x_{i}f_{X}(x_{i}))}_{E(X)} \underbrace{(∑_{j} y_{j}f_{Y} (y_{j}))}_{E(Y)} = E(X)E(Y) □

Definition 6.7 X, Y seien ZV, X und Y heißen unkorreliert, wenn E(XY) = E(X)E(Y)

Also mit Satz 6.5 e): X, Y s.u. ⟹ X, Y unkorreliert. Die Umkehrung hiervon ist im Allg. falsch. Transformationen von besonderer Bedeutung sind:

g(X) = X^{k}, k ∈ ℕ

und

g(X, Y) = (X − EX)(Y − EY)

Definition 6.8 X, Y seien ZV, alle auftretenden E-Werte sollen existieren.

a) E(X^{k}), k ∈ ℕ_{0}, heißt k-tes Moment von X (k=1: E-Wert von X)

b) E((X − EX)^{k}) heißt k-tes zentrales Moment Insbes. k = 2: E((X − EX)^{2}) = V (X) = V ar(X) heißt Varianz^{14} von X \sqrt{V ar(X)} heißt Standartabweichung von X

c) Cov(X, Y) = E((X − EX)(Y − EY)) heißt Kovarianz von X und Y. Corr(X, Y) = \frac{Cov(X,Y)}{\sqrt{V ar(X)V ar(Y)}} heißt Korrelation von X und Y.

Lemma 6.9 X, Y, X_{1}, ..., X_{n} seien ZV, auftretende Moment sollen existieren.

a) Cov(X, Y) = E(XY) − E(X)E(Y)

Cov(X, X) = V ar(X), V ar(X) = E(X^{2}) − (E(X))^{2}

b) V ar(aX + b) = a^{2}V ar(X) ∀a, b ∈ ℝ

c) V ar(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} V ar(X_{i}) + 2 ∑_{i<j} Cov(X_{i}, X_{j})

V ar(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} V ar(X_{i}), falls X_{1}, ..., X_{n} p.w. unkorreliert.

d) |Cov(X, Y)| ≤ \sqrt{V ar(X)V ar(Y)} (Cauchy-Schwarz-Ungleichung) Insbesondere folgt: |Corr(X, Y) ≤ 1|

Beweis:

a) Cov(X, X) = E[(X − EX)(X − EX)] = E[(X − EX)^{2}] = V ar(X)

Cov(X, Y) = E[(X − EX)(Y − EY)] = E[XY − X(EY) − Y (EX) + (EX)(EX)] = E(XY)−(EY)(EX)−(EX)(EY)+(EX)(EY) = E(XY)− (EX)(EY)

V ar(X) = Cov(X, X) = E(X^{2}) − (EX)^{2}

b) V ar(aX + b) = E[((aX + b) − E(aX + b))^{2}] = E(aX + b − a(EX) − b)^{2} = a^{2}E[(X − EX)^{2}] = a − V ar(X)

c) V ar(∑_{i=1}^{n} X_{i}) = E[(∑_{i=1}^{n} X_{i})^{2}] − (E(∑_{i=1}^{n}))^{2} = ∑_{i,j} E(X_{i}X_{j}) − ∑_{i,j}(EX_{i})(EX_{j}) =

∑_{i} V ar(X_{i})+2 ∑_{i<j} E(X_{i}X_{j})−(EX_{i})(EX_{j}) = ∑_{i} V ar(X_{i})+2 ∑_{i<j} Cov(X_{i}, X_{j})

14Die Varianz wird auch als Streuungsmaß bezeichnet

d) Hierbei die Existenz von Dichten

|E(XY)| = | ∫ ∫ xyf_{(X,Y)}dxdy| ≤ ∫ ∫ |x||y|f_{(X,Y)}dxdy ≤^{Cauchy−Schw.−Ungl.}

\sqrt{(∫ ∫ x^{2}f(x, y)dxdy)(∫ ∫ y^{2}f(x, y)dxdy)} = \sqrt{(∫ x^{2}f_{X}(x)dx)(∫ y^{2}f_{X}(x)dx)}

= \sqrt{(EX^{2})(EY^{2})} Die Behauptung erfolgt durch Ersetzen: X ← X − EX und Y ← Y − EY □

Interpretation der Größen aus Lemma 6.9:

E(X)  : mittlerer Wert
V ar(X)  : mittlere quadratische Abweichung vom Erwartungswert,

Maßzahl für die Streuung einer ZV um den E-Wert

Cov(X, Y) : Korrekturterm bei der Varianzberechnung von Summen von ZV.

V ar(X, Y) = V ar(X) + V ar(Y) + 2Cov(X, Y)

Corr(X, Y) : Maßzahl für den linearen Zusammenhang zwischen ZV. Es gilt:

∃a, b ∈ ℝ : P (X = aY + b) = 1 ⟺ |Corr(X, Y)| = 1

Satz 6.10 G_{X_{1}}(z), G_{X_{2}}(z) seien erzeugende Funktionen von s.u. diskreten ZV X_{1}, X_{2}, bzw. L_{X_{1}}(s), L_{X_{2}}(s) die LaPlace-Transformierten von s.u. abs.-stetigen ZV X_{1}, X_{2} ≥ 0. Dann gilt:

G_{X_{1}+X_{2}}(z) = G_{X_{1}}(z)G_{X_{2}}(z), |z| ≤ 1

bzw

L_{X_{1}+X_{2}}(s) = L_{X_{1}}(s)L_{X_{2}}(s), s ≥ 0

Beweis: Es gilt:

G_{X}(z) = ∑_{k=0}^{∞} p_{k}z^{k} = E(z^{k}) und L_{X}(s) = ∫_{0}^{∞}e^{−sx}f(x)dx = E(e^{−sx}) Also:

G_{X_{1}+X_{2}} = E(z^{X_{1}+X_{2}}) = E(z^{X_{1}}z^{X_{2}}) =^{s.u.} E(z^{X_{1}})E(z^{X_{2}}) = G_{X_{1}}(z)G_{X_{2}}(z), |z| ≤ 1

Und im stetigen Fall gilt dann:

L_{X_{1}+X_{2}}(s) = E(e^{−s(X_{1}+X_{2})}) = E(e^{−sX_{1}}e^{−sX_{2}}) =^{s.u.} E(e^{−sX_{1}})E(e^{−sX_{2}})

= L_{X_{1}}(s)L_{X_{2}}(s), s ≥ 0

Beispiel 6.11

a) X ∼ Bin(n, p). Dann G_{X}(z) = (1−p+pz)^{n}, |z| ≤ 1. X_{1} ∼ Bin(n_{1}, p), X_{2} ∼ Bin(n_{2}, p) s.u. ⟹ G_{X_{1}+X_{2}}(z) = (1−p+pz)^{n_{1}}(1−p+pz)^{n_{2}} = (1−p+pz)^{n_{1}+n_{2}} Dies ist gerade die erzeugende Funktion einer Bin(n_{1} + n_{2}, p)-Verteilung.

b) X_{1} ∼ Exp(λ), L_{X_{1}}(s) = \frac{λ}{s+λ}, s ≥ 0 X_{2} ∼ Exp(μ), L_{X_{2}}(s) = \frac{μ}{s+μ}, s ≥ 0 L_{X_{1}+X_{2}}(s) = \frac{λ}{s+λ} \frac{μ}{s+μ} = \frac{μ}{μ−λ} \frac{λ}{s+λ} \frac{λ}{λ−μ} \frac{λ}{s+λ} (1) Die Dichte f(x) = (\frac{μ}{μ−λ}λe^{−λx} + \frac{λ}{λ−μ}μe^{−μx})1_{[0,∞)}(x) (2) hat LaPlace-Transformierte (1); X_{1} + X_{2} besitzt die Dichte (2)

Satz 6.12 (Transformierte und Momente)

a) G(z) = ∑_{k=0}^{∞} p_{k}z^{k} = ∑_{k=0}^{∞} P (X = k)z^{k} sei erzeugende Funktion einer diskreten

ZV X mit Träger ℕ_{0}. Dann gilt:

E(X) = G′(1), E(X(X − 1)...(X − k + 1)) = G^{(k)}(1)

G^{(k)}(1) ist das k-te faktorielle Moment.

Also: E(x^{2}) = G′(1)+G′′(1); Beachte: G^{(i)}(1) = lim_{z↑1} G^{(i)}(z), falls G(z) nicht

ex. für z > 1

V ar(X) = G′(1) + G′′(1) − (G′(1))^{2}

b) L(s) = ∫_{0}^{∞}e^{−sx}f(x)dx sei LaPlace-Transformierte einer abs.-stetigen ZV X >

0 mit Dichte f. Dann gilt:

E(X) = −L′(0), E(X^{k}) = (−1)^{k}L^{(k)}(0)

V ar(X) = L′′(0) − (L′(0))^{2}

Beweis: Nur a), E(X):

G′(z) = ∑_{k=0}^{∞} p_{k}kz^{k−1}, |z| < 1 (gliederweise Differenzieren).

Also: G′(1) = ∑_{k=0}^{∞} p_{k}k = E(X) □

Beispiel 6.13 (Berechnungen von Momenten)

a) X ∼ Bin(n, p), 0 ≤ p ≤ 1, Berechnung des Erwartungswertes:

1. EX = ∑_{k=0}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k} = ... = np

2. X ∼ ∑_{i=1}^{n} X_{i}, X_{i}stid ∼ Bin(1, p)

E(X_{i}) = 1p + 0(1 − p) = p

E(X) = E(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n}(E(X_{i})) = ∑_{i=1}^{n} p = np

3. Erzeugende Funktion G(z) = (pz + 1 − p)^{n} G′(z) = n(1 + pz − z)^{n−1}p G′(1) = np = E(X)

V ar(X) wie in 2):

V ar(X) = V ar(∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} V ar(X_{i})

Es ist: V ar(X_{i}) = E(X_{i}^{2}) − (E(X_{i}))^{2} = E(X_{i}^{2}) − p^{2} E(X_{i}^{2}) = 1^{2}p + 0^{2}(1 − p) = p Also V ar(X_{i}) = p − p^{2} = p(1 − p)

Somit: ∑_{i=1}^{n} V ar(X_{i}) = ∑_{i=1}^{n} p(1 − p) = np(1 − p)

b) X ∼ Exp(λ), λ > 0 L_{X}(s) = \frac{λ}{s+λ} L_{X}^{(k)}(s) = (−1)^{k}k!\frac{λ}{(s+λ)^{k+1}}

L_{X}^{(k)}(0) = (−1)^{k}k!λ^{−k} Also: E(X^{2}) = k!λ^{−k}, E(X) = \frac{1}{λ}, E(X^{2}) = \frac{2}{λ^{2}} V ar(X) = E(X^{2}) − (E(X))^{2} = \frac{2}{λ^{2}} \frac{1}{λ^{2}} = \frac{1}{λ^{2}}

c) X ∼ N(0, 1), d.h. normalverteilte ZV mit μ = 0, σ^{2} = 1 Dann E(X) = 0

E(X^{2}) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{∞} x^{2}e^{− \frac{x^{2}}{2}} dx = \frac{2}{\sqrt{2π}} ∫_{0}^{∞}x^{2}e^{− \frac{x^{2}}{2}} dx

(Substitution: \frac{x^{2}}{2} =: y, dx = \frac{dy}{\sqrt{2y}})

= \frac{2}{\sqrt{2π}} ∫_{0}^{∞}2ye^{−y} \frac{1}{\sqrt{2y}}dy = \underbrace{\frac{2}{\sqrt{π}} ∫_{0}^{∞}y^{\frac{1}{2}} e^{−y}dy}_{Integral über die Dichte einer Γ( \frac{3}{2} ,1)−Verteilung} = 1

Es folgt: V ar(X) = E(X^{2}) − (EX)^{2} = 1 − 0 = 1 (Varianz einer Standart-Normalverteilung ist 1)

Y = σX + μ besitzt die Dichte f_{Y} (y) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} , d.h. Y ∼ N(μ, σ^{2})

Also: E(Y) = E(σX + μ) = σ \underbrace{E(X)}_{=0} +μ = μ

V ar(Y) = V ar(σX + μ) = σ^{2} \underbrace{V ar(X)}_{=1}?σ^{2}

Also: Bei N(μ, σ^{2}) ist μ der Erwartungswert und σ^{2} die Varianz.

7 Bedingte Verteilungen und Erwartungswerte

a) \underline{diskreter Fall} X, Y diskrete ZV mit Träger T_{X}, T_{Y}, gemeinsamer Dichte f_{X,Y} = P (X = x, Y = y), (x, y) ∈ T_{X} × T_{Y} Def. bedingte Zähldichte von X unter Y = y (analog zur Def. 2.15)

f_{X|Y} (x|y) = \{ \begin{matrix}\frac{P (X=x,Y =y)}{P (Y =y)} = \frac{f_{(X,Y )}(x,y)}{f_{Y} (y)} & : f_{Y} (y) > 0 \\ f_{X}(x) (oder beliebige andere Zähldichte) & : f_{Y} (y) = 0 \end{matrix}

Beachte: f_{X|Y} (x|y) \underline{ist} eine Zähldichte ∀y ∈ T_{y} fest. Die zugehörige Verteilung heißt bedingte Verteilung von X unter Y = y, also P (X ∈ A|Y = y) =

P^{X|Y =y}(A) = ∑_{x∈A} f_{X|Y} (x|y), A ∈ 𝔄, y ∈ T_{Y}.

Satz von der totalen W’keit (s. Satz 2.15) liefert :

f_{X}(x) = P (X = x) = ∑_{y∈T_{Y}} f_{X|Y} (x|y)f_{Y} (y), x ∈ T_{X} (⋆)

Beispiel 7.1 Seien f_{X|N}(k|n) = \binom{n}{k}p^{k}(1 − p)^{n−k}, k = 0, ..., n, also P^{X|N=n} = Bin(n, p) und N ∼ P oi(λ). 2 stufiges Experiment:

P (X = k) = ∑_{n=0}^{∞} P (X = k|N = n)P (N = n) = ∑_{n=k}^{∞} P (X = k|N = n)P (N = n)

= ∑_{n=k}^{∞} \frac{n!}{k!(n − k)!}p^{k}(1 − p)^{n−k}e^{−λ} \frac{λ^{n}}{n!} = e^{−λ} \frac{λ^{k}p^{k}}{k!} \underbrace{∑_{n=k}^{∞} \frac{(λ(1 − p)^{n−k})}{(n − k)!}}_{e^{λ(1−p)}}

= \frac{(λp)^{k}}{k!} e^{−λp} ∼ P oi(λp)

d.h.: X ∼ P oi(λp)

Betrachte Erwartungswert bzgl. der bedingten Verteilung: E(g(X)|Y = y) = ∑_{x∈T_{X}} g(x)f_{X|Y} (x|y), y ∈ T_{Y}, heißt bedingter Erwartungs-

wert von g(x) unter Y = y (falls existent) Berechnung des Erwartungswertes mit den bedingten Erwartungswerten wie folgt:

E(g(X)) = ∑_{x∈T_{X}} g(x)f_{X}(x) = ∑_{x∈T_{X}} g(x) ∑_{y∈T_{Y}} f_{X|Y} (x|y)f_{Y} (y)
= ∑_{y∈T_{Y}} \underbrace{( ∑_{x∈T_{X}} g(x)f_{X|Y} (x|y))}_{E(g(X)|Y =y)} f_{Y} (y) = ∑_{y∈T_{Y}} E(g(X)|Y = y)f_{Y} (y)

b) \underline{absolut-stetiger Fall} X, Y abs.-stetige ZV mit gemischter Dichte f_{(X,Y)}(x, y). Def. bedingte Dichte von X unter Y = y (analog zur Def. 2.15) durch:

f_{X|Y} (x|y) = \{ \begin{matrix}\frac{f_{X,Y} (x,y)}{f_{Y} (y)} & : f_{Y} (y) > 0 \\ f_{X}(x) (oder beliebige andere Dichte) & : f_{Y} (y) = 0 \end{matrix}

Beachte: f_{X|Y} (x|y) \underline{ist} eine Dichte ∀y ∈ ℝ. Die zugehörige Verteilung heißt bedingte Verteilung von X unter Y = y, also P (X ∈ A|Y = y) = P^{X|Y =y}(A) =

∫_{A} f_{X|Y} (x|y)dx, A ∈ 𝔄, y ∈ ℝ.

Speziell heißt:

F_{X|Y =y}(x) = P (X ≤ x|Y = y) = ∫_{−∞}^{∞} f_{X|Y} (z|y)dz bedingte Verteilungsfunkti-

on von X unter Y = y. Wie bei A) (⋆): f_{X}(x) = ∫_{−∞}^{∞} f_{X|Y} (x|y)f_{Y} (y)dy

Analog zum diskreten Fall E(g(X)|Y = y) = ∫ g(x)f_{X|Y} (x|y)dx, y ∈ ℝ heißt bedingter Erwartungswert von g(x) unter Y = y

E(g(X)) = ∫ g(x)f_{X}(x)dx = ∫ g(x) ∫ f_{X|Y} (x|y)f_{Y} (y)dydx
= ∫ \underbrace{(∫ g(x)f_{X|Y} (x|y)dx)}_{E(g(X)|Y =y)} f_{Y} (y)dy = ∫ E(g(X)|Y = y)f_{Y} (y)dy

c) \underline{gemischte Fälle} (abs.-stetig/diskret werden analog behandelt)

Beispiel 7.2 (Wartezeit in Warteschlangensystem) N: Anzahl der Kunden in der Warteschlange, N ∼ Geo(p) X_{n}, n ∈ ℕ: Bedienzeit von Kunde n, X_{n} stid ∼ Exp(λ)

Gesucht: W = ∑_{i=1}^{N+1} X_{i} : Gesamtwartezeit für neu ankommende Kunden.

Bekannt: P^{W |N=n} = Erl(n + 1, λ). Es gilt:

P (W ≤ t) = ∑_{n=0}^{∞} P (W ≤ t|N = n)P (N = n)

= ∑_{n=0}^{∞} ∫_{0}^{t} \frac{λ^{n+1}}{n!} y^{n}e^{−λy}dy(1 − p)^{n}p = ∫_{0}^{t} λpe^{−λy} ∑_{n=0}^{∞} \frac{(λy(1 − p))^{n}}{n!} dy

= ∫_{0}^{t} λpe^{−λy}e^{λy(1−p)}dy = ∫_{0}^{t} λpe^{−λpy}dy = 1 − e^{−λpt}, t ≥ 0

Also: W ∼ Exp(λp) mit E(W) = \frac{1}{λp} Beispiel 7.3 (Ankünfte eines PP in zufälligen Intervallen)

\begin{matrix}N(t) : P P, λ > 0 \\ Y ∼ Exp(μ), μ > 0 \end{matrix} \}s.u. [figure: •; •; •; •; •; t; Y]

Gesucht: Anzahl der Ankünfte in einem zufälligen Intervall [0, Y], N(Y)

N(Y) = max{n ∈ ℕ_{0}| ∑_{i=1}^{n} ≤ Y }, wobei X_{i} stid ∼ Exp(λ)

Bekannt: P^{N(Y)|Y =t} = P oi(λt) ∀t > 0

P (N(Y) = k) = ∫_{0}^{∞}P (N(Y) = k|Y = t)μe^{−μt} = ∫_{0}^{∞} \frac{(λt)^{k}}{k!} e^{−λt}μe^{−μt}dt
= \frac{λ^{k}μ}{k!} ∫_{0}^{∞}t^{k}e^{−(λ+μ)t}dt  (nun geschickt erweitern!)
= \frac{λ^{k}μ}{k!} \frac{k!}{(λ + μ)^{k+1}} \underbrace{∫_{0}^{∞} \frac{(λ + μ)^{k+1}}{k!} t^{k}e^{−(λ+μ)t}dt}_{=1, da Γ−Dichte}

= \frac{μ}{λ + μ} (\frac{λ}{λ + μ})^{k} , k ∈ ℕ_{0}
= (1 − \frac{μ}{λ + μ})^{k} \frac{μ}{λ + μ}

Also: N(Y) ∼ Geo (\frac{μ}{λ+μ})

8 Grenzwertsätze

Zur Motivation:

1. unendlicher Münzwurf, W’keit für Kopf = p (unbekannt)

Frage: Ist die Münze fair? Welches p? Idee: Werfe die Münze sehr oft in unabhängigen Versuchen. h_{n} = \frac{Anzahl der W ürfe mit Kopf}{n=Anzahl aller W ürfe} Frage: Konvergiert h_{n} gegen p (n → ∞)?

2. Wartesystem: Anzahl der in einem Zeitintervall ankommenden Kunden X_{i} ∼ P oi(λ). (Zeitintervall mit Länge 1)

Anzahl der bis zur Zeit n ankommende Kunden: ∑_{i=1}^{n} X_{i} ∼ P oi(nλ)

Frage: Welche Verteilung ergibt sich asymptotisch (n groß)?

∃ Konstanten a_{n}, b_{n} : \frac{Y_{n}−a_{n}}{b_{n}} ∼^{as} N(0, 1)

Gilt die Aussage, wenn X_{i} ∼ Bin(k, p)? Ja! Auch, wenn die Verteilung der X_{i} unbekannt.

Definition 8.1 {X_{i}}_{n} ∈ ℕ sei Folge von ZV, X ZV auf W’raum (Ω, 𝔄, P). Die Folge heißt

a) P-fast-sicher konvergent gegen X, wenn

P ({ω| lim_{n→∞} X_{n}(ω) = X(ω)}) = P ( lim_{n→∞} X_{n} = X) = 1

Bez.: X_{n} ⟶_{n→∞}X P-fs, lim_{n→∞} X_{n} = X P-fs.

b) P-stochastisch konvergent gegen X, wenn

lim_{n→∞} P (|X_{n} − X| > ϵ) = 0 ∀ ϵ > 0

Bez.: X_{n} ⟶_{n→∞}X P-stoch, lim_{n→∞} X_{n} = X P-stoch.

c) schwach- oder verteilungskonvergent gegen X, wenn

lim_{n→∞} F_{n}(x) = F (x) f.a. Stetigkeitspunkte von F

wobei X_{n} ∼ F_{n}, X ∼ F (Grenzverteilungsfunktion)

Bez.: X_{n} ∼^{as} X, X_{n} ∼^{𝔇} X

Lemma 8.2 P (lim sup_{n→∞}{|X_{n} − X| > ϵ}) = 0 ⟺ X_{n} ⟶_{n→∞}X P-fs

Beweis: ′′ ⇒′′ ∀ϵ = \frac{1}{k} : P (|X_{n} − X| > \frac{1}{k} für unendlich viele n) = 0 Es folgt: P (⋃_{k}\{ω | |X_{n}(ω) − X(ω)| > \frac{1}{k} für unendlich viele n\}) ≤ ∑_{k} P (...) = 0

P (⋃_{k}\{ω|...) =\{ω|∃k∀n_{0}∃n ≥ n_{0} : |X_{n}(ω) − X(ω)| > \frac{1}{k}\} Komplement liefert:

P (\{ω|∀k∃n_{0}∀n ≥ n_{0} : |X_{n}(ω) − X(ω)| ≤ \frac{1}{k}\}) = 1, d.h. X_{n} ⟶ X P-fs

′′ ⇐′′ trivial

Satz 8.3 (Zusammenhänge zwischen Konvergenzarten)

a) X_{n} ⟶ X P-fs ⟹^{(i)} X_{n} ⟶ X P-stoch ⟹^{(ii)} X_{n} ⟶^{𝔇} X

(Umkehrungen sind i.A. falsch)

b) ∑_{n=1}^{∞} P (|X_{n} − X| > ϵ) < ∞ ∀ϵ > 0 ⟹ X_{n} ⟶ X P-fs

(”Schnelle” stoch. Konvergenz impliziert fast sichere Konvergenz)

Beweis:

a) (i) ∀ϵ > 0 gilt: 0 ≤ lim_{n→∞} P (|X_{n}−X| > ϵ) ≤ lim_{n→∞} P ( ⋃_{m≥n}{|X_{n}−X| > ϵ})

=^{Stetigkeit} P ( ⋂_{n=1}^{∞} ⋃_{m=n}^{∞}{|X_{m} − X| > ϵ}) = P (lim sup_{n→∞} |X_{n} − X| > ϵ})

= P (|X_{n} − X| > ϵ für unendlich viele n) = 0, da X_{n} ⟶ X P-fs (wg. Lemma 8.2)

(ii) Mathar & Pfeiffer, Lemma 2.3.2 Seite 137

b) Sei ϵ > 0. Mit Borel-Cantelli-Lemma und Lemma 8.2:

∑_{N=1}^{∞} P (|X_{n} − X| > ϵ) ⟹^{B.C.L.} P (lim sup_{n→∞}{|X_{n} − X| > ϵ}) = 0 ⟹^{8.2} Beh. □

Lemma 8.4 (Tschebyscheff-Ungleichung) X sei ZV mit V ar(X) < ∞. Dann gilt ∀ ϵ > 0 :

P (|X − EX| > ϵ) ≤ \frac{V ar(X)}{ϵ^{2}}

Beweis: Mit Markov-Ungleichung (6.5 d)): P (|X| > c) ≤ \frac{EX}{c} ∀c > 0 P (|X − EX| > ϵ) = P ((X − EX)^{2} > ϵ^{2}) ≤ \frac{E(|X−EX|^{2})}{ϵ^{2}} = \frac{V ar(X)}{ϵ^{2}} □

Satz 8.5 (Starkes Gesetz großer Zahlen, SGGZ) {X_{n}} n ∈ ℕ sei eine Folge von pw. unkorrelierten ZV auf einem Wahrscheinlichkeitsraum (Ω, 𝔄, P) mit V ar(X_{n}) ≤ M < ∞ ∀n ∈ ℕ. Dann gilt:

\frac{1}{n} ∑_{i=1}^{n}(X_{i} − E(X_{i})) ⟶_{n→∞}0 P-fs

Beweis: O.B.d.A. E(X_{i}) = 0 ∀i, X_{i} pw. unkorreliert. Setze \overline{X}_{n} = \frac{1}{n} ∑_{i=1}^{n} X_{i}.

Zeige ∀ϵ > 0 : ∑_{i=1}^{∞} P (|\overline{X}_{i}| > ϵ) < ∞. Dann gilt \overline{X}_{n} ⟶ 0 P-fs (8.3 b)

Betrachte zunächst die Folge der Quadrate: \overline{X}_{n^{2}}. Mit Tschebyscheff-Ungleichung folgt: P (|\overline{X}_{n^{2}}| > ϵ) ≤ \frac{V ar(\overline{X}_{n^{2}})}{ϵ^{2}} ≤ \frac{\frac{1}{n^{4}} n^{2}M}{ϵ^{2}} = \frac{M}{n^{2}ϵ^{2}} ∀n ∈ ℕ, ϵ > 0. Also:

∑_{n=1}^{∞} P (|\overline{X}_{n^{2}}| > ϵ) ≤ ∑_{n=1}^{∞} \frac{M}{n^{2}ϵ^{2}} = \frac{M}{ϵ^{2}} ∑_{n=1}^{∞} \frac{1}{n^{2}} < ∞ ⟹ \overline{X}_{n^{2}} ⟶ 0 P-fs

Nun folgt der Nachweis für die Werte zwischen den Quadraten: Dazu sei n = n(k) def. durch n^{2} ≤ k ≤ (n + 1)^{2}, k ∈ ℕ.

V ar(k\overline{X}_{k} − n^{2}\overline{X}_{n^{2}}) = V ar( ∑_{i=n^{2}+1}^{k} X_{i}) ≤ (k − n^{2})M

{V ar(k\overline{X}_{k} − n^{2}\overline{X}_{n^{2}}) =^{V or.} V ar(k \frac{1}{k} ∑_{i=1}^{k} X_{i} − n^{2} \frac{1}{n^{2}} ∑_{i=1}^{n^{2}} X_{i}) = V ar(∑_{i=1}^{k} X_{i} − ∑_{i=1}^{n^{2}} X_{i}) \atop = V ar( ∑_{i=n^{2}+1}^{k}) = ∑_{i=n^{2}+1}^{k} V ar(X_{i}) ≤ ∑_{i=n^{2}+1}^{k} M = (k − n^{2})M}

Es folgt (Tschebyscheff): P (|k\overline{X}_{k} − n^{2}\overline{X}_{n^{2}}| ≥ ϵn^{2}) ≤ \frac{(k−n^{2})M}{ϵ^{2}n^{4}} also mit Satz 8.3 b: \frac{k}{n(k)^{2}} \overline{X}_{k} − \overline{X}_{n(k)^{2}} ⟶_{k→∞}0 P-fs

Insgesamt ∃F_{1} ∈ 𝔄, P (F_{1}) = 1 ∀ω ∈ 𝔽_{1} : \overline{X}_{n^{2}} ⟶ 0 (n → ∞) ∃F_{2} ∈ 𝔄, P (F_{2}) = 1 ∀ω ∈ 𝔽_{2} : \frac{k}{n(k)^{2}} \overline{X}_{k} − \overline{X}_{n(k)^{2}} ⟶ 0 (k → ∞) \frac{k}{n(k)^{2}} ⟶ 1 (k → ∞) Es folgt: \overline{X}_{n} ⟶ 0 ∀ω ∈ F_{1} ∩ F_{2}, wobei:

P (F_{1} ∩ F_{2}) = \underbrace{P (F_{1})}_{1} + \underbrace{P (F_{2})}_{1} − \underbrace{P (F_{1} ∪ F_{2})}_{1} = 1

D.h.: \overline{X}_{n} ⟶ 0 P-fs □

Bemerkung 8.6

a) Wegen Satz 8.3 (f.s. Konvergenz impliziert stochastische):

\frac{1}{n} ∑_{i=1}^{n}(X_{i} − EX_{i}) ⟶_{n→∞} P-fs ⟹ \frac{1}{n} ∑_{i=1}^{n}(X_{i} − EX_{i}) ⟶_{n→∞}0 P-stoch

Die rechte Aussage heißt schwaches Gesetz großer Zahlen

b) Das SGGZ gilt auch, wenn {X_{n}}_{n∈ℕ} stid und E(X_{1}) existiert (ohne die Existenz der Varianz zu fordern). Dann gilt mit μ = E(X_{i}) :

\frac{1}{n} ∑_{i=1}^{n} X_{i} ⟶_{n→∞}μ P-fs

Beweis: sehr aufwendig... □

Beispiel 8.7 (Anwendung des SGGZ) {X_{n}}_{n∈ℕ} sei Folge von stid ZV’en, A ∈ B^{1}, P (X_{n} ∈ A) = p ∀i ∈ ℕ 48 8 GRENZWERTSÄTZE

∑_{i=1}^{n} 1_{A}(X_{i}) : Anzahl des Auftretens {X_{i} ∈ A} bis zum n-ten Versuch. Y_{i} := 1_{A}(X_{i}) sind stid mit E(Y_{i}) = P (X_{i} ∈ A) = p ∀i ∈ ℕ Mit SGGZ: \frac{1}{n} ∑_{i=1}^{n} Y_{i} = \frac{1}{n} \underbrace{∑_{i=1}^{n} 1_{A}(X_{i})}_{rel. Häufigkeit des Auftretens von \{X_{i}∈ A\}} ⟶ p (für n → 0) P-fs

Beispiel 8.8 {X_{n}}_{n∈ℕ} sei stid Folge von ZV’en. μ = EX_{i}, σ^{2} = V ar(X_{i}). Dann \frac{1}{n} ∑_{i=1}^{n} X_{i} ⟶_{n→∞}μ P-fs (d.h. \overline{X}_{n} ist stark konsistenter Schätzer für μ) \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} ⟶_{n→∞}E(X_{1}^{2}) P-fs (wegen SGGZ; ersetze X_{i} durch X_{i}^{2})

\frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X}_{n})^{2} = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − (\overline{X}_{n})^{2} ⟶ E(X_{1}^{2}) − μ^{2} = V ar(X_{1}) = σ^{2} (wegen

SGGZ; d.h. \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X}_{n})^{2} ist ein stark konsistenter Schätzer für σ^{2}) Satz 8.9 (Zentraler Grenzwertsatz, ZGWS) {X_{n}}_{n∈ℕ} sei stid Folge, μ = E(X_{n}), σ^{2} = V ar(X_{n}) existiere (σ^{2} > 0) Dann gilt

\frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ∼^{as} N(0, 1) (n → ∞),

d.h. P (\frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ≤ z) ⟶ Φ(z) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{z} e^{− \frac{x^{2}}{2}} dx ∀z ∈ ℝ

Beweis: z.B. Casella & Berger 216 ff.

Für S_{n} = ∑_{i=1}^{n} X_{i} gilt E(S_{n}) = nμ, V ar(S_{n}) = nσ^{2}

\frac{S_{n}−nμ}{\sqrt{nσ^{2}}} = \frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ∼^{as} N(0, 1) (n → ∞)

Dies bezeichnet man als die standardisierte Summe, und diese konvergiert gegen die Standardnormalverteilung (N(0, 1)) Beispiel 8.10 {X_{n}}_{n_{∈}ℕ} stid ∼ Bin(1, p), 0<p<1. Es gilt: E(X_{n}) = p, V ar(X_{n}) = p(1 − p)

Mit ZGWS: ^{\frac{∑_{i=1}^{n} X_{i}−np}{\sqrt{np(1−p)}}} ∼^{as} N(0, 1) (n → ∞)

Also:

P (∑_{i=1}^{n} X_{i} ≤ z) = [∑_{k=0}^{⌊z⌋} \binom{n}{k}p^{k}(1 − p)^{n−k} (sehr aufwendig für große n)]

= P (\underbrace{\frac{∑_{i=1}^{n} X_{i} − np}{\sqrt{np(1 − p)}}}_{∼^{as}N(0,1)} ≤ \frac{z − np}{\sqrt{np(1 − p)}})

≈ Φ (\frac{z − np}{\sqrt{np(1 − p)}}) , wobei Φ(z) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{z} e^{− \frac{x^{2}}{2}} dx

Bemerkenswert ist, daß die Konvergenz unabhängig davon ist, welche spezielle Gestalt die ursprüngliche Verteilung der Folge {X_{n}}_{n∈ℕ} besitzt, und diese lediglich über die beiden ersten Momente Erwartungswert und Varianz als zentrierende Größen in die Konvergenz eingeht. Dies erklärt, warum man häufig Normalverteilungsannahmen in solchen stochastischen Modellen findet, in denen die Summen unabhängiger ZV eine Rolle spielen (siehe Mathar/Pfeifer, S. 143)

Allgemein gilt für eine Folge von stid ZV’en: ({X_{n}}_{n_{∈}ℕ} stid):

P (∑_{i=1}^{n} X_{i} ≤ z) = P (^{\frac{∑_{i=1}^{n} X_{i}−n·E(X_{1})}{\sqrt{n·V ar(X_{1})}}} ≤ \frac{z−n·E(X_{1})}{\sqrt{n·V ar(X_{1})}} ) ≈^{ZGW S}Φ (\frac{z−n·E(X_{1})}{\sqrt{n·V ar(X_{1})}})

(Approximation ist ”brauchbar”, falls n ≥ 30)

Anwendung: Lieferung von n Teilen, Gut-Schlecht-Prüfung, W’keit, für Defekt: p = 0, 08. Gesucht: W’keit, daß Lieferung mehr als 9% defekt!

P (∑_{i=1}^{n} X_{i} > 0, 09n) = 1 − P (∑_{i=1}^{n} X_{i} ≤ 0, 09n)

≈ 1 − Φ (\frac{0, 09n − 0, 08n}{\sqrt{n0, 08(1 − 0, 08)}})

= 1 − Φ (\frac{0, 01}{\sqrt{0, 08 · 0, 92}}\sqrt{n})
= 1 − Φ (0, 03686\sqrt{n})
= ...

9 Schätzfunktionen und Konfidenzintervalle

Zur Motivation:

a) Werfe Münze in unabh. Versuchen, W’keit für Kopf= p (unbekannt). Schätze p. Modell: X_{1}, ..., X_{n} stid Bin(1, p).

p̂ = p̂(X_{1}, ..., X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} ⟶ p P-fs (bekannt, SGGZ) ist ein

vernünftiger Schätzer für p. Beachte: p̂(X_{1}, ..., X_{n}) ist eine ZV. Setzt man Realisationen x_{1}, ..., x_{n} ein,

so erhält man den Schätzwert \overline{x} = \frac{1}{n} ∑_{i=1}^{n} x_{i}.

b) X_{1}, ..., X_{n} stid Exp(λ). Familie der Exp−Verteilung mit Parameter λ, parametrische Familie.

ϑ̂ = \frac{1}{n} ∑_{i=1}^{n} ⟶ \frac{1}{λ} = E(X_{1}) P-fs (SGGZ)

ϑ̂ ist ein Schätzer für g(λ)?\frac{1}{λ} = E(X_{1})

c) In a) und b) wird der Erwartungswert durch das arithmetische Mittel geschätzt. Auch schwierigere Situationen, z.B.: M: Anzahl der regelmäßigen Besucher einer Web-Seite, unbekannt. Schätze M! Wie? Intuitives Verfahren:

• Merke die Adressen von n Besuchern (Log-File), ’markiere’ Besucher

• Zu späterem Zeitpunkt: Merke m Adressen, bestimme Anzahl x von bereits markierten Besuchern.

Unter entsprechenden Voraussetzungen sollte \frac{n}{M} ≈ \frac{x}{m} (ungefähr gleich). Ein vernünftiger Schätzer für M = ⌊\frac{nm}{x}⌋. Kann dieses Vorgehen exakt begründet werden?

9.1 Methoden zur Bestimmung von Schätzern

Definition 9.1 X_{i}, ..., X_{n} seien Zufallsvariablen (ZV) mit gemeinsamer Verteilung P_{ϑ}^{(X_{1},...,X_{n})}, ϑ ∈ Θ (Parameterraum). g(ϑ : Θ → Y) sei eine Funktion. Jede Abbildung h(X_{1}, ..., X_{n}) mit Werten in Y heißt statistische Schätzfunktion oder (Punkt-)Schätzer.

Beispiel 9.2

a) X_{1}, ..., X_{n} stid ∼ N(μ, σ^{2}), ϑ = (μ, σ^{2}), Θ = ℝ × ℝ^{+},

\begin{matrix}g_{1}(ϑ) = g_{1}((μ, σ^{2})) = μ, & h_{1}(X_{1}, ..., X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} & OK \\ g_{2}(ϑ) = g_{2}((μ, σ^{2})) = σ^{2}, & h_{2}(X_{1}, ..., X_{n}) = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} & OK \end{matrix}

b) X_{1}, ..., X_{n} stid ∼ Exp(λ), ϑ = λ, Θ = ℝ^{+}

g_{1}(λ) = \frac{1}{λ}, h_{1}(X_{1}, ..., X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i}  OK
g_{2}(λ)  h_{2}(X_{1}, ..., X_{n}) = (\frac{1}{n} ∑_{i=1}^{n} X_{i})^{−1} vernünftig?

Im Folgenden Methoden, um geeignete Schätzer zu finden.

Definition 9.3 (Maximum-Likelihood-Schätzer) f(x_{1}, ..., x_{n}|ϑ), ϑ ∈ Θ, sei eine (Zähl-)Dichte. L(ϑ|x_{1}, ...x_{n}) = f(x_{1}, ..., x_{n}|ϑ) (als Funktion von ϑ bei gegebenen x_{i}) heißt Likelihood-Funktion. ϑ̂(x_{1}, ...x_{n}) heißt Maximum-Likelihood-Schätzer (MLS), falls

L(ϑ̂(x_{1}, ...x_{n})|x_{1}, ..., x_{n}) = sup_{ϑ∈Θ} L(ϑ|x_{1}, ..., x_{n}) ∀ x_{1}, ..., x_{n}

g(ϑ̂) heißt MLS von g(ϑ).

Konzept: ϑ̂(x_{1}, .., x_{n}) ist bei gegebenen Beobachtungen x_{1}, ..., x_{n} der ’passendste’ Parameter, der die Beobachtungen am wahrscheinlichsten macht.

Bemerkung

a) ϑ̂ zu bestimmen, ist eine Maximierungsaufgabe, die oft durch Differenzieren (NST der 1. Abl.) gelöst werden kann.

b) Oft ist es günstiger, statt L(ϑ|x) die Log-Likelihood-Funktion logL(ϑ|x) zu betrachten (siehe folgendes Beispiel). Das Maximum von L(ϑ|x) und logL(ϑ|x) liegt an derselben Stelle.

Beispiel 9.4

a) X_{1}, ..., X_{n} stid ∼ N(μ, σ^{2}). Schätze ϑ = (μ, σ^{2}) ∈ ℝ × ℝ^{+}.

f(x_{1}, .., x_{n}|ϑ) = ∏_{i=1}^{n} \frac{1}{\sqrt{2πσ^{2}}} e^{− \frac{(x_{i}−μ)^{2}}{2σ^{2}}} = \frac{1}{(2πσ^{2})^{\frac{n}{2}}} e^{− \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i}−μ)^{2}} = L(ϑ|x_{1}, ..., x_{n})

log L(ϑ|x_{1}, ..., x_{n}) = −\frac{n}{2} log(2πσ^{2}) − \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i} − μ)^{2}

Setze τ = σ^{2}, partielle Ableitung = 0 setzen, auflösen nach μ, τ :

(i) \frac{∂ log L}{∂μ} = +\frac{2}{2σ^{2}} ∑_{i=1}^{n}(x_{i} − μ) =^{!} 0

(ii) \frac{∂ log L}{∂τ} = −\frac{n}{2} \frac{2π}{2πτ} + \frac{1}{2τ^{2}} ∑_{i=1}^{n}(x_{i} − μ)^{2} =^{!} 0

Aus (i) : μ̂ = \frac{1}{n} ∑_{i=1}^{n} x_{i} = \overline{x}
(ii) : −\frac{n}{2} \frac{1}{τ} + \frac{1}{2τ^{2}} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2} = 0 ⟺ τ = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2}

⟹ τ̂ = \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2}

Insgesamt: (μ̂, σ̂^{2}) = (\overline{x}, \frac{1}{n} ∑_{i=1}^{n}(x_{i} − \overline{x})^{2}) ist der MLS für (μ, σ^{2}) Bleibt noch zu prüfen, ob dies auch wirklich ein Maximum ist

b) X_{1}, ..., X_{n} stid ∼ Exp(λ). Schätze ϑ = λ ∈ ℝ^{+}

f(x_{1}, ..., x_{n}|ϑ) = ∏_{i=1}^{n} λe^{−λx_{i}} = λ^{n}e^{−λ ∑_{i=1}^{n} x_{i}} = L(λ|x_{1}, ..., x_{n}), x_{i} ≥ 0

log L(λ|x_{1}, ..., x_{n}) = n log λ − λ ∑_{i=1}^{n} x_{i} (Aufgabe: Maximiere nach λ)

\frac{∂ log L}{∂λ} = \frac{n}{λ} − ∑_{i=1}^{n} x_{i} =^{!} 0 ⟺ \frac{n}{λ} = ∑_{i=1}^{n} x_{i} ⟺ λ = _{\frac{n}{∑_{i=1}^{n} x_{i}}} = \frac{1}{\overline{x}}

Also: λ̂ = \frac{1}{\overline{x}} ist ein MLS für λ. (Noch z.z., λ̂ \underline{ist} ein Max. von L(λ|x_{1}, ..., x_{n})

c) X_{1}, ..., X_{n} stid ∼ Bin(1, p). Schätze p ∈ [0, 1]

f(x_{1}, ..., x_{n}|p) = ∏_{i=1}^{n} p^{x_{i}}(1 − p)^{1−x_{i}} = p^{∑_{i=1}^{n} x_{i}}(1 − p)^{n− ∑_{i=1}^{n} x_{i}} = L(p|x_{1}, ..., x_{n})

wobei die x_{i} ∈{0, 1}

log L(p|x_{1}, ..., x_{n}) = (∑_{i=1}^{n} x_{i}) log p + (n − ∑_{i=1}^{n} x_{i}) log(1 − p)

(Maximiere über p ∈ [0, 1]!)

\frac{∂ log L}{∂p} = \frac{1}{p} ∑_{i=1}^{n} x_{i} − \frac{1}{1−p} (n − ∑_{i=1}^{n} x_{i}) =^{!} 0 ⟺ \frac{1}{p} \overline{x}− \frac{1}{1−p}(1−\overline{x}) = 0 ⟺

p = \overline{x} Also: p̂ = \frac{1}{n} ∑_{i=1}^{n} x_{i} = \overline{x} ist ein MLS.

Eine weitere Methode zur Konstruktion von Schätzern: Bayes-Methode

1. Modelliere Vorkenntnisse über den Parameter ϑ durch eine Wahrscheinlichkeitsverteilung über Θ, die a-priori-Verteilung, beschrieben durch die (Zähl-)Dichte π(ϑ).

2. f(x|ϑ), x = (x_{1}, ..., x_{n}), sei die Zähldichte oder Dichte der Verteilung der ZV X_{1}..., X_{n} bei Vorliegen von ϑ, aufgefaßt als bedingte Verteilung von (X_{1}, ..., X_{n}), gegeben ϑ.

3. Gegeben die Beobachtungen x = (x_{1}, ..., x_{n}). Die zu f(ϑ|x) gehörige Verteilung heißt a-posteriori-Verteilung von ϑ. f(ϑ|x) reflektiert den Kenntnistand über ϑ \underline{nach} Beobachtungen von x_{1}, ..., x_{n}.

Bayes Verfahren Gegeben f(x|ϑ) : π(ϑ) a-priori-Verteilung. Berechnung von f(ϑ|x) wie folgt (hier im Falle von Dichten): f(x) = ∫ f(x|ϑ)π(ϑ)dϑ (siehe Kapitel 7). Also:

f(ϑ|x) = \frac{f(x, ϑ)}{f(x)} = \frac{f(x|ϑ)π(ϑ)}{∫ f(x|ϑ)π(ϑ)dϑ}

Dabei tritt der Nenner als normierende Konstante auf.

Ein natürlicher Schätzer für ϑ

Definition 9.5 Bez. wie oben. Die ZV ϑ̂(x) besitzt die (Zähl-)Dichte f(ϑ|x). Dann heißt E(ϑ(x)) Bayes Schätzer von ϑ.

Beispiel 9.6 Sei X ∼ Bin(n, p), n fest. A-priori Verteilung für p sei Beta(α, β), α, β > 0, mit Dichte:

π(p) = \frac{Γ(α + β)}{Γ(α)Γ(β)}p^{α−1}(1 − p)^{β−1}, 0 ≤ p ≤ 1

Es gilt: X ∼ Beta(α, β) ⟹ E(X) = \frac{α}{α+β}. Sei x ∈{0, ..., n}:

f(p|x) = \frac{f(x|p)π(p)}{∫ f(x|p)π(p)dp} = \frac{\binom{n}{x}p^{x}(1 − p)^{n−x} \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{α−1}(1 − p)^{β−1}}{∫ f(x|p)π(p)dp}

= \frac{\binom{n}{x} \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{x+α−1}(1 − p)^{n−x+β−1}}{∫ f(x|p)π(p)dp}
= \frac{Γ(n + α + β)}{Γ(x + α)Γ(n − x + β)}p^{x+α−1}(1 − p)^{n−x+β−1}

Diese Lösung ergibt sich dadurch, daß eine Dichte herauskommen muß, und da nur die beden Teile mit dem Exponentialanteil variabel sind, ergibt sich eine Beta-Dichte mit Parametern x + α, n − x + β.

Also: p̂(x) = \frac{x+α}{n+α+β} ist Bayes-Schätzer zur a-priori Verteilung π. Speziell: α = β = 1 (dann Beta(α, β) = R(0, 1), Rechteck)

p̂(x) = \frac{x+1}{n+2} MLS für p lautet: p̂_{ML}(x) = \frac{x}{n}

9.2 Gütekriterien für Schätzer

Definition 9.7 H = h(X_{1}, ..., X_{n}) sei ein Schätzer für g(ϑ) ∈ ℝ. E_{ϑ}(H −g(ϑ))^{2} = E_{ϑ}(h(X_{1}, ..., X_{n})−g(ϑ))^{2} heißt mittlerer quadratischer Fehler (MSE = mean squared error)

MSE mißt die mittlere quadratische Abweichung vom zu schätzenden Wert g(ϑ). MSE ist eine Funktion von ϑ. Es gilt:

E_{ϑ}(H − g(ϑ))^{2}

= E_{ϑ}(H − E_{ϑ}H + E_{ϑ}H − g(ϑ))^{2}

= E_{ϑ}(H − E_{ϑ}H)^{2} + 2(E_{ϑ}H − g(ϑ)) \underbrace{(E_{ϑ}(H − E_{ϑ}H))}_{=0} +(E_{ϑ}H − g(ϑ))^{2}

= E_{ϑ}(H − E_{ϑ}H)^{2} + (E_{ϑ}H − g(ϑ))^{2}

= \underbrace{V ar_{ϑ}(H)}_{Präzision, Variabilität des Schätzers} + \underbrace{(Bias_{ϑ}(H))^{2}}_{Schiefe, Genauigkeit des Schätzers}

Wichtig ist der Fall, daß Bias_{ϑ}(H) = 0 ist.

Definition 9.8 Ein Schätzer H heißt erwartungstreu (unbiased) für g(ϑ), wenn Bias_{ϑ}(H) = 0 ∀ ϑ ∈ Θ, falls also E_{ϑ}(H) = g(ϑ) ∀ϑ ∈ Θ

Offensichtlich gilt für E-treue Schätzer. MSE (H) : E_{ϑ}(H − g(ϑ))^{2} = V ar_{ϑ}(H)

Beispiel 9.9 X_{1}, ..., X_{n} ∼ N(μ, σ^{2}) (stid) [\overline{X}, \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} E − treu?]

a) μ = H(X_{1}, ..., X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} = \overline{X}

E_{ϑ}(\overline{X}) = E_{ϑ}(\frac{1}{n} ∑_{i=1}^{n} X_{i}) = \frac{1}{n}E_{ϑ}(∑_{i=1}^{n} X_{i}) = \frac{1}{n} ∑_{i=1}^{n} E_{ϑ}(X_{i}) = \frac{1}{n} ∑_{i=1}^{n} μ = μ

Also: \overline{X} ist erwartungstreu für μ.

b) \frac{1}{σ^{2}} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2}

Vorüberlegungen:

Y ∼ N(0, 1) ⟹ E(Y^{2}) = 1 (Bsp. 6.13 c)) Y ∼ N(0, 1) ⟹ Z = σY + μ ∼ N(μ, σ^{2})

E(Z^{2}) = E(σY + μ)^{2} = σ^{2} \underbrace{E(Y^{2})}_{=1} +2σμ \underbrace{E(Y)}_{=0} +μ^{2} = σ^{2} + μ^{2}

σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − \overline{X}^{2}

E_{ϑ}(σ̂^{2}) = \frac{1}{n} ∑_{i=1}^{n} \underbrace{E(X_{i}^{2})}_{σ^{2}+μ^{2}} − \underbrace{E(\overline{X}^{2})}_{\frac{σ^{2}}{n} +μ^{2}, da \overline{X}∼N(μ, \frac{σ^{2}}{n})} = σ^{2} + μ^{2} − \frac{σ^{2}}{n} − μ^{2} = \frac{n−1}{n}σ^{2}

Also: σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} ist nicht erwartungstreu für σ^{2}.

Aber: σ̂^{2} ist asymptotisch erwartungstreu, d.h. lim_{n→∞} E(σ̂^{2}) = σ^{2}

Aber: S^{2} = \frac{1}{n−1} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} ist erwartungstreu für σ^{2}.

Der Vorfaktor ergibt sich aus \frac{\frac{1}{n}}{\frac{n−1}{n}}

Denn: E(S^{2}) = E (\frac{n}{n−1} · \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2}) = \frac{n}{n−1} · \frac{n−1}{n}σ^{2} = σ^{2}

Beispiel 9.10 (Gütevergleich von 2 Schätzern) Sei X ∼ Bin(n, p) und folgende 2 Schätzer sind gegeben:

• MLS p̂_{ML} = \frac{x}{n}

• Bayes-Schätzer zur a-priori Verteilung Beta(α, β) p̂_{B} = \frac{x+α}{n+α+β} (Beisp. 9.6)

Welcher ist nun besser? Vergleich mit MSE:

• E_{p}(p̂_{ML} − p)^{2} = V ar(p̂_{ML}) = V ar(\frac{1}{n}X) = \frac{1}{n^{2}} np(1 − p) = \frac{p(1−p)}{n}

• E_{p}(p̂_{B} −p)^{2} = V ar(p̂_{B})+Bias_{p}(p̂_{B})^{2} = V ar (\frac{x+α}{n+α+β} )+(E_{p} (\frac{x+α}{n+α+β} ) − p)^{2}

= \frac{np(1−p)}{(n+α+β)^{2}} + (\frac{np+α}{n+α+β} − p)^{2}

Wähle nun α, β so, daß MSE(p̂_{B}) konstant, d.h. kein Wert von p wird bei der Schätzung bevorzugt!

Lösung: α = β = \frac{1}{2} \sqrt{n} (setze oben ein, dann fällt das p heraus) Dann gilt:

p̂_{B} = \frac{x + \frac{1}{2} \sqrt{n}}{n + \sqrt{n}}

E_{p}((p̂_{B} − p)^{2} = \frac{n}{4(n + \sqrt{n})^{2}}

9.3 Konfidenzintervalle

Punktschätzer: Bestimme ϑ̂, das möglichst nahe am Parameter ϑ liegt. Ziel jetzt: Angabe von Schranken, so daß der Parameter ϑ mit vorgegebener W’keit innerhalb der Schranken liegt.

Idee: X_{1}, ..., X_{n} stid ∼ Bin(1, p). Mit schwachem GGZ:

P (|\frac{1}{n} ∑_{i=1}^{n} X_{i} − p| > ϵ) ⟶_{n→∞}0 ∀ϵ > 0

⟺ P (\overline{X} − ϵ < p < \overline{X} + ϵ) ⟶_{n→∞}1

Für große n wird der Parameter p durch das zufällige Intervall [\overline{X} − ϵ, \overline{X} + ϵ] mit hoher W’keit überdeckt. Nutze Kenntnisse über die Verteilung von \overline{X}, um ϵ, P (...) zu quantifizieren.

Definition 9.11 X_{1}, ..., X_{n} seien ZV mit gemeinsamer Verteilung P^{X_{1},...,X_{n}}. Ein Intervall der Form [L(X_{1}, ..., X_{n}), U(X_{1}, ..., X_{n})] heißt Konfidenzintervall zum Niveau 1 − α für g(ϑ), falls

P_{ϑ}(g(ϑ) ∈ [L(X_{1}, ..., X_{n}), U(X_{1}, ..., X_{n})]) ≥ 1 − α ∀ϑ ∈ Θ

Beispiel 9.12 X_{1}, ..., X_{n} stid ∼ N(μ, σ^{2}) (σ^{2} fest) Dann \overline{X} ∼ N (μ, \frac{σ^{2}}{n} ) und \frac{\overline{X}−μ}{\frac{σ}{\sqrt{n}}} ∼ N(0, 1)

Bestimme nun n so, daß P (|\frac{\overline{X}−μ}{\frac{σ}{\sqrt{n}}} | ≤ u) = 1 − α (⋆)

Wähle u = u_{1− \frac{α}{2}} als (1 − \frac{α}{2})-Fraktil der N(0,1)-Verteilung. Nun auflösen von (⋆) nach μ: P (|\overline{X} − μ| ≤ \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ) = P (\overline{X} − \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ≤ μ ≤ \overline{X} + \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ) = 1 − α

Also: [\overline{X} − \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} , \overline{X} + \frac{σ}{\sqrt{n}}u_{1− \frac{α}{2}} ] ist ein (1 − α)-Konfidenzintervall für μ.

\underline{Beachte} Die Länge des Konfidenzintervalls - fällt mit wachsendem n

- wächst mit wachsendem Niveau 1 − α

Auch einseitige Konfidenzintervall: P (\frac{\overline{X}−μ}{\frac{σ}{\sqrt{n}}} ≤ u) = 1 − α

Wähle u = u_{1−α}, dann: P (\overline{X} − μ ≤ \frac{σ}{\sqrt{μ}}u_{1−α}) = P (μ ≥ \overline{X} − \frac{σ}{\sqrt{μ}}u_{1−α}) = 1−α

Also: [\overline{X} − u_{1−α} \frac{σ}{\sqrt{n}}, ∞] ist einseitiges (1 − α)-Konfidenzintervall für μ

All diese Berechnungen gelten für festes σ^{2}. Für variable Varianzen siehe Literatur über W’keitsrechnung!!!

9.3 Konfidenzintervalle 57 Beispiel 9.13 (Approx. Konfidenzintervalle für W’keiten)

X_{1}, ...X_{n} ∼ Bin(1, p) . Dann _{\frac{\overline{X}−p}{\sqrt{\frac{p(1−p)}{n}}}} ∼^{as} N(0, 1) (Bsp. 8.10)

Es gilt: P (_{\frac{|\overline{X}−p|}{\sqrt{\frac{p(1−p)}{n}}}} ≤ u_{1− \frac{α}{2}} ) ≈ 1 − α, wobei u_{1− \frac{α}{2}} Fraktil der N(0, 1)-Verteilung ist.

|\overline{X} − p| = u_{1− \frac{n}{2}} \sqrt{\frac{p(1 − p)}{n}} ⟺ (\overline{X} − p)^{2} = u_{1− \frac{α}{2}}^{2} \frac{p(1 − p)}{n}

ist eine quadratische Gleichung in p mit Lösung p_{L}(\overline{X}) ≤ p_{U}(\overline{X}).

[p_{L}(\overline{X}), p_{U}(\overline{X})]

ist ein approximatives (1 − α)-Konfidenzintervall für p.

ENDE DER VORLESUNG

Index

Γ-Integral, 26 Γ(α, λ)-verteilt, 26 Γ-Verteilung, 26 α-Quantil, 18 χ^{2}-Verteilung, 30 σ-Additivität, 4 σ-Algebra, 6, 22

Borelsche, 7 erzeugte, 7 feinste, 6 gröbste, 7

a-posteriori-Verteilung, 53 a-priori-Verteilung, 52 absteigend, 7 alsolut-stetig, 18 Ankunftszeiten, 31 asymptotisch erwartungstreu, 55 aufsteigend, 7

Bayes Schätzer, 53 Bayes Verfahren, 53 Bayes-Formel, 10 Bayes-Methode, 52 bedingte Dichte, 43 bedingte Verteilung, 10, 42, 43 bedingte Verteilungsfunktion, 43 bedingte Wahrscheinlichkeit, 10 bedingte Zähldichte, 42 bedingter Erwartungswert, 42, 43 Berechnung von Wahrscheinlichkeiten

und Verteilungsfunktionen, 17 Berechnungen von Momenten, 40 Beta-Verteilung, 53 binomialverteilt, 14 Binomialverteilung, 14 Bonferroni-Ungleichung, 8

Dichte von X, 23 diskret, 15 diskrete Gleichverteilung, 4 Eindeutigkeitssatz für VF, 16 Eintrittszeit in B, 27 Ereignis, 4 Ergebnis, 4 Ergebnismenge, 4 Erlang-Verteilung, 26, 30 erwartungstreu, 54

asymptotisch, 55 Erwartungswert, 35

Eigenschaften, 36 erzeugende Funktion, 20 exponentialverteilt, 17 Exponentialverteilung, 19, 36

Faltung von Verteilungen, 29 faltungsstabil, 32 Funktionaldeterminante, 28

gemeinsame Verteilung, 23 geometrische Verteilung, 15, 35 gleichverteilt, 16 Grenzverteilungsfunktion, 45 Grenzwertsätze, 45

höchstens abzählbare Menge, 15

Indikatorfunktion, 17

k-tes faktorielles Moment, 40 k-tes Moment, 38 k-tes zentrales Moment, 38 Konfidenzintervall, 56 einseitiges, 56

Konvergenz, 45 fast-sichere, 45 schwache, 45 stochastische, 45 Verteilungskonvergenz, 45 Zusammenänge zwischen Konver-

genzarten, 46 Korrelation, 38 Kovarianz, 38

LaPlace-Transformierte, 20 Laplace-Verteilung, 4 Likelihood-Funktion, 51 Limes, 7

inferior, 12 superior, 12

Log-Likelihood-Funktion, 51

Markoff-Ungleichung, 36 Maximum-Likelihood-Schätzer, 51 Median, 18 Messbarkeit, 13 Meßraum, 6 Mischung, 24 mittlerer quadratischer Fehler, 54

n-dimensionale Borelsche σ-Algebra,

22 negative Binomialverteilung, 32 Normalverteilung, 19, 36

P-fast-sicher konvergent, 45 P-stochastisch konvergent, 45 p.d., 8 Pascalverteilung, 32 Poisson-Prozess, 30, 44 poissonverteilt, 16 Poissonverteilung, Gesetz seltener Er-

eignisse, 15 Produkt-σ-Algebra, 22 Produkt-Messraum, 22 Pseudoinverse, 18

Rayleigh-Verteilung, 29 Realisationen, 50 Rechteckverteilung, 19

Satz von der totalen W’keit, 10, 42 Schätzer, 18, 48, 50

Gütevergleich, 55

Maximum-Likelihood, 51 stark konsistenter, 48

Schätzwert, 50 schwach- oder verteilungskonvergent,

45 schwaches Gesetz grosser Zahlen, 47 SGGZ, 46, 47

Anwendung, 47 starkes, 46 Siebformel, 8 standardisierte Summe, 48 Standartabweichung, 38 Starkes Gesetz grosser Zahlen, SGGZ,

46 statistische Schätzfunktion, 50 stoch. unabh. identisch verteilt, 25 stochastisch unabhängig, 10, 24, 25 Summen von ZV’en, 32

Transformationssatz für Dichten, 28 Transformierte und Momente, 40 Tschebyscheff-Ungleichung, 46

unkorreliert, 37

Varianz, 38

Verteilungsdichte, 18 Verteilungsfunktion, 16 Γ-Verteilung, 26 χ^{2}-Verteilung, 30 bedingte, 43 Beta-Verteilung, 53 Binomialverteilung, 14 Erlang-Verteilung, 26, 30 Exponentialverteilung, 19 geometrische Verteilung, 15 negative Binomialverteilung, 32 Normalverteilung, 19 Pascalverteilung, 32 Poissonverteilung, 15 Rayleigh-Verteilung, 29 Rechteckverteilung, 19 VF der ZV’en X, 16

Verweilzeiten, 31

Wahrscheinlichkeitsmaß, 7 Wahrscheinlichkeitsraum, 7 Wahrscheinlichkeitsverteilung, 7 Wartezeit in Warteschlangensystem,

43

Zähldichte, 15 Zentraler Grenzwertsatz, ZGWS, 48 Zufallsvariable, 13 Zufallsvektor, 23 Zuwachs, 31 Zwischenankunftszeit, 31