Einführung in die Stochastik für Informatiker

Sommersemester 2001 Prof. Mathar

Ursprüngliche Version (SS 2000) geTEXt von René Wörzberger rene@woerzberger.de

Bilder Thorsten Uthke

Review Diego Biurrun

diego@pool.informatik.rwth-aachen.de

Update Sommersemester 2001 Martin Habbecke M.Habbecke@gmx.de

24. Juli 2001

Inhaltsverzeichnis

1 Einführung 1

2 σ-Algebren und Wahrscheinlichkeitsverteilungen 3

3 Zufallsvariablen und ihre Verteilung 17 3.1 Diskrete Verteilungen, Zufallsvariablen . . . . . . . . . . . . . 19 3.2 Verteilungsfunktionen . . . . . . . . . . . . . . . . . . . . . . 21

3.2.1 Berechnung von Wahrscheinlichkeiten durch Vertei-

lungsfunktionen . . . . . . . . . . . . . . . . . . . . . . 24

3.3 Dichten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.3.1 Berechung von Wahrscheinlichkeiten mit Dichten … 28 3.4 Erzeugende Funktionen und Laplace-Transformierte . . . . . 28

4 Produkträume und Zufallsvektoren 31 4.1 Produkträume . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.2 Zufallsvektoren und Folgen von Zufallsvariablen . . . . . . . . 33

5 Transformationen von Zufallsvariablen und Zufallsverteilungen 41

6 Erwartungswerte und Momente von ZV’s 51

7 Bedingte Verteilungen und Erwartungswerte 65 7.1 Diskreter Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 7.2 Absolut-stetiger Fall . . . . . . . . . . . . . . . . . . . . . . . 66 7.3 Gemischter Fall . . . . . . . . . . . . . . . . . . . . . . . . . . 67

8 Grenzwertsätze 69

9 Schätzfunktionen und Konfidenzintervalle 77

9.1 Methoden zur Bestimmung von Schätzern . . . . . . . . . . . 78

9.1.1 Bayes-Methode . . . . . . . . . . . . . . . . . . . . . . 81 9.2 Gütekriterien für Schätzer . . . . . . . . . . . . . . . . . . . . 82 9.3 Konfidenzintervalle . . . . . . . . . . . . . . . . . . . . . . . . 85

ii  INHALTSVERZEICHNIS

Kapitel 1

Einführung

Betrachte ”Zufallsexperimente“, z. B.

• Münzwurf, Würfelwurf, Spiele, Roulette, Lotto

• Ankunft von Kunden an Schaltern, Pakete in Netzwerken

• Input für Algorithmen

• Signale, die von einer Quelle ausgesendet werden

• Positionierung von Mobilstationen in Zellnetzen Diesen Beispielen gemeinsam ist, daß die interessierenden Größen nicht vorhergesagt werden können und zufallsabhängig sind. Definition 1.1 (Stochastik) Stochastik ist die mathematische Behandlung von Zufallsphänomenen (ô στoχoς: das Vermutete) Die Stochastik umfaßt mehrere Teilgebiete, die sich in etwa so aufteilen lassen

• Wahrscheinlichkeitstheorie

– theoretisch (stochastische Prozesse, Grenzwertsätze, stochastische Differentialgleichungen)

– angewandt (stochastische Modellierung, z. B., Warteschlangen,

Zuverlässigkeitstheorie, stochastische Signalerkennung)

• Mathematische Statistik (mit vielen Teilgebieten) Diese Vorlesung legt die Schwerpunkte auf angewandte Wahrscheinlichkeitstheorie (stochastische Modellierung) mit Betonung der Anwendung in der Informatik.

\underline{2}

Ziel der Vorlesung: Bereitstellung von Grundlagen als Basis für weiterführende Veranstaltungen z.B. Warteschlangensysteme I + II, Informationstheorie I + II, Kryptologie, stochastische Simulation, Zufallsgesteuerte Optimierungsverfahren

Historische Entwicklung:

Fermat  (1601-1665)
Pascal  (1623-1662)
Bernoulli  (1654-1705)

Laplace (1749-1827) Kombinatorischer Zugang, motiviert durch Spielprobleme, relative Häufigkeiten als Wahrscheinlichkeiten

Kolmogoroff (1973)  axiomatische Entwicklung

σ-Algebren und Wahrscheinlichkeitsverteilungen

Mathematische Beschreibung von Zufallsexperimenten mit Mengen. Betrachte relevante Ergebnisse und fasse diese zu einer Menge zusammen. Man nennt Ω (Omega) die Ergebnismenge (oft: ℕ, ℤ, ℝ, ℝ^{n}, {0, 1}^{n}). Ereignisse A werden beschrieben durch Teilmengen von Ω (A ⊆ Ω). Die Menge aller Teilmengen der Ergebnismenge 𝔓(Ω) heißt Ereignismenge. Die Wahrscheinlichkeit von Ereignissen wird durch eine Funktion P : 𝔓(Ω) → [0, 1] beschrieben mit

1. P (Ω) = 1, P (∅) = 0 (∗)

2. P (A^{∁}) = 1 − P (A) ∀A ∈ 𝔓(Ω)

3. P (A ∪ B) = P (A) + P (B) ∀A, B ∈ 𝔓(Ω) mit A ∩ B = ∅

4. P (⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}) ∀A_{n} ∈ 𝔓(Ω), A_{i} ∩ A_{j} = ∅ ∀i, j i ≠ j (∗)

Aus den Eigenschaften (∗) lassen sich die anderen herleiten. Sprechweisen:

• A^{∁}: ”A tritt nicht ein“, A ∈ 𝔓(Ω)

• A ∪ B: ”A oder B treten ein“, A, B ∈ 𝔓(Ω)

• A ∩ B: ”A und B treten ein“, A, B ∈ 𝔓(Ω)

Wie erhält man nun Wahrscheinlichkeiten? Bei endlichen Ω durch Abzählen.

Definition 2.1 (Laplacescher Wahrscheinlichkeitsbegriff) Sei Ω eine endliche Menge. |A| bezeichne die Mächtigkeit von A ⊂ Ω. Durch

P (A) = \frac{|A|}{|Ω|}, A ∈ 𝔓(Ω)

wird eine Wahrscheinlichkeitsverteilung auf 𝔓(Ω) mit den Eigenschaften (∗) definiert. P heißt Laplace-Verteilung oder diskrete Gleichverteilung über Ω.

Beispiel 2.2 (binäre Suche) Gegeben sei ein geordnetes Feld von 2^{n} − 1 Elementen und ein mit diesen vergleichbares Schlüsselelement y.

Problemstellung: Ist y in einem derartigen Feld vorhanden, und an welcher Stelle?

Zur Lösung dieses Problems bietet sich beispielsweise ”binary search“ an.

Stochastisches Modell: Sei Ω = {0, 1, ..., 2^{n} −1} und ω ∈ Ω, ω ≥ 1. Definiere: ω = 1 falls das gesuchte Element y sich an der Stelle ω befindet. ω = 0, falls y nicht im Feld vorkommt. Es lassen sich nun Ereignisse A_{k} bestimmen, wobei k bedeutet, daß y im k-ten Schritt gefunden wird.

A_{1} = {2^{n−1}}, A_{2} = {2^{n−2}, 3 · 2^{n−2}} …
A_{k} = {(2j − 1) · 2^{n−k} | j = 1, …, 2^{k−1}, k = 1, …, n}.

Es wird angenommen, daß jede Platznummer und die 0 gleichwahrscheinlich sind. Dann ist

|A_{k}| = 2^{k−1}, P (A_{k}) = \frac{2^{k−1}}{2^{n}} , 1 ≤ k ≤ n

wobei P (A_{k}) die Wahrscheinlichkeit ist, y in genau k Schritten zu finden. Mit zusammangesetzten Ereignissen lassen sich auch andere Fragestellungen modellieren. Sei beispielsweise B_{k} das Ereignis, daß y in höchstens k Schritten gefunden wird.

B_{k} = ⋃_{j=1}^{k} A_{j}, alle A_{j} paarweise disjunkt

P (B_{k}) = P (⋃_{j=1}^{k} A_{j}) = ∑_{j=1}^{k} P (A_{j}) = ∑_{j=1}^{k} \frac{2^{j−1}}{2^{n}} = \frac{1}{2^{n}} (2^{k} − 1) = \frac{2^{k} − 1}{2^{n}}.

Beispiel 2.3 (Hashing) Gegeben sei ein Universum U und eine gewisse Teilmenge M (M ⊆ U) davon, mit |M| = k. Diese k Werte sollen in einem Hashfeld a : array [0, ..., n − 1] of type abgespeichert werden. Definiere dazu eine Hashfunktion h : U → {0, ..., n−1}. Ein x ∈ M wird dann in a[h(x)] abgespeichert, was zu einer Kollision führen kann, falls ein von x verschiedenes y ∈ M existiert mit h(x) = h(y) (Kollisionsauflösung durch lineare Listen).

Kapitel 2. σ-Algebren und Wahrscheinlichkeitsverteilungen  5

Stochastisches Modell: Es wird ein rein zufälliges Ablegen von k Daten in einem Feld der Länge n angenommen. Sei S = {1, ..., n} die Menge der Speicherplätze. Die Ergebnismenge Ω mit |Ω| = S^{k} beinhaltet alle Arten, k Daten abzulegen (k-n-Permutationen mit Wiederholung). Es interessiert die Menge A_{kn} aller Arten, k Daten ohne Kollisionen abzulegen. Die Wahrscheinlichkeit, daß es bei rein zufälligem Ablegen der k Daten in einem Feld der Länge n zu keiner Kollision kommt ist

P (A_{kn}) = \frac{|A_{kn}|}{|Ω|} = \frac{n · (n − 1) · · · · · (n − k + 1)}{n^{k}} = ∏_{i=0}^{k−1} (1 − \frac{i}{n})

= exp (∑_{i=0}^{k−1} ln (1 − \frac{i}{n})) ≤ exp (− ∑_{i=0}^{k−1} \frac{i}{n})

= exp (−\frac{(k − 1)k}{2n} ) .

Beispielsweise ergibt sich mit den Werten n = 365, k = 23 eine Wahrscheinlichkeit von P (A_{kn}) ≤ 0, 499998. Das bedeutet z. B., daß es ”eher unwahrscheinlich“ ist, daß in einer Klasse mit 23 Schülern niemand am gleichen Tag Geburtstag hat.

Der Laplacesche Wahrscheinlichkeitsbegriff reicht nicht aus. Das hat insbesondere folgende Gründe:

• Ω ist oft unendlich oder sogar überabzählbar unendlich.

• Viele experimentelle Studien sind nicht durch diskrete Gleichverteilung beschreibbar.

Beispiel 2.4 (unendlicher Münzwurf) Man werfe eine Münze unendlich oft. Als Ergebnisse werden hier Folgen von Nullen und Einsen betrachtet, wobei die Nullen Zahl und die Einsen Kopf repräsentieren, also

Ω = {ω = (x_{1}, x_{2}, …) | x_{i} ∈ {0, 1}} = {0, 1}^{ℕ},

wobei Ω überabzählbar ist (Diagonalisierungsargument). Das Problem ist die Beschreibung einer Gleichverteilung auf Ω. Als erster Ansatz bietet sich an, jeder Folge die gleiche von Null verschiedene Wahrscheinlichkeit zuzuordnen, also: P ({ω}) = P ({ω′}) ∀ω, ω′ ∈ Ω. Von Null verschieden bedeutet dann: P ({ω}) = δ > 0. Sei nun A = {ω_{1}, ω_{2}, ….} ⊂ Ω abzählbar unendlich. Dann steht

P (A) = ∑_{i=1}^{∞} P ({ω}) = ∑_{i=1}^{∞} δ = ∞

im Widerspruch zu P (Ω) = 1. Also muß P ({ω}) = 0 ∀ω ∈ Ω sein, was aber nicht sehr hilfreich ist.

Beispiel 2.5 (Gleichverteilung über [0, 1]) Anwendbar z.B. in einem Modell, in dem jeder Zeitpunkt zwischen 0 und 1 gleichwahrscheinlich ist. Die Ergebnismenge ist also Ω = [0, 1]. Man definiere probehalber eine Wahrscheinlichkeitsfunktion P mit folgenden Eigenschaften:

• P ([a, b]) = b − a ∀ 0 ≤ a < b ≤ 1

• P ist σ-additiv, d.h.: P (⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n})

Eine Funktion mit diesen Eigenschaften existiert nicht. Im ℝ^{3} sogar auch dann nicht, wenn man nur endliche Additivität verlangt.

Es gibt kein endlich additives drehinvariantes Maß auf 𝔓(ℝ^{3}).

(Hausdorff 1914)

Für einen allgemeinen Wahrscheinlichkeitsbegriff (ohne Existenzprobleme) also: Ereignismenge nicht 𝔓(Ω), kleineres Mengensystem wählen, das noch alle interessanten Ereignisse enthält.

Definition 2.6 (σ-Algebra) Sei Ω ≠ ∅ und 𝔄 ⊆ 𝔓(Ω) ein System von Teilmengen von Ω. 𝔄 heißt σ-Algebra (von Ereignissen) über Ω, wenn

(i) Ω ∈ 𝔄

(ii) A ∈ 𝔄 ⇒ A^{∁} ∈ 𝔄

(iii) A_{n} ∈ 𝔄, n ∈ ℕ ⇒ ⋃_{n=1}^{∞} A_{n} ∈ 𝔄

Das Paar (Ω, 𝔄) heißt Meßraum. Mit den deMorgan-Regeln folgt desweiteren:

A_{n} ∈ 𝔄 ⇒ A_{n}^{∁} ∈ 𝔄 ⇒ ⋃_{n=1}^{∞} A_{n}^{∁} ∈ 𝔄 ⇒ ( ⋃_{n=1}^{∞} A_{n}^{∁})^{∁} ∈ 𝔄

⇒ ⋂_{n=1}^{∞} A_{n} ∈ 𝔄 ∀n ∈ ℕ

σ-Algebren enthalten alle Ereignisse, die durch die Verknüpfungen mit ”nicht“, ”oder“, ”und“ entstehen (auch abzählbar unendlich). Dies ist wichtig für die Festlegung von Wahrscheinlichkeitsverteilungen.

Beispiel 2.7 Beispiele und Gegenbeispiele für σ-Algebren:

• 𝔓(Ω) ist stets eine σ-Algebra (feinste σ-Algebra).

• {∅, Ω} ist σ-Algebra (gröbste σ-Algebra).

• Sei Ω = ℕ, G = {2, 4, 6, …}, U = {1, 3, 5, …}. Dann ist 𝔄 = {∅, G, U, ℕ} eine σ-Algebra.

• Sei Ω = ℝ. Dann ist ε = {(a, b] | a < b ∈ ℝ} keine σ-Algebra, denn sei a < b < c < d. Dann ist (a, b] ∈ ε und (c, d] ∈ ε aber (a, b] ∪ (c, d] ∉ ε.

Problem: Gibt es eine kleinste (im Sinne der Mengeninklusion) σ-Algebra, die ε enthält?

Lemma 2.8 Ω ≠ ∅, 𝔄_{i}, i ∈ I seien σ-Algebren über Ω. Dann ist ⋂_{i∈I} 𝔄_{i} ebenfalls eine σ-Algebra. Sei ε ⊆ 𝔓(Ω). Dann heißt 𝔄(ε) = ⋂_{ε⊆𝔄} 𝔄 (die kleinste σ-Algebra, die ε enthält), die von ε erzeugte σ-Algebra.

Definition 2.9 (Borelsche σ-Algebra) Sei Ω = ℝ und ε = {(a, b] : a < b ∈ ℝ}. Dann heißt 𝔅^{1} = 𝔄(ε) Borelsche σ-Algebra. Auf σ-Algebren können Wahrscheinlichkeitsverteilungen mit den Eigenschaften (∗) definiert werden.

Definition 2.10 Sei Ω ≠ ∅, 𝔄 eine σ-Algebra über Ω. Eine Abbildung P : 𝔄 → [0, 1] mit:

(i) P (Ω) = 1

(ii) P (⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}) ∀A_{n} ∈ 𝔄, paarweise disjunkt

heißt Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß auf (Ω, 𝔄). (Ω, 𝔄, P) heißt Wahrscheinlichkeitsraum.

Der Laplacesche Wahrscheinlichkeitsbegriff ist ein Spezialfall einer σ-Algebra, denn: Wähle 𝔄 = 𝔓(Ω)

(i) P (A) = \frac{|A|}{|Ω|} erfüllt I., denn P (Ω) = \frac{|Ω|}{|Ω|} = 1.

(ii)

P ( ⋃_{n=1}^{∞} A_{n}) = \frac{| ⋃ A_{n}|}{|Ω|} = \frac{∑ |A_{n}|}{|Ω|} = ∑_{n=1}^{∞} \frac{|A_{n}|}{|Ω|}

= ∑_{n=1}^{∞} P (A_{n}) ∀ i, j : A_{i} ∩ A_{j} = ∅

(Ω, 𝔄, P) sei ein Wahrscheinlichkeitsraum. Eine Folge von Ereignissen {A_{n}}_{n∈ℕ} heißt aufsteigend (absteigend), wenn A_{n} ⊆ A_{n+1} (A_{n+1} ⊆ A_{n}) ∀n ∈ ℕ. ⋃_{n=1}^{∞} A_{n} (⋂_{n=1}^{∞} A_{n}) = lim_{n→∞}A_{n} heißt Limes der Mengenfolge A_{n}.

Lemma 2.11 (Eigenschaften von Wahrscheinlichkeitsverteilungen) Sei (Ω, 𝔄, P) ein Wahrscheinlichkeitsraum und A, B, A_{n} ∈ 𝔄 n ∈ ℕ. Dann gilt:

a) P (A^{∁}) = 1 − P (A)

b) P (A ∪ B) = P (A) + P (B) − P (A ∩ B)

c) A ⊆ B ⇒ P (A) ≤ P (B) d) A ⊆ B ⇒ P (B\A) = P (B) − P (A)

e) {A_{n}} aufsteigend ⇒ P (lim_{n→∞}(A_{n})) = lim_{n→∞} P (A_{n}) {A_{n}} absteigend ⇒ P (lim_{n→∞}(A_{n})) = lim_{n→∞} P (A_{n}).

Beweis zu Aussage e): Sei {A_{n}} aufsteigend, d.h. A_{n} ⊆ A_{n+1} ∀n ∈ ℕ. Setze B_{1} = A_{1}, B_{2} = A_{2}\A_{1}, ⋯, B_{n+1} = A_{n+1}\A_{n}. Dann sind alle B_{n} paarweise disjunkt und es gilt

⋃_{n=1}^{∞} A_{n} = ⋃_{n=1}^{∞} B_{n}

Setze A_{0} = ∅. Dann ist

P (⋃^{∞} A_{n}) = P (⋃^{∞} B_{n}) = ∑_{n=1}^{∞} P (B_{n}) = lim_{k→∞} ∑_{n=1}^{k} P (A_{n}\A_{n−1})

= lim_{n→∞} ∑_{n=1}^{k} [P (A_{n}) − P (A_{n−1})] = lim_{k→∞} P (A_{k}) = P ( lim_{n→∞} A_{n})

{A_{n}} absteigend ⇒ {A_{n}^{∁}} aufsteigend. Es gilt:

P ( ⋂_{n=1}^{∞} A_{n}) = 1 − P ( ⋃_{n=1}^{∞} A_{n}^{∁}) = 1 − lim_{n→∞} P (A_{n}^{∁})

= lim_{n→∞} (1 − P (A_{n}^{∁})) = lim_{n→∞} P (A_{n})

Lemma 2.12 Sei (Ω, 𝔄, P) ein Wahrscheinlichkeitsraum und A_{1}, …, A_{n} ∈ 𝔄. Dann gelten:

a) Siebformel von Poincare-Sylvester (inclusion-exclusion formula)

P (⋃_{i=1}^{n} A_{i}) = ∑_{i=1}^{n} P (A_{i}) − ∑_{1≤i_{1}<i_{2}≤n} P (A_{i_{1}} ∩ A_{i_{2}})

+ ∑_{1≤i_{1}<i_{2}<i_{3}≤n} P (A_{i_{1}} ∩ A_{i_{2}} ∩ A_{i_{3}}) − ⋯ + (−1)^{n+1}P (⋂_{i=1}^{n} A_{i})

b) Bonferroni-Ungleichung (Bonferroni inequality)

∑_{i=1}^{n} P (A_{i}) − ∑_{1≤i_{1}<i_{2}≤n} P (A_{i_{1}} ∩ A_{i_{2}}) ≤ P (⋃_{i=1}^{n} A_{i}) ≤ ∑_{i=1}^{n} P (A_{i})

Weitere obere bzw. untere Schranken ergeben sich durch Abbruch in a) nach + oder - Zeichen.

Beispiel 2.13 (Sortieren (Recontre-Problem)) Betrachte Felder der Länge n von vergleichbaren, verschiedenen Elementen. Alle Anordnungen seien gleichwahrscheinlich. Modelliere Situation wie folgt:

Ω = {Permutationen von {1, …, n}} 𝔄 = 𝔓(Ω)

P (\{ω\}) = \frac{1}{n!} ∀ω ∈ Ω.

Teil a: Bestimme die Wahrscheinlichkeit, daß mindestens ein Element an der richtigen Stelle ist (vorsortiert). Definiere dazu Ereignismengen A_{j}, welche jeweils alle Ereignisse beinhalten, bei denen Element j an der j-ten Stelle ist, wie folgt:

A_{j} = {ω = (ω_{1}, …, ω_{n}) ∈ Ω | ω_{j} = j}

Gesucht ist dann P (A_{1} ∪ … ∪ A_{n}) = P (⋃_{j=1}^{n} A_{j}). Da die A_{j} sicher nicht paarweise disjunkt sind, erfolgt die Berechnung mit Hilfe der Siebformel: Sei 1 ≤ i_{1} ≤ … ≤ i_{l} ≤ n, l ≤ n. Dann ist

⋂_{j=1}^{l} A_{i_{j}} = {ω ∈ Ω | ω_{i_{j}} = i_{j}, j = 1, …, l}

die Menge aller Permutationen, bei denen die Elemente i_{1}, …, i_{l} sich an der richtigen Stelle befinden. Die Mächtigkeit dieser Menge ist

|⋂_{j=1}^{l} A_{i_{j}} | = (n − l)!

weil man die gegebenen l Elemente auf die richtigen Positionen verteilen muß, dann aber die verbliebenen (n − l) Elemente beliebig auf die restlichen (n − l) Positionen verteilen darf. Die Wahrscheinlichkeit dafür, daß sich l Elemente i_{1}, …, i_{l} auf den richtigen Positionen befinden, ist deshalb

P (⋂_{j=1}^{l} A_{i_{j}} ) = \frac{(n − l)!}{n!} = \frac{1}{\binom{n}{l}l!}, l = 1, …, n.

Außerdem ist die Mächtigkeit der Menge aller l-elementigen Teilmengen von n, also die Menge aller Möglichkeiten, zunächst l Elemente aus den vorhandenen n auszuwählen

|\{(i_{1}, …, i_{l}) | 1 ≤ i_{1} < … < i_{l} ≤ n\}| = \binom{n}{l}.

Insgesamt ergibt sich für die Wahrscheinlichkeit, daß mindestens ein Element sich an der richtigen Position befindet

P (⋃_{j=1}^{n} A_{j}) = ∑_{j=1}^{n} P (A_{j}) − ∑_{i<j} P (A_{i} ∩ A_{j}) + ⋯ + (−1)^{n+1}P (⋂_{j=1}^{n} A_{j})

= \frac{n}{n} − \binom{n}{2}\frac{1}{\binom{n}{2}2!} + ⋯ + (−1)^{n+1}\binom{n}{n}\frac{1}{\binom{n}{n}n!}
= 1 − \frac{1}{2!} + \frac{1}{3!} − ⋯ + \frac{(−1)^{n+1}}{n!}
= 1 − (1 − \frac{1}{1!} + \frac{1}{2!} − \frac{1}{3!} − ⋯ + \frac{(−1)^{n+1}}{n!} )
⟶^{n→∞} 1 − e^{−1} ≈ 0, 6321.

Erstaunlicherweise konvergiert die Wahrscheinlichkeit gegen einen festen Wert. Das bedeutet, daß die Wahrscheinlichkeit dafür, ob mindestens ein Element in einem Feld der Länge n an der richtigen Position ist, für große n fast unabhängig von n ist. Teil b: Eine Abschätzung dafür, daß mindestens k Elemente vorsortiert sind wäre

P (  ⋃_{1≤i_{1}<...<i_{k}≤n} ⋂_{l=1}^{k} A_{i_{l}} ) ≤^{2.12.b} ∑_{1≤i_{1}<...<i_{k}≤n} P (⋂_{l=1}^{k} A_{i_{l}})

= \binom{n}{k} · \frac{1}{\binom{n}{k}k!} = \frac{1}{k!}.

Teil c: Die Wahrscheinlichkeit dafür, daß genau k Elemente vorsortiert sind. Nach Teil a beträgt die Wahrscheinlichkeit dafür, daß in einem Feld der Länge n − k kein Element vorsortiert ist

1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n − k)!} .

Daher ist die Anzahl der Anordungen, bei denen kein Element vorsortiert ist,

(n − k)! · (1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n − k)!} ) .

Nun gibt es noch \binom{n}{k} Möglichkeiten, ein Feld der Länge n in eines der Länge k und eines der Länge n − k aufzuteilen. Somit ergibt sich für die Wahrscheinlichkeit, daß k Elemente vorsortiert sind

\frac{1}{n!}\binom{n}{k}(n − k!) (1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n − k)!} )

= \frac{1}{k!} (1 − \frac{1}{1!} + \frac{1}{2!} − … + \frac{(−1)^{n−k}}{(n − k)!} ) .

Wie werden Wahrscheinlichkeiten bestimmt, wenn schon bekannt ist, daß das Ergebnis in einer bestimmten Teilmenge liegt? Sei beispielsweise Ω eine Menge von Chips, die von zwei verschiedenen Firmen stammen und |Ω| = 5000. Von Firma A stammen |A| = 1000 Chips und von Firma B |B| = 4000 Chips. Unter den 5000 Chips sind insgesamt |D| = 300 defekt, von denen |A ∩ D| = 100 von Firma A und |B ∩ D| = 200 von Firma B stammen. Von Firma A sind also 10% aller Chips defekt und von Firma B 5%. Es werde nun zufällig ein Chip gezogen (Laplace Modell). Die Wahrscheinlichkeit dafür, daß der Chip defekt ist, falls er von Firma A stammt ist

P (D|A) = \frac{|D ∩ A|}{|A|} = \frac{\frac{|D∩A|}{|Ω|}}{\frac{|A|}{|Ω|}} = \frac{P (D ∩ A)}{P (A)} = \frac{\frac{100}{5000}}{\frac{1000}{5000}} = \frac{1}{10}.

Die Wahrscheinlichkeit, daß ein Chip von Firma A stammt, falls er defekt ist, ist

P (A|D) = \frac{|A ∩ D|}{|D|} = \frac{\frac{|A∩D|}{|Ω|}}{\frac{|D|}{|Ω|}} = \frac{\frac{100}{5000}}{\frac{300}{5000}} = \frac{1}{3}.

Definition 2.14 (bedingte Wahrscheinlichkeit) (Ω, 𝔄, P) sei ein Wahrscheinlichkeitsraum und A, B ∈ 𝔄 sowie P (B) > 0.

P (A|B) = \frac{P (A ∩ B)}{P (B)}

heißt (elementare) bedingte Wahrscheinlichkeit von A unter (der Hypothese) B. Durch

P (•|B) : 𝔄 → [0, 1] | A ↦ P (A|B)

wird eine Wahrscheinlichkeitsverteilung auf 𝔄 definiert, die (elementare) bedingte Verteilung unter B.

Satz 2.15 (Ω, 𝔄, P) sei ein Wahrscheinlichkeitsraum und B_{n} ∈ 𝔄, n ∈ ℕ eine Partition von Ω, d.h. ⋃_{n=1}^{∞} B_{n} = Ω und alle B_{n} paarweise disjunkt.

a) Satz von der totalen Wahrscheinlichkeit

∀A ∈ 𝔄 : P (A) = ∑_{n=1}^{∞} P (A|B_{n}) · P (B_{n})

Beweis :

P (A) = P ( ⨄_{n=1}^{∞} A ∩ B_{n}) = ∑_{n=1}^{∞} P (A ∩ B_{n}) = ∑_{n=1}^{∞} P (A|B_{n}) · P (B_{n})

b) Bayes-Formel Falls P (A) > 0, so gilt ∀n ∈ ℕ

P (B_{n}|A) = \frac{P (A|B_{n}) · P (B_{n})}{∑_{j=1}^{∞} P (A|B_{j}) · P (B_{j})}

Beweis :

P (B_{n}|A) = \frac{P (B_{n} ∩ A)}{P (A)} = \frac{P (A|B_{n}) · P (B_{n})}{∑_{j=1}^{∞} P (A|B_{j}) · P (B_{j})}

Wichtiger Spezialfall: Gelte

P (A|B) = P (A |B^{∁}) , falls P (B), P (B^{∁}) > 0

Die Wahrscheinlichkeit für das Eintreten von A hängt also nicht vom Eintreten von B ab. Dann gilt

P (A) = P (A ∩ B) + P (A ∩ B^{∁}) = P (A|B) P (B) + P (A |B^{∁}) P (B^{∁})
= P (A|B) · (P (B) + P (B^{∁})) = P (A|B) = \frac{P (A ∩ B)}{P (B)}
⟺ P (A) P (B) = P (A ∩ B).

Diese Definition wird auf n Ereignisse A_{1}, …, A_{n} ∈ 𝔄, bzw. auf Folgen von Ereignissen, erweitert.

Definition 2.16 (stochastische Unabhängigkeit) (Ω, 𝔄, P) sei ein Wahrscheinlichkeitsraum und A_{1}, …, A_{n} ∈ 𝔄 seien Ereignisse. Dann heißen A_{1}, …, A_{n} (gemeinsam) stochastisch unabhängig (s.u.), wenn sich die Wahrscheinlichkeit eines beliebigen Durchschnitts bestimmen läßt als das Produkt der Einzelwahrscheinlichkeiten:

P (A_{i_{1}} ∩ … ∩ A_{i_{k}}) = P (A_{i_{1}}) · . . . · P (A_{i_{k}}) ∀1 ≤ i_{1} < ⋯ < i_{k} ≤ n ∀k.

Eine Folge {A_{n}}_{n∈ℕ} von Ereignissen heißt stochastisch unabhängig, wenn ∀n ∈ ℕ : A_{1}, ⋯, A_{n} stochastisch unabhängig sind (wenn jede beliebige Auswahl stochastisch unabhängig ist). Beachte: Aus paarweiser stochastischer Unabhängigkeit folgt nicht die stochastische Unabhängigkeit.

Lemma 2.17 (Ω, 𝔄, P) sei ein Wahrscheinlichkeitraum und A_{1}, …, A_{n} ∈ 𝔄. Dann gilt

A_{1}, ..., A_{n} s.u. ⟺ ∀B_{i} ∈ {A_{i}, A_{i}^{∁}} , i = 1, …, n : P (⋂_{i=1}^{n} B_{i}) = ∏_{i=1}^{n} P (B_{i})
A_{1}, ..., A_{n} s.u. ⟺ ∀B_{i} ∈ {A_{i}, A_{i}^{∁}} , i = 1, …, n : B_{1}, ..., B_{n} s.u.

Also: Die Komplementbildung erhält die stochastische Unabhängigkeit. Beweis siehe MaPf, S. 9, S. 16.

Beispiel 2.18 Man betrachte ein Netzwerk wie es in Abb. 2.1 gegeben ist. Dieses Netzwerk hat 5 neuralgische Stellen K_{1}, …, K_{5} die mit den Wahrscheinlichkeiten P (K_{1}) = 0, 9, P (K_{2}) = 0, 8, P (K_{3}) = 0, 9, P (K_{4}) = 0, 7, P (K_{5}) = 0, 7 intakt sind. Das gesamte System ist intakt, wenn mindestens

[figure: K_{1}; K_{2}; K_{3}; K_{4}; K_{5}]

Abbildung 2.1: Netzwerk

ein Pfad intakt ist. Gesucht ist nun die Wahrscheinlichkeit, daß das System intakt ist.

Modellbildung: Alle p_{i}, i = 1, …, 5 seien Wahrscheinlichkeiten für stochastisch unabhängige Ereignisse (Komponente i ist intakt). Dann sei die Ergebnismenge

Ω = {(x_{1}, …, x_{5}) | x_{i} ∈ {0, 1}} (x_{i} = 1 ⇔ Komponente i ist intakt)

und die untereinander stochastisch unabhängigen Ereignisse A_{i} dafür, daß Komponente i intakt ist seien

A_{i} = {(x_{i}, …, x_{5}) | x_{i} = 1}, P (A_{i}) = p_{i}

Das Ereignis dafür, daß das gesamte System intakt ist, ist folglich

S = (A_{1} ∩ A_{4}) ∪ (A_{2} ∩ A_{4}) ∪ (A_{2} ∩ A_{5}) ∪ (A_{3} ∩ A_{5})
P (S) = P ((A_{1} ∩ A_{4}) ∪ ⋯ ∪ (A_{3} ∩ A_{5}))

S ist also die Vereinigung nicht disjunkter Mengen. Ein Möglichkeit, P (S) auszurechnen, wäre die Zuhilfenahme der Sylvester-Formel, was aber sehr aufwendig ist. Mit Satz 2.15.a folgt

P (S) = P (S|A_{2}) P (A_{2}) + P (S |A_{2}^{∁} ) P (A_{2}^{∁}) und
P (S|A_{2}) = P (A_{4} ∪ A_{5}) = 1 − P (A_{4}^{∁} ∩ A_{5}^{∁}) = 1 − P (A_{4}^{∁}) P (A_{5}^{∁})
= 1 − (1 − p_{4})(1 − p_{5})
P (S |A_{2}^{∁} ) = P ((A_{1} ∩ A_{4}) ∪ (A_{3} ∩ A_{5})) = 1 − P ( \underbrace{(A_{1} ∩ A_{4})}_{s.u.} ^{∁} ∩ \underbrace{(A_{3} ∩ A_{5})}_{s.u.} ^{∁})

= 1 − (1 − p_{1}p_{4})(1 − p_{3}p_{5}) und somit
P (S) = (1 − (1 − p_{4})(1 − p_{5}))p_{2} + (1 − (1 − p_{1}p_{4})(1 − p_{3}p_{5})) · (1 − p_{2})
= 1 − p_{2}(1 − p_{4})(1 − p_{5}) − (1 − p_{2})(1 − p_{1}p_{4})(1 − p_{3}p_{5})
= 0, 90062

Das System ist also zu ca. 90% intakt. Mit Satz 2.15.b folgt desweiteren

P (A_{2}|S) = \frac{P (S|A_{2}) · P (A_{2})}{P (S)} = \frac{0, 91 · 0, 8}{0, 90062} = 0, 80833

die Wahrscheinlichkeit dafür, daß Komponente 2 intakt ist, falls das System intakt ist.

Betrachte Limites von Mengenfolgen, die nicht notwendig auf- oder absteigend sind.

Beispiel 2.19 (unendlicher Münzwurf) Es werde eine Münze unendlich oft geworfen. Dann ist Ω = {ω = (x_{1}, x_{2}, …) | x_{i} ∈ {0, 1}}. Das Ereignis, daß im n-ten Wurf Kopf fällt, ist dann A_{n} = {ω = (x_{1}, x_{2}, …) | x_{n} = 1}. Das Ereignis A sei: Es fällt unendlich oft Kopf, es treten also unendlich viele A_{n} ein.

A = {ω | ω ∈ A_{n} für unendlich viele n}
= {ω | ∀k∃n ≥ k : ω ∈ A_{n}} = ⋂_{k=1}^{∞} ⋃_{n=k}^{∞} A_{n}

Analoges gilt für Ereignis B: Fast alle (bis auf endlich viele) Würfe zeigen Kopf, also fast alle (bis auf endlich viele) A_{n} treten ein

B = {ω | ∃k∀n ≥ k : ω ∈ A_{n}} = ⋃_{k=1}^{∞} ⋂_{n=k}^{∞} A_{n}

Definition 2.20 (Ω, 𝔄, P) sei ein Wahrscheinlichkeitraum und A_{n} ∈ 𝔄, n ∈ ℕ.

lim sup_{n→∞} A_{n} = ⋂_{k=1}^{∞} ⋃_{n=k}^{∞} A_{n} heißt Limes superior der Mengenfolge {A_{n}}

lim inf_{n→∞} A_{n} = ⋃_{k=1}^{∞} ⋂_{n=k}^{∞} A_{n} heißt Limes inferior der Mengenfolge {A_{n}}

Satz 2.21 (Borel-Cantelli-Lemma) (Ω, 𝔄, p) sei ein Wahrscheinlichkeitsraum und {A_{n}}_{n∈ℕ} eine Ereignisfolge mit A_{n} ∈ 𝔄, n ∈ ℕ. Dann gelten

a)

∑_{n=1}^{∞} P (A_{n}) < ∞ ⟹ P (lim sup_{n→∞} A_{n}) = 0.

Beweis: Wegen der Konvergenz der Reihe gilt

P ( ⋃_{n=k}^{∞} A_{n}) ≤ ∑_{n=k}^{∞} P (A_{n}) ⟶^{k→∞} 0,

so daß mit Lemma 2.11.e

P (lim sup_{n→∞} A_{n}) = P ( ⋂_{k=1}^{∞} ⋃_{n=k}^{∞} A_{n}) = lim_{k→∞} P ( ⋃_{n=k}^{∞} A_{n}) = 0.

b) Ist {A_{n}}_{n∈ℕ} stochastisch unabhängig, so gilt

∑_{n=1}^{∞} P (A_{n}) = ∞ ⟹ P (lim sup_{n→∞} A_{n}) = 1

Beweis: Wegen Lemma 2.17 ist die Folge {A_{n}^{∁}} ebenfalls stochastisch unabhängig. Es folgt

P (lim sup_{n→∞} A_{n}) = 1 − P (lim inf_{n→∞} A_{n}^{∁}) = 1 − lim_{k→∞} P ( ⋂_{n=k}^{∞} A_{n}^{∁})

= 1 − lim_{k→∞} (∏_{n=k}^{∞} (1 − P (A_{n}))) = 1.

Sei p_{n} := P (A_{n}). Ist p_{n} = 1 für ein n, so gilt die letzte Gleichheit trivialerweise. Sei also p_{n} < 1 für alle n ∈ ℕ. Wir schließen mit ln x ≤ x − 1 für alle x > 0

∏_{n=k}^{∞}(1 − p_{n}) = exp (∑_{n=k}^{∞} ln(1 − p_{n})) ≤ exp (− ∑_{n=k}^{∞} p_{n}) ⟶^{k→∞} 0,

da nach Voraussetzung ∑_{n=k}^{∞} p_{n} = ∞ für alle k ∈ ℕ.

Beispiel 2.22 Betrachte einen unendlichen Würfelwurf, wobei die Ergebnisse der einzelnen Würfe unabhängig voneinander sind. Sei Ω = {ω = (ω_{1}, ω_{2}, …) | ω_{i} ∈ {1, 2, 3, 4, 5, 6}}. Gesucht ist nun die Wahrscheinlichkeit, daß unendlich oft die Sequenz (1, 2, 3, 4, 5, 6) fällt. Setze A_{n} = {ω | ω_{n} = 1, …, ω_{n+5} = 6}, also Ereignis dafür, daß ab dem n-ten Wurf die Sequenz fällt. Die Folge {A_{6n}} ist stochastisch unabhängig, da Überlappungen ausgeschlossen sind. Mit dem Borel-Cantelli-Lemma folgt

P (lim sup_{n→∞} A_{n}) ≥ P (lim sup_{n→∞} A_{6n}) = 1,

da ∑_{n=1}^{∞} P (A_{6n}) = ∑_{n=1}^{∞} \frac{1}{6^{6}} = ∞.

Zufallsvariablen und ihre Verteilung

Der bisher behandelte Wahrscheinlichkeitsraum (Ω, 𝔄, P) dient zur Beschreibung von Zufallsexperimenten und zur Modellierung von Zufallseinflüssen. Oft interessiert jedoch nicht das gesamte Modell, sondern nur gewisse Teilgrößen, wie z.B. 5000 Stichproben mit dem Ausgang ”gut“ oder ”schlecht“, wobei nur die Anzahl der ”schlechten“ Stücke von Interesse ist. So ist die ursprüngliche Ergebnismenge Ω = {(x_{1}, …, x_{5000}) | x_{i} ∈ {g, s}}, von Interesse ist aber nur die Teilmenge T = {0, …, 5000}. Die Ergebnisse von Zufallsexperimenten sind oft Zahlen oder Vektoren. Dabei sind arithmetische Operationen oft sehr hilfreich. Sei beispielsweise analog zum vorhergehenden Beispiel das Experiment ein 5000-facher Münzwurf mit dem jeweiligen Ergebnis 0 oder 1 (x_{1}, …, x_{5000} ∈ {0, 1}). Man interessiert sich nun für die Anzahl der Einsen, welche ∑_{i=1}^{5000} x_{i} beträgt oder man interessiert sich für die mittlere Verzögerungszeit \overline{x} in einem Switch, x_{1}, …, x_{n} ∈ ℝ^{+}, wobei n Verzögerungen gemessen werden. Dann gilt

\overline{x} = \frac{1}{n} ∑_{i=1}^{n} x_{i}.

Definition 3.1 (Zufallsvariable) Sei (Ω, 𝔄, P) ein Wahrscheinlichkeitsraum. Eine Abbildung X : Ω → ℝ heißt Zufallsvariable (ZV) oder Zufallsgröße (engl.: random variable (r.v.)), wenn

X^{−1}(B) := {ω ∈ Ω | X(ω) ∈ B} =: {X ∈ B} ∈ 𝔄 ∀B ∈ 𝔅^{1}.

Diese Bedingung^{1} heißt Meßbarkeit von X . Schreibweise: X : (Ω, 𝔄) → (ℝ, 𝔅^{1}) (X ist eine Abbildung und meßbar). Der Begriff ”Zufallsvariable“ hat sich eingebürgert, obwohl es sich eigentlich um ”Funktionen“ mit Messbarkeit handelt. Betont wird die Modellierung des Zufalls, — wichtig ist die Verteilung von Zufallsvariablen.

1Existenz des Urbildes

Lemma 3.2 Sei X : (Ω, 𝔄) → (ℝ^{1}, 𝔅^{1}) eine Zufallsvariable. Durch

P^{X}(B) := P (X^{−1}(B)) = P ({w | X(ω) ∈ B}) =:^{kurz} P (X ∈ B), B ∈ 𝔅^{1}

wird eine Wahrscheinlichkeitsverteilung auf (ℝ, 𝔅^{1}) definiert. P^{X} heißt Verteilung der Zufallsvariablen X. Beweis: Es ist Definition 2.10 zu überprüfen:

(i) P^{X}(ℝ) = P (X^{−1}(ℝ)) = P (Ω) = 1

(ii) Seien B_{n} paarweise disjunkt (p.d.), B_{n} ∈ 𝔅^{1}, n ∈ ℕ. Dann gilt

P^{X} ( ⋃_{n=1}^{∞} B_{n}) = P \underbrace{(X^{−1} \underbrace{( ⋃_{n=1}^{∞} B_{n})}_{∈𝔅^{1}})}_{∈𝔄} = P ( ⋃_{n=1}^{∞} \underbrace{X^{−1} (B_{n})}_{p.d.})

= ∑_{n=1}^{∞} P (X^{−1} (B_{n})) = ∑_{n=1}^{∞} P^{X} (B_{n}) .

Wesentlich in Definition 3.1 ist die ”Meßbarkeit“, d.h. die Zufallsvariablen induzieren auf (ℝ, 𝔅^{1}) die Verteilung P^{X}. Ein mathematisches Modell für Zufallsexperimente ist häufig

(Ω, 𝔄, P) ⟶^{X} (ℝ^{1}, 𝔅^{1}, P^{X})

Hierin modelliert der Wahrscheinlichkeitsraum (Ω, 𝔄, P) alle Zufallseinflüsse, wobei das Wissen um seine Existenz ausreicht und genauere Kenntnisse oft nicht erforderlich sind. (ℝ^{1}, 𝔅^{1}, P^{X}) ist ebenfalls ein Wahrscheinlichkeitsraum (in dem die bekannten Regeln gelten), der die interessierenden, beobachteten Größen modelliert. P^{X} ist oft bis auf Parameter bekannt.

Beispiel 3.3 (Binomialverteilung) Betrachtet werde wiederum ein n -facher Münzwurf, in dem Kopf der Eins und Zahl der Null entspreche. Die Würfe sind unabhängig voneinander, die Wahrscheinlichkeit für Kopf sei p und die für Zahl (1 − p) in jedem Wurf. Mathematisches Modell: Ω = {ω = (x_{1}, …, x_{n}) | x_{i} ∈ {0, 1}}, 𝔄 = 𝔓(Ω) sei die Ergebnismenge und die Wahrscheinlichkeit, eine bestimmte Folge von Ausfällen zu erhalten ist

P (\{(x_{1}, …, x_{n})\}) = \underbrace{p · . . . · p}_{Anzahl Einsen} · \underbrace{(1 − p) · . . . · (1 − p)}_{Anzahl Nullen in (x_{1},··· ,x_{n})} .

= p^{∑_{i=1}^{n} x_{i}} · (1 − p)^{n−∑_{i=1}^{n} x_{i}}

Die Zufallsvariable X sei die Anzahl der Einsen, also

X(ω) = X ((x_{1}, …, x_{n})) = ∑_{i=1}^{n} x_{i}

mit einem Wertebereich von X: T = {0, 1, 2, …, n}. Die Verteilung von X ist dann

P^{X}({k}) = P (X^{−1}({k})) = P ({ω | X(ω) = k}) = P (X = k)
= P ({(x_{1}, …, x_{n}) | ∑_{i=1}^{n} x_{i} = k})
= ∑ ; (x_{1},...,x_{n}) : ∑_{i=1}^{n} x_{i}=k p^{∑_{i=1}^{n} x_{i}} · (1 − p)^{n−∑_{i=1}^{n} x_{i}}
= ∑ ; (x_{1},...,x_{n}) : ∑_{i=1}^{n} x_{i}=k p^{k}(1 − p)^{n−k}

= \binom{n}{k}p^{k}(1 − p)^{n−k}, k = 0, 1, …, n.

Eine Zufallsvariable heißt binomialverteilt mit Parametern n ∈ ℕ, p ∈ [0, 1], wenn

P (X = k) = \binom{n}{k}p^{k}(1 − p)^{n−k}, k = 0, 1, …, n.

Notation: X ∼ Bin(n, p). Bin(n, p) ist die Verteilung der Anzahl der ”Treffer“ in einer Bernoulli^{2}-Serie der Länge n mit Trefferwahrscheinlichkeit p.

Im Folgenden werden allgemeine Methoden zur Beschreibung von Wahrscheinlichkeitsverteilungen angegeben, — direkt formuliert für Zufallsvariablen. Mit X = id_{X} lassen sich die folgenden Überlegungen auch direkt auf Wahrscheinlichkeitsmaße P anwenden.

3.1 Diskrete Verteilungen, Zufallsvariablen

Definition 3.4 Eine Zufallsvariable X (auf einem Wahrscheinlichkeitsraum (Ω, 𝔄, P)) bzw. deren Verteilung P^{X} heißt diskret, wenn eine höchstens abzählbare Menge T = {t_{1}, t_{2}, …} mit P^{X}(T) = P (X ∈ T) = 1 existiert. T heißt Träger (engl.: support) von X bzw. P^{X}.

Sei X eine diskrete Zufallsvariable mit Träger T = {t_{1}, t_{2}, …}, A ∈ 𝔅^{1}. Dann gilt

P^{X}(A ∩ T) = P^{X}(A) + \underbrace{P^{X}(T)}_{=1} − \underbrace{P^{X}(A ∪ T)}_{=1} = P^{X}(A).

2Münzwurf der Länge n mit unabhängigen Würfen und einer Trefferwahrscheinlichkeit von p

Also gilt

P (X ∈ A) = P^{X}(A) = P^{X}(A ∩ T) = P^{X} (⨄_{i=1}^{∞} (A ∩ {t_{i}}))
= ∑_{i: t_{i}∈A} P^{X} ({t_{i}}) = ∑_{i: t_{i}∈A} P (X = t_{i})

d.h., P^{X}, die Verteilung von X, ist eindeutig festgelegt durch P (X = t_{i}), i = 1, 2, . . ..

Definition 3.5 Sei X eine diskrete Zufallsvariable mit Träger T = {t_{1}, t_{2}, …}. Die Abbildung f_{X} : T → [0, 1] mit f_{X}(t_{i}) = P (X = t_{i}), i = 1, 2, … heißt Zähldichte (engl.: discrete density function) der Zufallsvariablen X.

X ∼ Bin(n, p) von Beispiel 3.3 ist ein Beispiel für eine diskrete Zufallsvariable mit

f_{X}(k) = \binom{n}{k}p^{k}(1−p)^{n−k}, k = 0, 1, …, n (0 ≤ p ≤ 1 ist ein Parameter).

Beispiel 3.6 (geometrische Verteilung) Betrachtet werde ein unendlicher, unabhängiger Münzwurf wie in Beispiel 3.3. Die Zufallsvariable sei nun aber die ”Wartezeit“ bis zum ersten Auftreten der Eins, bis also das erste Mal Kopf fällt. Der Träger ist demnach wiederum T = ℕ_{0}. Die Wahrscheinlichkeit, daß erst beim k-ten Wurf die Eins fällt, ist

P (X = k) = P ({ω = (x_{1}, x_{2}, …) | x_{1} = x_{2} = … = x_{k} = 0, x_{k+1} = 1}
= (1 − p)^{k}p, k = 0, 1, 2, …

Allgemein heißt die Verteilung mit Zähldichte

f_{X}(k) = (1 − p)^{k}p, k = 0, 1, 2, … (0 < p ≤ 1 ein Parameter)

geometrische Verteilung. Bezeichnung:

X ∼ Geo(p), 0 < p ≤ 1.

Probe:

∑_{k=0}^{∞}(1 − p)^{k}p = p ∑_{k=0}^{∞}(1 − p)^{k} = p\frac{1}{1 − (1 − p)} = 1

Beispiel 3.7 (Poissonverteilung, Gesetz seltener Ereignisse) Sei p_{n} ∈ (0, 1) mit np_{n} ⟶^{n→∞} λ, λ > 0. Dann gilt

\binom{n}{k}p_{n}^{k}(1 − p_{n})^{n−k} ⟶^{n→∞} e^{−λ} \frac{λ^{k}}{k!} ∀k ∈ ℕ_{0}.

Es gilt

e^{−λ} \frac{λ^{k}}{k!} ≥ 0 und e^{−λ} \underbrace{∑_{k=0}^{∞} \frac{λ^{k}}{k!}}_{=e^{λ}} = 1.

Eine diskrete Zufallsvariable X mit Träger ℕ_{0} und Zähldichte

f_{X}(k) = e^{−λ} \frac{λ^{k}}{k!} , k = 0, 1, 2, …

heißt Poisson-verteilt, wobei λ > 0 ein Parameter ist. Bezeichnung:

X ∼ P oi(λ), λ > 0.

Als Interpretation stelle man sich das Intervall [0, 1] in n Stücke der Länge \frac{1}{n} unterteilt vor. Dann ist die Wahrscheinlichkeit für das Auftreten eines Ereignisses in jedem Teilstück p_{n} = \frac{λ}{n}. Bei stochastischer Unabhängigkeit ist die Gesamtzahl des Auftretens der Ereignisse Bin(n, p_{n})-verteilt. Die zugehörige Zähldichte konvergiert mit n → ∞ gegen die Zähldichte der P oi(λ)-Verteilung.

3.2 Verteilungsfunktionen

Definition 3.8 Eine Funktion F : ℝ → [0, 1] mit den Eigenschaften

(i) F ist monoton steigend (nicht notwendig streng monoton).

(ii)  lim_{x→+∞} F (x) = 1 und lim_{x→−∞} F (x) = 0

(iii) F ist rechtsseitig stetig (d.h. ∀x_{0}, x_{n} ↓ x_{0} : F (x_{n}) → F (x_{0}))

heißt Verteilungsfunktion (VF) (engl.: (cumulative) distribution function (cdf)).

Beispiele:

Ok:  Falsch:

Ok:  Ok:

Satz 3.9 Sei (Ω, 𝔄, P) ein Wahrscheinlichkeitsraum und X : (Ω, 𝔄) → (ℝ^{1}, 𝔅^{1}) eine Zufallsvariable. Durch

F_{X}(x) = P (X ≤ x) = P ({ω ∈ Ω | X(ω) ≤ x})
= P (X ∈ (−∞, x])
= P^{X}((−∞, x]), x ∈ ℝ

wird eine Verteilung definiert, die Verteilungsfunktion der Zufallsvariablen X bzw. der Verteilung P^{X}.

Verteilungen auf (ℝ^{1}, 𝔅^{1}) werden eindeutig durch Verteilungsfunktionen beschrieben.

Satz 3.10 (Eindeutigkeitssatz für Verteilungsfunktionen) Zwei Zufallsvariablen X und Y besitzen dieselbe Verteilung (auf (ℝ^{1}, 𝔅^{1})) genau dann, wenn

F_{X}(x) = F_{Y} (x) ∀x ∈ ℝ.

Beweis: Die Hinrichtung ist einfach, die Rückrichtung benutzt den Fortsetzungssatz und den Eindeutigkeitssatz der Maßtheorie.

Beispiel 3.11 (Verteilungsfunktionen)

a) X heißt gleichverteilt (rechteckverteilt) auf [0,1] (engl.: uniform (rectangular) distributed), wenn

F_{X}(x) = \{ \begin{matrix}0 : & x ≤ 0 \\ x : & 0 ≤ x ≤ 1 \\ 1 : & x ≥ 1 \end{matrix} .

[figure: 1; 1]

Abbildung 3.1: Rechteckverteilung

Bezeichnung:

X ∼ R(0, 1).

Sei nun 0 ≤ a < b ≤ 1. Dann gilt

P (a < X ≤ b) = P ({ω | a < X(ω) ≤ b})
= P ({ω | X(ω) ≤ b} \ {ω | X(ω) ≤ a})
= P ({ω | X(ω) ≤ b}) − P ({ω | X(ω) ≤ a})
= P (X ≤ b) − P (X ≤ a) = F_{X}(b) − F_{X}(a)
= b − a.

Die Wahrscheinlichkeit für einen zufälligen Wert im Intervall [a, b] ist also gleich der Länge des Intervalls (a, b], nämlich b − a.

Analog ist die Rechteckverteilung auf einem Intervall (a, b] definiert (X ∼ R(a, b), a < b ∈ ℝ), nämlich

F_{X}(x) = \{ \begin{matrix}0  : & x ≤ a \\ \frac{1}{b−a}(x − a) : & a ≤ x ≤ b \\ 1  : & x ≥ b \end{matrix}

Beispielsweise ist für P (c < X ≤ d) mit a < c < d < b

P (c < X ≤ d) = F_{X}(d) − F_{X}(c) = \frac{1}{b − a}(d − a) − \frac{1}{b − a}(c − a)
= \frac{1}{b − a}(d − c).

b) X heißt exponentialverteilt (X ∼ Exp(λ) mit Parameter λ > 0), wenn

F_{X}(x) = \{ \begin{matrix}1 − e^{−λx} : & x ≥ 0 \\ 0 : & x ≤ 0 \end{matrix} = (1 − e^{−λx}) 𝕀_{[0,∞)}(x).

In letzterer Darstellung wurde die Indikatorfunktion (𝕀) benutzt. Diese ist wie folgt definiert

𝕀_{A}(x) = \{ \begin{matrix}1 : & x ∈ A \\ 0 : & x ∉ A \end{matrix}

Abbildung 3.2: Exponentialverteilung c) Sei X eine diskrete Zufallsvariable mit geordnetem Träger T = {t_{1}, t_{2}, …} ⊂

ℝ, t_{1} < t_{2} < t_{3} < …, und der Zähldichte f_{X}(t_{i}) = p_{i}, p_{i} ≥ 0, ∑_{i=1}^{∞} p_{i} = 1. Dann ist

F_{X}(x) = P (X ≤ x) = ∑_{k: t_{k}≤x} P (X = t_{k}) = ∑_{k: t_{k}≤x} p_{k}

= ∑_{j=1}^{k−1} p_{j}, falls t_{k−1} ≤ x < t_{k}, k = 1, 2, … (t_{0} = −∞).

Abbildung 3.3: Treppenfunktion

Sei beispielsweise X geometrisch verteilt (X ∼ Geo(p)), also

f_{X}(k) = (1 − p)^{k}p, k ∈ ℕ_{0} (0 < p ≤ 1)

Es gilt dann

∑_{j=0}^{k}(1 − p)^{j}p = p\frac{1 − (1 − p)^{k+1}}{1 − (1 − p)} = 1 − (1 − p)^{k+1}.

Also ist

F_{X}(x) = \{ \begin{matrix}0 : & x < 0 \\ 1 − (1 − p)^{⌊x⌋+1} : & x ≥ 0 \end{matrix}

die Verteilungsfunktion der geometrischen Verteilung.

3.2.1 Berechnung von Wahrscheinlichkeiten durch Verteilungsfunktionen

Sei X eine Zufallsvariable mit Verteilungsfunktion F_{X}(x) = P (X ≤ x), a < b ∈ ℝ.

• Es gilt

P (a < X ≤ b) = P^{X} ((a, b]) = P^{X} ((−∞, b] \ (−∞, a])
= P^{X} ((−∞, b]) − P^{X} ((−∞, a]) = P (X ≤ b) − P (X ≤ a)
= F_{X}(b) − F_{X}(a).

• Sei a ∈ ℝ, a_{n} ≤ a_{n+1} < a, a_{n} ⟶^{n→∞} a. Dann ist (a_{n}, a] absteigend mit

lim_{n→∞}(a_{n}, a] = {a} (Mengenfolge nicht Zahlenfolge) und

P (X = a) = P^{X}({a}) = P^{X} ( lim_{n→∞}(a_{n}, a]) =^{2.11e} lim_{n→∞} P^{X}((a_{n}, a])
= lim_{n→∞} (F_{X}(a) − F_{X}(a_{n})) = F_{X}(a) − lim_{n→∞} F_{X}(a_{n})
=^{kurz} F_{x}(a) − \underbrace{F_{X}(a−)}_{linksseitiger Grenzwert von F_{X}(a)}

Insbesondere gilt P (X = a) = 0 ∀a ∈ ℝ, falls F_{X} stetig ist.

• Es gilt

P (a ≤ X ≤ b) = P (X = a) + P (a < X ≤ b)
= F_{X}(a) − F_{X}(a−) + F_{X}(b) − F_{X}(a)
= F_{X}(b) − F_{X}(a−).

Beispiel: Sei X die Bedienzeit von Anforderungen an einem Server und sei X ∼ Exp(λ), λ > 0. Bestimme nun die Zeit x_{α}, unterhalb derer die Bedienzeit mit vorgegebender Wahrscheinlichkeit α liegt. Bestimme also x_{α} mit P (X ≤ x_{α}) = α. Sei beispielsweise P (X ≤ x_{α}) = α = 0, 99. Das bedeutet, daß in 99% der Fälle die Bedienzeit kürzer als x_{α} ist.

Definition 3.12 Sei X eine Zufallsvariable mit Verteilungsfunktion F_{X}(x). Dann heißt

x_{α} = min{x | F_{X}(x) ≥ α}, 0 ≤ α ≤ 1

α-Quantil (α-Percentil, (1 − α)-Fraktil) von F_{X}.

F_{X}^{−}(t) = min{x | F_{X}(x) ≥ t}, t ∈ (0, 1)

heißt Pseudoinverse von F_{X}.

\underline{26 3.3 Dichten}

• Graphisch bedeutet diese Definition bei nicht stetigen Verteilungsfunktionen:

• Ist F invertierbar, so gilt F^{−} = F^{−1} (Inverse)

x_{\frac{1}{2}} , also α = \frac{1}{2} heißt Median von F_{X}. Es gilt P (X ≤ x_{\frac{1}{2}} ) ≥ \frac{1}{2} und

P (X < x_{\frac{1}{2}} ) ≤ \frac{1}{2}. Der Median ”halbiert“ die Verteilung, in diesem Sinn ist er der ”mittlere“ Wert. ”Der Median ist ein Schätzer für den mittleren Wert, der robust gegen Ausreißer ist.“.

3.3 Dichten

Dieser Abschnitt behandelt Methoden zur Konstruktion von Verteilungsfunktionen und Verteilungen.

Definition 3.13 Sei die Funktion f : ℝ → ℝ^{+} (uneigentlich Riemann-) integrierbar mit ∫_{−∞}^{∞} f(x)dx = 1. Durch

F (x) = ∫_{−∞}^{x} f(t)dt

wird eine Verteilungsfunktion definiert. Gilt für eine Zufallsvariable X, daß F_{X}(x) = F (x), so heißt f (Verteilungs-) Dichte von X (bzw. P^{X}) (f: probability density function (pdf)). X (bzw. P^{X}) heißt dann absolut-stetig. Mit dem Hauptsatz der Differential- und Integralrechnung folgt:

f(x) = F′(x)

für alle Stetigkeitspunkte x von f.

Beispiel 3.14 a) Die Rechteckverteilung auf [a, b], a < b ∈ ℝ (X ∼ R(a, b))

\begin{aligned}f(x) & = & \{ \begin{matrix}\frac{1}{b−a} : & a ≤ x ≤ b \\ 0 : & sonst \end{matrix} \\ & = & \frac{1}{b − a} 𝕀_{[a,b]}(x), x ∈ ℝ \end{aligned}

hat die Verteilungsfunktion

F (x) = ∫_{−∞}^{x} f(t)dt = \{ \begin{matrix}\frac{1}{b−a}(x − a) : & a ≤ x ≤ b \\ 0  : & x ≤ a \\ 1  : & x ≥ b \end{matrix} .

Die Dichte f̂(x) = \frac{1}{b−a} 𝕀_{(a,b)}(x) führt zu derselben Verteilungsfunktion F. Dichten sind nicht eindeutig, — sie sind ”fast sicher eindeutig“^{3}.

b) Die Exponentialverteilung (X ∼ Exp(λ), λ > 0)

f(x) = λe^{−λx}𝕀_{[0,∞)}(x), x ∈ ℝ

hat die Verteilungsfunktion F (x) = ∫_{−∞}^{x} f(t)dt = ∫_{0}^{x} λe^{−λt}dt = −e^{−λt} |_{0}^{x}= 1 − e^{−λx}, x ≥ 0

c) Die Normalverteilung X ∼ N(μ, σ^{2}), μ ∈ ℝ, σ > 0

f(x) = \frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} , x ∈ ℝ

hat keine geschlossene Darstellung ihrer Verteilungsfunktion

F (x) = \frac{1}{\sqrt{2π}σ} ∫_{−∞}^{x} e^{− \frac{(t−μ)^{2}}{2σ^{2}}} dt = Φ(x)

Die Berechnung erfolgt daher numerisch, approximativ oder mit Tabellen.

3siehe später

3.3.1 Berechung von Wahrscheinlichkeiten mit Dichten

Sei X eine Zufallsvariable mit Verteilungsfunktion F_{X}, Dichte f_{X} und a < b ∈ ℝ

• Es gilt

P (a < X ≤ b) = F_{X}(b) − F_{X}(a) = ∫_{−∞}^{b} f_{X}(t)dt − ∫_{−∞}^{a} f_{X}(t)dt
= ∫_{a}^{b} f_{X}(t)dt.

• Es gilt P (X = a) = F_{X}(a) − F_{X}(a^{−}) = 0, da F_{X}(x) = ∫_{−∞}^{x} f_{X}(t)dt stetig ist.

• Es gilt

P (a ≤ X ≤ b) = P (a ≤ X < b) = P (a < X < b)
= ∫_{a}^{b} f_{X}(t)dt.

• Allgemein gilt bei absolut stetigen Zufallsvariablen, daß

P = (X ∈ ⟨a, b⟩) = ∫_{a}^{b} f_{X}(t)dt,

wobei ⟨⟩ beliebig für ”abgeschlossen“ oder ”offen“ stehen.

• Man schreibt allgemein für Mengen B ∈ 𝔅^{1}

P (X ∈ B) = ∫_{B} f_{X}(t)dt,

auch wenn B kein Intervall ist.

3.4 Erzeugende Funktionen und Laplace-Transform-ierte

In diesem Abschnitt wird eine weitere Methode zur eindeutigen Beschreibung von Verteilungen behandelt.

Definition 3.15 a) Sei X eine diskrete Zufallsvariable mit dem Träger T = {t_{0}, t_{1}, t_{2}, …}

und Zähldichte f_{X}(t_{k}) = p_{k}, k ∈ ℕ_{0}. Dann heißt

G_{X}(z) := ∑_{k=0}^{∞} p_{k}z^{k}, |z| < 1,

(ex. für |z| ≤ 1, da ∑_{k=0}^{∞} p_{k} Majorante mit Wert 1.)

erzeugende Funktion von X bzw. P^{X} (auch Z-Transformation, engl.: probability generating function).

b) Sei X eine absolut-stetige Zufallsvariable mit Dichte f_{X}, wobei f_{X}(x) = 0 ∀x < 0 (d.h. P (X < 0) = 0). Dann heißt

L_{X}(s) := ∫_{0}^{∞} e^{−sx}f_{X}(x)dx, s ≥ 0

(ex. für s ≥ 0, da
e^{−sx} ≤ 1(x ≥ 0) und
∫_{0}^{∞} e^{−sx}f(x)dx ≤
∫_{0}^{∞} f(x)dx = 1.)

Laplace-Transformierte von X bzw. P^{X}.

Analog zu Satz 3.10 für Verteilungsfunktionen gilt auch hier Eindeutigkeit.

Satz 3.16

a) X und Y seien diskrete Zufallsvariablen (Verteilungen) mit demselben Träger T. X und Y besitzen dieselben Verteilungen genau dann, wenn

G_{X}(z) = G_{Y} (z), ∀|z| ≤ 1.

b) X und Y seien absolut-stetige Zufallsvariablen mit f_{X}(x) = f_{Y} (x) = 0, ∀x < 0 X und Y besitzen dieselbe Verteilungen genau dann, wenn

L_{X}(s) = L_{Y} (s), ∀s ≥ 0.

Also: Transformierte bestimmen die Verteilung eindeutig.

Beweis:

a) Eindeutigkeitssatz für Potenzreihen

b) Feller II, p. 408, Chapter XIII,1 oder Satz von Stone-Weierstraß

Satz 3.17 (Inversionsformeln)

a) G_{X}(z) sei die erzeugende Funktion einer diskreten Verteilung X mit Träger T = {t_{0}, t_{1}, t_{2}, …}. Dann gilt

P (X = t_{k}) = \frac{1}{k!} G_{X}^{(k)}(0).

b) L_{X}(s) sei eine Laplace-Transformierte einer absolut stetigen Zufallsvariablen X. Dann gilt

f_{X}(x) = lim_{y→∞} \frac{1}{2πi} ∫_{c−iy}^{c+iy} e^{sx}L_{X}(s)ds ∀c ∈ ℝ

(Integration über den Weg c − iy → c + iy)

Beispiel 3.18 Beispiele für erzeugende Funktionen und Laplace-Transform-ierte wichtiger Verteilungen:

a) Geometrische Verteilung (X ∼ Geo(p), 0 < p ≤ 1)

G_{X}(z) = ∑_{k=0}^{∞}(1 − p)^{k}pz^{k} = p ∑_{k=0}^{∞}((1 − p)z)^{k}
= \frac{p}{1 − z + pz} , |z| ≤ 1

b) Poissonverteilung (X ∼ P oi(x), λ > 0)

G_{X}(z) = ∑_{k=0}^{∞} e^{−λ} \frac{λ^{k}}{k!} z^{k} = e^{−λ} ∑_{k=0}^{∞} \frac{(λz)^{k}}{k!}
= e^{−λ}e^{λz} = e^{−λ(1−z)}, z ∈ ℝ

c) Rechteckverteilung (X ∼ R(0, 1))

L_{X}(s) = ∫_{0}^{∞} e^{−sx} · 𝕀_{[0,1]}(x)dx = ∫_{0}^{1} e^{−sx}dx
= −\frac{1}{s}e^{−sx}|_{0}^{1} = −\frac{1}{s}e^{−s} + \frac{1}{s} = \frac{1 − e^{−s}}{s} , s ≥ 0

d) Exponentialverteilung (X ∼ Exp(λ))

L_{X}(s) = ∫_{0}^{∞} e^{−sx}λe^{−λx}dx = λ ∫_{0}^{∞} e^{−(s+λ)x}dx
= \frac{λ}{λ + s} \underbrace{∫_{0}^{∞}(λ + s)e^{−(s+λ)x}dx}_{=1, da Int. über Dichte} = \frac{λ}{λ + s}

Produkträume und Zufallsvektoren

Dieses Kapitel behandelt Zufallsexperimente, die mehrere Ausgänge haben (gleichzeitig oder dasselbe Experiment mehrfach wiederholt). Modell für Zufallsexperiment mit mehreren Ausgängen:

(Ω, 𝔄, P) ⟶^{X_{1}(ω)} (ℝ^{1}, 𝔅^{1})
⟶^{X_{2}(ω)} (ℝ^{1}, 𝔅^{1})

⋮
⟶^{X_{n}(ω)} (ℝ^{1}, 𝔅^{1})

Man betrachtet also eine Abbildung der Form

(Ω, 𝔄, P) ⟶^{X=(X_{1},...,X_{n})} (ℝ^{n}, ?, ?) W elche gemeinsame Verteilung ? W elche σ−Algebra ?

4.1 Produkträume

Gegeben seien n Meßräume (Ω_{i}, 𝔄_{i}), i = 1, …, n (häufig von der Form (ℝ^{1}, 𝔅^{1})). Definiere nun einen neuen Meßraum Ω mit

Ω = Ω_{1} × … × Ω_{n} = {ω = (ω_{1}, …, ω_{n}) | ω_{i} ∈ Ω_{i}}.

Es muß nun eine σ − Algebra über Ω gewählt werden. Der naheliegenste Ansatz wäre, diese durch

ε = {A_{1} × … × A_{n} | A_{i} ∈ 𝔄_{i}, i = 1, …, n}

zu definieren. ε ist aber i.A. keine σ-Algebra über Ω, denn wähle Ω_{1} = Ω_{2} = ℝ^{1} und 𝔄_{1} = 𝔄_{2} = 𝔅^{1}. Dann ist

c_{1} = [−1, 0] × [−1, 0] ∈ ε
c_{2} = [0, 1] × [0, 1] ∈ ε,

aber

c_{1} ∪ c_{2} ∉ ε,

denn die Vereinigung ist nicht als kartesisches Produkt zweier Menge darstellbar.

[figure: c_{1}; c_{2}]

Abbildung 4.1: Mengen im ℝ^{2}

Definition 4.1 (Produkt-σ-Algebra) (Ω_{i}, 𝔄_{i}), i = 1, …, n seien Meßräume und ε = {A_{1} × … × A_{n} | A_{i} ∈ 𝔄_{i}}. Dann heißt

⨂_{i=1}^{n} 𝔄_{i} := 𝔄(ε)

Produkt-σ-Algebra von 𝔄_{1}, …, 𝔄_{n} über Ω = Ω_{1} × … × Ω_{n} und

(Ω_{1} × … × Ω_{n}, ⨂_{i=1}^{n} 𝔄_{i})

Produkt-Meßraum des Meßraumes (Ω_{i}, 𝔄_{i}), i = 1, …, n.

Beispiel 4.2 Sei (Ω_{i}, 𝔄_{i}) = (ℝ^{1}, 𝔅^{1}) und ε = {B_{1} × … × B_{n} | B_{i} ∈ 𝔅^{1}}, dann heißt 𝔄(ε) = 𝔅^{n} n-dimensionale Borelsche-σ-Algebra. Zum Beispiel wäre ein Element aus ε für n = 2 graphisch: Ebenfalls enthalten sind

• alle abzählbaren Vereinigungen von Rechtecken

• Linien (durch abzählbare Schnitte und Vereinigungen von Rechtecken)

[figure: B_{2}; B_{1}]

Abbildung 4.2: B_{1} × B_{2} ∈ ε

• ”Dreiecksflächen“ ({x_{i} ≥ 0 | ∑_{i=0}^{n} x_{i} ≤ t})

• Kreisflächen ({x_{1}^{2} + x_{2}^{2} ≤ c})

• Approximation des Viertelkreises durch Rechtecke

4.2 Zufallsvektoren und Folgen von Zufallsvariablen

Definition 4.3 Sei (Ω, 𝔄, P) ein Wahrscheinlichkeitsraum. Eine Abbildung X = (X_{1}, …, X_{n}), Ω → ℝ^{n} heißt Zufallsvektor, wenn X^{−1}(B) ∈ 𝔄 ∀B ∈ 𝔅^{n} (Meßbarkeit). Bezeichnung:

X : (Ω, 𝔄) → (ℝ^{n}, 𝔅^{n})

X = (X_{1}, …, X_{n}) ist genau dann ein Zufallsvektor, wenn alle X_{1}, …, X_{n} Zufallsvariablen sind.

Definition 4.4 Sei X ein Zufallsvektor. Durch

P^{X}(B) = P (X^{−1}(B)) = P ({ω | X(ω) ∈ B}) =: P (X ∈ B), B ∈ 𝔅^{n}

wird eine Wahrscheinlichkeitsverteilung auf (ℝ^{n}, 𝔅^{n}) definiert, die Verteilung des Zufallsvektors X.

P^{X} = P^{(X_{1},...,X_{n})}

heißt gemeinsame Verteilung von (X_{1}, …, X_{n}). Im folgenden werden gemeinsame Verteilungen mit Verteilungsfunktionen und Dichten beschrieben. Es ist klar, daß, falls X_{1}, …, X_{n} jeweils diskrete Verteilungen sind, auch X = (X_{1}, …, X_{n}) eine diskrete Verteilung mit Zähldichte wie in Kapitel 3 beschrieben ist.

Satz 4.5 Sei X ein Zufallsvektor. Dann ist P^{X} eindeutig bestimmt durch die (n-dimensionale) Verteilungfunktion

F_{X}(x_{1}, …, x_{n}) = P^{X}((−∞, x_{1}] × … × (−∞, x_{n}])
= P ({ω | X_{1}(ω) ∈ (−∞, x_{1}) ∧ … ∧ X_{n}(ω) ∈ (−∞, x_{n})})
= P ({ω | X_{1}(ω) ≤ x_{1}} ∩ … ∩ {ω | X_{n}(ω) ≤ x_{n}})
= P (X_{1} ≤ x_{1}, …, X_{n} ≤ x_{n})

Bezeichnung: X ∼ F_{X}. Die Beschreibung von Verteilungen mit n-dimensionalen Dichten ist oft einfacher.

Definition 4.6 Sei F_{X}(x_{1}, …, x_{n}) die Verteilungsfunktion des Zufallsvektors X. Eine (uneigentlich Riemann) integrierbare Funktion

f_{X} : ℝ^{n} → ℝ^{+}

heißt Dichte von X (bzw. F_{X} oder P^{X}), wenn

F_{X}(x_{1}, …, x_{n}) = ∫_{−∞}^{x_{n}} ⋯ ∫_{−∞}^{x_{1}} f_{x}(t_{1}, …, t_{n}) dt_{1} … dt_{n} ∀x_{1}, …, x_{n} ∈ ℝ.

X (bzw. F_{X} oder P^{X}) heißt dann absolut-stetig mit Dichte f_{X}. Bezeichnung: X ∼ f_{X}. Sprechweisen: ”X (hat|besitzt) Dichte f_{X}“ oder ”X ist verteilt nach Verteilungfunktion F_{X}“.

Berechnung von Wahrscheinlichkeiten mit Dichten: Sei X = (X_{1}, …, X_{n}) absolut-stetig mit Verteilung P^{X}, Verteilungsfunktion F_{X} und Dichte f_{X}. Dann ist

P^{X}(⟨a_{1}, b_{1}⟩ × … × ⟨a_{n}, b_{n}⟩) = P (a_{1} ≤ X_{1} ≤ b_{1}, …, a_{n} ≤ X_{n} ≤ b_{n})
= ∫_{a_{n}}^{b_{n}} ⋯ ∫_{a_{1}}^{b_{1}} f_{X}(t_{1}, …, t_{n})dt_{1} … dt_{n}
∀i : a_{i} ≤ b_{i} ∈ ℝ,

wobei ”⟨⟩“ beliebig für ”()“, ”[]“, ”[)“ oder ”(]“ stehen. Allgemein für B ∈ 𝔅^{n} gilt

P^{X}(B) = ∫ ⋯ ∫_{B} f_{X}(t_{1}, …, t_{n})dt_{1} … dt_{n}.

Mit dem Hauptsatz der Differential- und Integralrechung folgt, daß

f_{X}(x_{1}, …, x_{n}) = \frac{∂F_{X}(x_{1}, …, x_{n})}{∂x_{1}, …, ∂x_{n}}

in allen Stetigkeitspunkten (x_{1}, …, x_{n}) von f.

Beispiel 4.7 Im folgenden wird die Indizierung mit X zur Vereinfachung weggelassen.

a) Die Gleichverteilung auf T ∈ 𝔅^{n} ist gegeben durch

f(x_{1}, …, x_{n}) = \frac{1}{c}𝕀_{T} (x_{1}, …, x_{n}) = \{ \begin{matrix}\frac{1}{c} : & (x_{1}, …, x_{n}) ∈ T \\ 0 : & sonst \end{matrix}

mit c := ∫ ⋯ ∫_{T} dx_{1} … dx_{n} < ∞

• auf dem Einheitswürfel des ℝ^{n} gilt dann beispielsweise

T = {(x_{1}, …, x_{n}) | 0 ≤ x_{i} ≤ 1, i = 1, …, n} = [0, 1]^{n}

f(x_{1}, …, x_{n}) = 𝕀_{T} (x_{1}, …, x_{n}) = \{ \begin{matrix}1 , & 0 ≤ x_{i} ≤ 1 i = 1 … n \\ 0 , & sonst \end{matrix}

F (x_{1}, …, x_{n}) = \{ \begin{matrix}0 | & ∃i : x_{i} < 0 \\ min\{x_{1}, 1\} · . . . · min\{x_{n}, 1\} | & sonst \end{matrix}

• auf der Einheitskugel des ℝ^{n}

T = \{(x_{1}, …, x_{n}) | ∑_{i=1}^{n} x_{i}^{2} ≤ 1\} , c = \frac{π^{\frac{n}{2}}}{Γ (\frac{n}{2} + 1)}

Γ(n) = (n − 1)! , n ∈ ℕ, Γ (\frac{1}{2}) = \sqrt{π}, Γ(x + 1) = xΓ(x)

f(x_{1}, …, x_{n}) = \frac{Γ (\frac{n}{2} + 1)}{π^{\frac{n}{2}}}𝕀_{T} (x_{1}, …, x_{n}), (x_{1}, …, x_{n}) ∈ ℝ^{n}

Die Verteilungsfunktion ist schwierig zu berechnen. Man benötigt dazu Dirichlet-Integrale.

b) Für die n-dimensionale Normalverteilung N(μ, Σ) mit μ ∈ ℝ^{n} und positiv definite Matrix Σ ∈ ℝ^{n×n} gilt

f(x_{1}, …, x_{n}) = \frac{1}{(2π)^{\frac{n}{2}} (det Σ)^{\frac{1}{2}}} exp (−\frac{1}{2}(x − μ)^{T} Σ^{−1}(x − μ))

x = (x_{1}, …, x_{n})^{T} ∈ ℝ^{n}

c) f_{1}, …, f_{k} : ℝ^{n} → ℝ^{+} seien n-dimensionale Dichten (auch n = 1) und α_{1}, …, α_{k} ≥ 0 mit ∑_{i=1}^{k} α_{i} = 1. Dann ist

f(x) = ∑_{i=1}^{k} α_{i}f_{i}(x), x = (x_{1}, …, x_{n}) ∈ ℝ^{n}

eine n-dimensionale Dichte. f(x) heißt Mischung der Dichten f_{1}, …, f_{n}, denn

f(x) ≥ 0

∫ f(x)dx = ∫ ∑ α_{i}f_{i}(x)dx = ∑ α_{i} \underbrace{∫ f_{i}(x)dx}_{= 1} = ∑ α_{i} = 1

Definition 4.8 (stochastische Unabhängigkeit) X_{1}, …, X_{n} seien Zufallsvariablen (somit ist X = (X_{1}, …, X_{n}) ein Zufallsvektor). X_{1}, …, X_{n} heißen stochastisch unabhängig, wenn

F_{X}(x_{1}, …, x_{n}) = F_{X_{1}}(x_{1}) · . . . · F_{X_{n}}(x_{n}) ∀(x_{1}, …, x_{n}) ∈ ℝ^{n}.

Also sind X_{1}, …, X_{n} stochastisch unabhängig, wenn

P (X_{1} ≤ x_{1}, …, X_{n} ≤ x_{n}) = P (X_{1} ≤ x_{1}) · . . . · P (X_{n} ≤ x_{n})
⇔ P ({ω | X_{1}(ω) ≤ x_{1}} ∩ … ∩ {ω | X_{n}(ω) ≤ x_{n}})
= P ({ω | X_{1}(ω) ≤ x_{1}}) · . . . · P ({ω | X_{n}(ω) ≤ x_{n}}) ∀x_{i}

Das heißt X_{1}, …, X_{n} sind stochastisch unabhängig genau dann, wenn die Ereignisse

A_{i} = {ω | X_{i}(ω) ≤ x_{i}}, i = 1, …, n, ∀x_{1}, …, x_{n}

stochastisch unabhängig im Sinne der Definition 2.16 sind. Bestimmte i_{1}, …, i_{k} lassen sich auswählen, durch Setzen der anderen x_{j} = ∞.

Lemma 4.9 Sei (X_{1}, …, X_{n}) ein absolut-stetiger Zufallsvektor mit Dichte f_{(X_{1},...,X_{n})}. Dann hat jedes der X_{i} eine Dichte

f_{X_{i}}(x) = ∫_{−∞}^{∞} ⋯ ∫_{−∞}^{∞} f_{(X_{1},...,X_{n})}(x_{1}, …, x, …, x_{n})dx_{1} … dx_{i−1}dx_{i+1} … dx_{n}.

Wenn gilt

f_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∏_{i=1}^{n} f_{X_{i}}(x_{i}) ∀x_{1}, …, x_{n} ∈ ℝ,

dann sind X_{1}, …, X_{n} stochastisch unabhängig. Sind umgekehrt die X_{1}, …, X_{n} stochastisch unabhängig mit Dichten f_{X_{i}}, so ist

f_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∏_{i=1}^{n} f_{X_{i}}(x_{i}) ∀x_{1}, …, x_{n} ∈ ℝ

\underline{eine} Dichte des Zufallsvektors (X_{1}, …, X_{n}).

Beweis:

f_{X_{i}} = ∫_{−∞}^{∞} ⋯ ∫_{−∞}^{∞} f_{(X_{1},...,X_{n})}(x_{1}, …, x_{n})dx_{1} … dx_{i−1}dx_{i+1} … dx_{n}.

ist eine Dichte von X_{i}, da

F_{X_{i}}(x) = P (X_{i} ≤ x) = ∫_{−∞}^{x} f_{X_{i}}(t_{i})dt_{i}.

Es gilt

F_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∫_{−∞}^{x_{n}} ⋯ ∫_{−∞}^{x_{1}} ∏_{i=1}^{n} f_{X_{i}}(t_{i})dt_{1} … dt_{n}

= ∏_{i=1}^{n} ∫_{−∞}^{x_{i}} f_{X_{i}}(t_{i})dt_{i} = ∏_{i=1}^{n} F_{X_{i}}(x_{i}) ∀x_{1}, …, x_{n} ∈ ℝ.

Also sind die X_{1}, …, X_{n} stochastisch unabhängig (siehe Definition 4.8). Sind umgekehrt die X_{1}, …, X_{n} stochastisch unabhängig, so folgt

F_{(X_{1},...,X_{n})}(x_{1}, …, x_{n}) = ∏_{i=1}^{n} F_{X_{i}}(x_{i})

= ∏_{i=1}^{n} ∫_{−∞}^{x_{i}} f_{X_{i}}(t_{i})dt_{i} = ∫_{−∞}^{x_{n}} ⋯ ∫_{−∞}^{x_{1}} ∏_{i=1}^{n} f_{X_{i}}(t_{i})dt_{i}.

Somit ist

∏_{i=1}^{n} f_{X_{i}}(t_{i})

eine Dichte von (X_{1}, …, X_{n}).

Im Fall von Zähldichten vereinfacht sich Lemma 4.9 zu

Lemma 4.10 Seien X_{1}, …, X_{n} diskrete Zufallsvariablen mit Trägern T_{1}, …, T_{n}. Dann sind die X_{1}, …, X_{n} genau dann stochastisch unabhängig, wenn

P (X_{1} = t_{1}, …, X_{n} = t_{n}) = ∏_{i=1}^{n} P (X_{i} = t_{i}) ∀t_{i} ∈ T_{i}.

Definition 4.11 Eine Folge von Zufallsvariablen {X_{n}}_{n∈ℕ} auf einem Wahrscheinlichkeitsraum (Ω, 𝔄, P) heißt stochastisch unabhängig, wenn die X_{1}, …, X_{n} stochastisch unabhängig sind für alle n ∈ ℕ. Besitzen stochastisch unabhängige Zufallsvariablen alle dieselbe Verteilung, so heißen sie stochastisch unabhängig, identisch verteilt, kurz: stid (i.i.d. oder iid: ”independent identically distributed“.).

Beispiel 4.12

a) Seien X_{1}, X_{2} stochastisch unabhängig, identisch binomialverteilt (X_{1}, X_{2} stid ∼ Bin(n, p). Dann gilt

P (X_{1} = i, X_{2} = j) = P (X_{1} = i) · P (X_{2} = j)
= \binom{n}{i}p^{i}(1 − p)^{n−i} \binom{n}{j}p^{j}(1 − p)^{n−j}
P (X_{1} = X_{2}) = P^{(X_{1},X_{2})}({(i, j) | 0 ≤ i, j ≤ n, i = j})
= ∑_{i=0}^{n} P^{(X_{1},X_{2})}({(i, i)}) = ∑_{i=0}^{n} P (X_{1} = i, X_{2} = i)

= ∑_{i=0}^{n} P (X_{1} = i)P (X_{2} = i) = ∑_{i=0}^{n} [\binom{n}{i}p^{i}(1 − p)^{n−i}]^{2} .

b) Seien X_{1}, X_{2} stochastisch unabhängig, absolut-stetig mit Dichten f_{1}, f_{2}. Dann gilt

P (X_{1} = X_{2}) = ∫∫_{x_{1}=x_{2}} f(x_{1}, x_{2})dx_{1}dx_{2}

= ∫_{−∞}^{∞} \underbrace{∫_{x_{2}}^{x_{2}} f_{1}(x_{1})dx_{1}}_{=0} f_{2}(x_{2})dx_{2} = 0.

Beispiel 4.13 Seien X_{1}, …, X_{n} stid ∼ F (Verteilungsfunktion). Dann gilt

a) Sei Y : Ω^{n} → ℝ : (ω_{1}, …, ω_{n}) ↦ max{X_{1}(ω_{1}), …, X_{n}(ω_{n})}. Dies könnte z.B. interpretiert werden als das Maximum der ”Laufzeiten“ von parallelen, unabhängigen Prozessen X_{1}, …, X_{n}. Dann gilt

P (Y ≤ x) = P (X_{1} ≤ x, …, X_{n} ≤ x) = ∏_{i=1}^{n} P (X_{i} ≤ x) = F^{n}(x) x ∈ ℝ.

Also hat Y = max{X_{1}, …, X_{n}} die Verteilungsfunktion F^{n}(x)

Beispiel: X_{i} ∼ R(0, 1)

F_{X_{i}}(x) = \{ \begin{matrix}0 , & x ≤ 0 \\ x , & 0 ≤ x ≤ 1 \\ 1 , & x ≥ 1 \end{matrix} F^{n}(x) = \{ \begin{matrix}0 , & x ≤ 0 \\ x^{n} , & 0 ≤ x ≤ 1 \\ 1 , & x ≥ 1 \end{matrix}

b) Sei Y : Ω^{n} → ℝ : (ω_{1}, …, ω_{n}) ↦ min{X_{1}(ω_{1}), …, X_{n}(ω_{n})}. Dann gilt

P (Y > x) = P (X_{1} > x, …, X_{n} > x) = (1 − F (x))^{n}.

Also hat Y = min{X_{1}, …, X_{n}} die Verteilungsfunktion 1−(1−F (x))^{n}. Beispielsweise gilt für X_{i} stid ∼ Exp(λ), (λ > 0)

P (Y ≤ x) = 1 − e^{−nλx} , x ≤ 0

d.h. Y ∼ Exp(nλ). Das Minimum von i.i.d. Exp(λ)-verteilten Zufallsvariablen ist Exp(nλ)-verteilt.

Beispiel 4.14 Seien die Zufallsvariablen X_{1}, X_{2} stochastisch unabhängig, identisch exponentialverteilt (X_{1}, X_{2} stid Exp(λ), λ > 0). Dann gilt

P (X_{1} + X_{2} ≤ z)
= ∫∫_{0≤x_{1}+x_{2}≤z} λe^{−λx_{1}} · 𝕀_{(0,∞)}(x_{1}) · λe^{−λx_{2}} · 𝕀_{(0,∞)}(x_{2})dx_{1}dx_{2}

= ∫_{0}^{z} ∫_{0}^{z−x_{2}} λe^{−λx_{1}}λe^{−λx_{2}}dx_{1}dx_{2} = ∫_{0}^{z} λe^{−λx_{2}} [1 − e^{−λ(z−x_{2})}] dx_{2}
= ∫_{o}^{z} (λe^{−λx_{2}} − λe^{−λz}) dx_{2} = 1 − e^{−λz} − λze^{−λz}
= F_{X_{1}+X_{2}}(z), z ≥ 0.

Durch Differenzieren nach z erhält man die Dichte

f_{X_{1}+X_{2}}(z) = λe^{−λz} − λ (e^{−λz} − λze^{−λz}) = λ^{2}ze^{−λz}, z ≥ 0.

Die Verteilung der Summe von stochastisch unabhängigen, identisch Exp(λ)- verteilten Zufallsvariablen ist absolut-stetig mit Dichte

f(x) = λ^{2}xe^{−λx}𝕀_{[0,∞)}(x).

Eine allgemeine Klasse von Verteilungen, die diese Dichte als Spezialfall enthält, sind die Γ-Verteilungen mit Dichten

f_{α,λ}(x) = \frac{λ^{α}}{Γ(α)}x^{α−1}e^{−λx}𝕀_{(0,∞)}(x), α, λ > 0,

wobei

Γ(α) = ∫_{0}^{∞} x^{α−1}e^{−x}dx

das Γ-Integral ist (insbesondere gilt: Γ(n) = (n − 1)! ∀n ∈ ℕ). Eine Zufallsvariable mit Dichte f_{α,λ}(x) heißt Γ(α, λ)-verteilt. Spezialfälle:

(i) α = 1 : Exp(λ)-Verteilungen

(ii) α = 2 : siehe oben. Verteilung der Summe von zwei stochastisch unabhängigen, identisch exponentialverteilten Zufallsvariablen.

(iii) α = n ∈ ℕ : Erlang-Verteilung mit Parametern n, λ und

f_{n,λ}(x) = \frac{λ^{n}}{(n − 1)!}x^{n−1}e^{−λx}𝕀_{(0,∞)}(x)

Bezeichnung: Erl(n, λ)

Verteilung der Summe von n i.i.d. Exp(λ)-verteilten Zufallsvariablen (s. später).

Beispiel 4.15 Sei {X_{n}}_{n∈ℕ} eine Folge von stochastisch unabhängigigen, identisch verteilten Zufallsvariablen und B ∈ 𝔅^{1}. Dann heißt

S := min{n ∈ ℕ | X_{n} ∈ B}

die erste Eintrittszeit in B. Die Verteilung von S ist

P (S = k) = P (X_{1} ∉ B, …, X_{k−1} ∉ B, X_{k} ∈ B)
= P (X_{1} ∉ B) · . . . · P (X_{k−1} ∉ B) · P (X_{k} ∈ B)
= (1 − p)^{k−1}p, k ∈ ℕ, wobei p := P (X_{1} ∈ B)

S − 1 ist also geometrisch verteilt mit dem Träger ℕ. S − 1 ∼ Geo(p). Konkret betrachte man z.B. eine unabhängige Folge von Münzwürfen, so daß X_{n} stid ∼ Bin(1, p) und B = {1}. Dann ist

P (X_{n} ∈ {1}) = P (X_{n} = 1) = p.

{S = k} sei das Ereignis, daß beim k-ten Wurf erstmalig die 1 (entspricht beispielsweise ”Kopf“) auftritt. Setze X = S − 1, die Wartezeit bis zum ersten Treffer. Dann ist X ∼ Geo(p).

Satz 4.16 X_{1}, …, X_{n} seien stochastisch unabhängige Zufallsvariablen und I, J ⊆ {1, …, n} mit I ∩ J = ∅. Dann sind (X_{i})_{i∈I} und (X_{j})_{j∈J} stochastisch unabhängige Zufallsvektoren. Sind f, g meßbare Abbildungen (mit entsprechenden Bild-Meßräumen), so sind f((X_{i})_{i∈I}) und g((X_{j})_{j∈J}) stochastisch unabhängig.

Beweis: MaPf La. 2.1.6, 2.1.7, S. 74 Beispielweise gilt: X_{1}, …, X_{4} stochastisch unabhängig ⟹ X_{1}+X_{2}, X_{3}+X_{4} stochastisch unabhängig.

Transformationen von Zufallsvariablen und Zufallsverteilungen

Im folgenden werden allgemeine Hilfsmittel zur Berechnung der Verteilung von Funktionen von Zufallsvariablen beschrieben. Zur Motivation:

(i)

X_{1}, X_{2} i.i.d. ∼ Exp(λ)  (Laufzeiten)
Frage: X_{1} + X_{2} ∼ ?  (Summe der Laufzeiten, s.o.)

(ii) X_{1}, X_{2} i.i.d. ∼ Exp(λ)

Frage: (Y_{1}, Y_{2}) = (min{X_{1}, X_{2}}, max{X_{1}, X_{2}}) ∼ ? (2-dim. Verteilung)

Abbildung T : ℝ^{2} → ℝ^{2} : (x_{1}, x_{2}) = (x_{1} ∧ x_{2}, x_{1} ∨ x_{2})

(iii) (U_{1}, U_{2}, U_{3}) gleichverteilt auf B = {(u_{1}, u_{2}, u_{3})|0 < u_{1} < u_{2} < u_{3} < a}, wobei a > 0 fest.

Frage: (Y_{1}, Y_{2}, Y_{3}) = ( \begin{matrix}\underbrace{U_{1} · U_{2} · U_{3}}_{V olumen} , \underbrace{2(U_{1} · U_{2} + U_{2} · U_{3} + U_{1} · U_{3})}_{Oberfläche} , \\ \underbrace{4(U_{1} + U_{2} + U_{3})}_{Kantenlänge} ) ∼ ? \end{matrix} (3-dim. Verteilung)

Satz 5.1 (Transformationssatz für Dichten) Sei X = (X_{1}, …, X_{n}) ein absolut stetiger Zufallsvektor^{1} auf dem Wahrscheinlichkeitsraum (Ω, 𝔄, P) mit Dichte f_{X}. Es gelte

f_{X}(x_{1}, …, x_{n}) = 0 ∀(x_{1}, …, x_{n}) ∈ M^{∁} für eine offene Menge M ⊆ ℝ^{n}. Desweiteren sei

1Beispielweise repräsentiere jedes X_{i} einen Router in einem Netzwerk, der jeweils gewisse Verzögerungszeiten besitzt.

T : (ℝ^{n}, 𝔅^{n}) → (ℝ^{n}, 𝔅^{n})

eine meßbare Abbildung (d.h. T^{−1}(B) ∈ 𝔅^{n} ∀B ∈ 𝔅^{n}) mit

(i) T̃ = T |_{M} ist injektiv (Restriktion von T auf M).

(ii) T̃ ist stetig differenzierbar auf M.

(iii) Die Funktionaldeterminante

det ((\frac{∂T̃_{i}}{∂x_{j}} )_{1≤i,j≤n}) ≠ 0 auf M.

Dann ist Y = T̃(x) absolut-stetig mit der Dichte

f_{Y} (y_{1}, …, y_{n}) = \frac{f_{X} (T̃^{−1}(y_{1}, …, y_{n})) · 𝕀_{T̃(M)}(y_{1}, …, y_{n})}{|det ((\frac{∂T̃_{i}}{∂x_{j}} )_{1≤i,j≤n}|_{T̃^{−1}(y_{1},...,y_{n})})|}

= |det ((\frac{∂T̃_{i}^{−1}}{∂y_{j}} )_{1≤i,j≤n})| f_{X} (T̃^{−1}(y_{1} …, y_{n})) 𝕀_{T̃(M)}(y_{1}, …, y_{n}).

Notation: Wir schreiben jetzt zur Vereinfachung T statt T̃. Beweis: z.B. Krickeberg (63)

Beispiel 5.2 Der Zufallsvektor X = (X_{1}, X_{2}) sei gleichverteilt auf dem Einheitsquadrat Q = (0, 1)^{2} mit der Dichte f_{X}(x_{1}, x_{2}) = 𝕀_{(0,1)}(x_{1}) · 𝕀_{(0,1)}(x_{2}) = 𝕀_{Q}(x_{1}, x_{2}), d.h. X_{1}, X_{2} sind stochastisch unabhängig und beide X_{i} sind rechteckverteilt (X_{i} ∼ R(0, 1)). Desweiteren definiere

T (x_{1}, x_{2}) := (\underbrace{\sqrt{x_{1}} cos(2πx_{2})}_{T_{1}}, \underbrace{\sqrt{x_{1}} sin(2πx_{2})}_{T_{2}}) x_{1}, x_{2} ∈ Q.

Dann gilt

det (\frac{∂T_{i}}{∂x_{j}} )_{1≤i,j≤2} = det ( \begin{matrix}\frac{1}{2\sqrt{x_{1}}} cos(2πx_{2}) & −2π\sqrt{x_{1}} sin(2πx_{2}) \\ \frac{1}{2\sqrt{x_{1}}} sin(2πx_{2}) & 2π\sqrt{x_{1}} cos(2πx_{2}) \end{matrix} )
= π cos^{2}(2πx_{2}) + π sin^{2}(2πx_{2})
= π (cos^{2}(2πx_{2}) + sin^{2}(2πx_{2})) = π.

Nach Satz 5.1 besitzt Y = T (X) eine Dichte

f_{Y} (y_{1}, y_{2}) = \frac{1}{π} 𝕀_{T (Q)}(y_{1}, y_{2})

Kapitel 5. Transformationen von Zufallsvariablen und Zufallsverteilungen 43

mit K̂ = T (Q) (Einheitskreis ohne positive x-Achse inkl. Nullpunkt, da Q offenes Intervall). Also ist Y = T (X) gleichverteilt auf dem Einheitskreis (vgl. Bsp. 4.7).

Beispiel 5.3 (Rayleigh-Verteilung) Seien X, Y zwei stochastisch unabhängige, identisch verteilte Zufallsvariablen, die normalverteilt N(0, σ^{2}) sind und eine gemeinsame Dichte

f_{(X,Y)}(x, y) = \frac{1}{\sqrt{2π}σ} e^{− \frac{x^{2}}{2σ^{2}}} · \frac{1}{\sqrt{2π}σ} e^{− \frac{y^{2}}{2σ^{2}}} (x, y) ∈ ℝ^{2}

besitzen (Produkt der Randdichten). Die Abbildung

T : (x, y) ↦ (r, φ) : ℝ^{2} \ {x = 0} → (0, ∞) × (0, 2π)

mit

r = \sqrt{x^{2} + y^{2}} (Länge) und
φ = \{ \begin{matrix}arctan \frac{y}{x}  : & y > 0 \\ π + arctan \frac{y}{x} : & y < 0 \end{matrix} (Winkel) (mit arctan(±∞) = \frac{π}{2} )

transformiert nun auf Polarkoordinaten. Die Umkehrabbildung ist dann entsprechend T^{−1} : (r, φ) ↦ (r cos φ, r sin φ). Mit dem Transformationssatz kann die Dichte berechnet werden durch

det (\frac{∂T_{i}^{−1}}{∂z_{j}} )_{1≤i,j≤2} = det ( \begin{matrix}cos φ & −r sin φ \\ sin φ & r cos φ \end{matrix} ) = r (cos^{2} φ + sin^{2} φ) = r.

Somit besitzt (R, Φ) = T (X, Y) nach dem Transformationssatz eine Dichte

f_{(R,Φ)}(r, φ) = \frac{1}{2πσ^{2}} e^{− \frac{r^{2} cos^{2} φ+r^{2} sin^{2} φ}{2σ^{2}}} · r · 𝕀_{(0,∞)}(r)𝕀_{(0,2π)}(φ)
= \frac{r}{σ^{2}} e^{− \frac{r^{2}}{2σ^{2}}} 𝕀_{(0,∞)}(r) · \frac{1}{2π} 𝕀_{(0,2π)}(φ)

Also sind R, Φ stochastisch unabhängig mit

f_{R}(r) = \frac{r}{σ^{2}} e^{− \frac{r^{2}}{2σ^{2}}} 𝕀_{(0,∞)}(r),

Rayleigh-Verteilung genannt (kurz: R ∼ Ray(σ^{2})), und

f_{Φ}(φ) = \frac{1}{2π} 𝕀_{(0,2π)}(φ),

wobei Φ rechteckverteilt ist (Φ ∼ R(0, 2π)).

Lemma 5.4 Sei X = (X_{1}, X_{2}) ein Zufallsvektor, absolut-stetig mit Dichte f_{X}(x_{1}, x_{2}). Dann ist Y = X_{1} + X_{2} absolut-stetig mit Dichte

f_{Y} (y) = ∫_{−∞}^{∞} f_{X}(t, y − t)dt, y ∈ ℝ.

Beweis: Mit dem Transformationssatz folgt, unter der Wahl von T (x_{1}, x_{2}) = (x_{1}, x_{1} + x_{2}), T^{−1}(y_{1}, y_{2}) = (y_{1}, y_{2} − y_{1})

det (\frac{∂T_{i}}{∂x_{j}} )_{1≤i,j≤2} = det ( \begin{matrix}1 & 0 \\ 1 & 1 \end{matrix} ) = 1.

Also gilt f_{Y} (y_{1}, y_{2}) = f_{T (X)}(y_{1}, y_{2}) = f_{X}(y_{1}, y_{2} − y_{1}). Es folgt f_{Y} (y) = ∫_{−∞}^{∞} f_{X}(y_{1}, y − y_{1})dy_{1} (zweite Randverteilung, Integration über erste Komponente).

Speziell folgt aus Lemma 4.9, daß, wenn X_{1}, X_{2} stochastisch unabhängig sind (also f_{(X_{1},X_{2})}(x_{1}, x_{2}) = f_{X_{1}}(x_{1}) · f_{X_{2}}(x_{2})), dann gilt

f_{X_{1}+X_{2}}(y) = ∫_{−∞}^{∞} f_{X_{1}}(t) · f_{X_{2}}(y − t)dt y ∈ ℝ.

Bei stochastisch unabhängigen Zufallsvariablen X_{1}, X_{2} heißt die Verteilung von X_{1} + X_{2} Faltung (convolution) der Verteilung von X_{1} und X_{2}. Bezeichnung: P^{X_{1}+X_{2}} = P^{X_{1}} ∗ P^{X_{2}}.

Beispiel 5.5

a) Seien X_{1}, X_{2} zwei stochastisch unabhängige, Γ-verteilte Zufallsvariablen mit Parametern α, β, λ > 0 (X_{1} ∼ Γ(α, λ), X_{2} ∼ Γ(β, λ)). Dann gilt

X_{1} + X_{2} ∼ Γ(α + β, λ)

d.h., Γ(α, λ) ∗ Γ(β, λ) = Γ(α + β, λ). Die Γ-Verteilung ist also faltungsstabil.

b) X_{1}, X_{2} seien stochastisch unabhängige, normalverteilte Zufallsvariablen mit Parametern μ_{1}, μ_{2} ∈ ℝ, σ_{1}, σ_{2} > 0 (X_{1} ∼ N (μ_{1}, σ_{1}^{2}) , X_{2} ∼ N (μ_{2}, σ_{2}^{2})). Dann gilt

X_{1} + X_{2} ∼ N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

d.h.,

N (μ_{1}, σ_{1}^{2}) ∗ N (μ_{2}, σ_{2}^{2}) = N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

Beweis:

∫_{−∞}^{∞} \frac{1}{\sqrt{2π}σ_{1}} e^{− \frac{(t−μ_{1})^{2}}{2σ^{2}_{1}}} · \frac{1}{\sqrt{2π}σ_{2}} e^{− \frac{(y−t−μ_{2})^{2}}{2σ^{2}_{2}}} dt

= … = \frac{1}{\sqrt{2π}\sqrt{σ_{1}^{2} + σ_{2}^{2}}} e^{− \frac{(y−μ_{1}−μ_{2})^{2}}{2(σ^{2}_{1}+σ^{2}_{2})}}

c) Sei die Zufallsvariable X normalverteilt (X ∼ N(0, 1)). Dann gilt

X^{2} ∼ Γ (\frac{1}{2}, \frac{1}{2})

Beweis: Sei x > 0. Dann gilt

P (X^{2} ≤ x) = P (−\sqrt{x} ≤ X ≤ \sqrt{x}) = ∫_{−\sqrt{x}}^{√\overline{x}} \frac{1}{\sqrt{2π}} e^{− \frac{t^{2}}{2}} dt
(Substitution u = t^{2}, dt = \frac{1}{2\sqrt{u}}du)
= 2 ∫_{0}^{x} \frac{1}{\sqrt{2π}} e^{− \frac{u}{2}} \frac{1}{2\sqrt{u}}du

Die Dichte von X^{2} ist also

f_{X^{2}}(x) = \{ \begin{matrix}\frac{1}{\sqrt{2π}} x^{− \frac{1}{2}} e^{− \frac{x}{2}} = \frac{(\frac{1}{2})^{\frac{1}{2}}}{Γ(\frac{1}{2})} x^{− \frac{1}{2}} e^{− \frac{x}{2}} : & x ≥ 0 \\ 0 : & sonst \end{matrix}

(Dichte einer Γ (\frac{1}{2}, \frac{1}{2})-Verteilung). Mit a) folgt: Seien die Zufallsvariablen X_{1}, …, X_{n} stid ∼ N(0, 1). Dann gilt X_{1}^{2} + … + X_{n}^{2} ∼ Γ (\frac{n}{2}, \frac{1}{2}). Γ (\frac{n}{2}, \frac{1}{2}) heißt χ^{2}-Verteilung mit n Freiheitsgraden (Bezeichnung: χ_{n}^{2}), mit der Dichte

f(x) = \frac{1}{2^{\frac{n}{2}} Γ (\frac{n}{2})} x^{\frac{n}{2} −1}e^{− \frac{x}{2}} 𝕀_{(0,∞)}(x).

Mit Beispiel 5.3 folgt: Sei Y ∼ χ_{2}^{2} = Γ (1, \frac{1}{2}). Dann ist X = \sqrt{Y} ∼ Ray(1).

d) (siehe Beipiel 4.14) Seien X_{1}, …, X_{n} stid ∼ Exp(λ) = Γ(1, λ) mit Parameter λ > 0. Mit a) folgt

S_{n} = X_{1} + … + X_{n} ∼ Γ(n, λ)

(Erlang-Verteilung mit Parameter n, λ). Als Interpretation stelle man sich ein X_{i} als Bedienzeit für eine Anforderung an einen Server vor. Dann wäre S_{n} die Gesamtbedienzeit für n Anforderungen.

Umgekeht könnte man auch fragen, mit welcher Wahrscheinlichkeit im Intervall [0, t] genau n Anforderungen bedient werden, also wieviele Kunden mit Exp(λ)-verteilten Bedienzeiten der Server bis zur Zeit t > 0 (fest) schafft.

Definition 5.6 Sei {X_{n}}_{n∈ℕ} eine Folge von stochastisch unabhängigen Zufallsvariablen (z.B. Bedienzeiten) die exponentialverteilt sind (X_{i} ∼ Exp(λ), i ∈ ℕ, λ > 0).

N(t) = max {n ∈ ℕ_{0} | ∑_{i=1}^{n} X_{i} ≤ t} = |{n ∈ ℕ | ∑_{i=1}^{n} X_{i} ≤ t}|

heißt dann Poisson-Prozess mit Parameter λ > 0 (Bezeichnung: PP(λ)). Die X_{N} heißen auch Zwischenankunftszeiten oder Verweilzeiten (sojourn times, interarrival times, dwell times). Die S_{n} = ∑_{i=1}^{n} X_{i} heißen Ankunftszeiten (arrival times).

PSfrag replacements

N(t) t x_{1} x_{2} x_{3} x_{4} x_{5} 1 2 3 4 5

Interpretation: Anforderungen kommen mit Exp(λ)-verteilten Zwischenankunftszeiten an. N(t) zählt die Anzahl der Kunden, die bis zur Zeit t angekommen sind.

Lemma 5.7 Für alle t ≥ 0 besitzt N(t) eine Poissonverteilung mit Parameter λt, d.h. N(t) ∼ Poi(λt)

P (N(t) = k) = e^{−λt} \frac{(λt)^{k}}{k!} , k ∈ ℕ_{0}

Beweis: Für k=0 gilt

P (N(t) = 0) = P (X_{1} > t) = 1 − (1 − e^{−λt}) = e^{λt} = e^{−λt} \frac{(λt)^{0}}{0!}

Für k ≥ 1 gilt

P (N(t) = k) = P (∑_{i=1}^{k} X_{i} ≤ t, ∑_{i=1}^{k+1} X_{i} > t) = P ({∑_{i=1}^{k} X_{i} ≤ t} \ {∑_{i=1}^{k+1} X_{i} ≤ t})

= P ( \underbrace{∑_{i=1}^{k} X_{i}}_{∼Erl(k,λ)} ≤ t) − P ( \underbrace{∑_{i=1}^{k+1} X_{i}}_{∼Erl(k+1,λ)} ≤ t)

= \frac{λ^{k}}{(k − 1)!} ∫_{0}^{t} x^{k−1}e^{−λx}dx − \frac{λ^{k+1}}{k!} ∫_{0}^{t} x^{k}e^{−λx}dx.
= \frac{λ^{k}}{(k − 1)!} (∫_{0}^{t} x^{k−1}e^{−λx}dx − \frac{λ}{k} ∫_{0}^{t} x^{k}e^{−λx}dx)
= \frac{λ^{k}}{(k − 1)!} (∫_{0}^{t} x^{k−1}e^{−λx}dx + ∫_{0}^{t} \frac{x^{k}}{k} (−λe^{−λx}) dx)
= \frac{λ^{k}}{(k − 1)!} \frac{x^{k}}{k} e^{−λx}|_{0}^{t} = \frac{λ^{k}}{k!} t^{k}e^{−λt} = e^{−λt} \frac{(λt)^{k}}{k!}

Es gilt sogar für N_{(s,t]} = N(t) − N(s), 0 ≤ s < t. Zuwachs im Intervall (s, t]:

• N_{(s,t]} ∼ Poi(λ(t − s))

• N_{(s_{i},t_{i}]}, i ∈ ℕ sind stochastisch unabhängig und Poisson-verteilt mit Parameter λ(t_{i} −s_{i}), falls die Intervalle (s_{i}, t_{i}] paarweise disjunkt sind. Die Zuwächse eines Poisson-Prozesses sind stochastisch unabhängige, Poisson-verteilte Zufallsvariablen.

Im folgenden werden nun Summen von diskreten Zufallsvariablen behandelt.

Lemma 5.8 Seien X_{1}, X_{2} stochastisch unabhängige diskrete Zufallsvariablen mit Träger ℕ_{0} und den Zähldichten f_{X_{1}}, f_{X_{2}}. Dann besitzt die Zufallsvariable X_{1} + X_{2} die Zähldichte

f_{X_{1}+X_{2}}(k) = ∑_{i=0}^{k} f_{X_{1}}(i) · f_{X_{2}}(k − i), k ∈ ℕ_{0}

Beweis:

P (X_{1} + X_{2} = k) = P (⋃_{i=0}^{k}({X_{1} = i} ∩ {X_{2} = k − i}))

= ∑_{i=0}^{k} P (X_{1} = i, X_{2} = k − i)

= ∑_{i=0}^{k} \underbrace{P (X_{1} = i)}_{f_{X_{1}}(i)} · \underbrace{P (X_{2} = k − i)}_{f_{X_{2}}(k−i)}

Beispiel 5.9 Seien X_{1}, …, X_{n} stid und geometrisch verteilt mit Parameter 0 < p < 1. Dann gilt

P (∑_{i=1}^{n} X_{i} = k) = \binom{n + k − 1}{n − 1}(1 − p)^{k}p^{n}, k ∈ ℕ_{0}

Diese Verteilung heißt negative Binomialverteilung (Bezeichnung: \overline{Bin}(n, p)). Es gilt also

\underbrace{Geo(p) ∗ … ∗ Geo(p)}_{n mal} = \overline{Bin}(n, p)

X_{1}+…+X_{n} entspricht dabei z.B. der Wartezeit bis zum n-ten Treffer (ohne die Treffer mitzuzählen).

Beweis: (mit Vollständiger Induktion) n = 1:

P (X_{1} = k) = \binom{k}{0}(1 − p)^{k}p^{1} = (1 − p)^{k} · p

n → n + 1:

P (∑_{i=1}^{n+1} X_{i} = k) = ∑_{j=0}^{k} P (∑_{i=1}^{n} X_{i} = j) P (X_{n+1} = k − j)

= ∑_{j=0}^{k} \binom{n + j − 1}{n − 1}(1 − p)^{j}p^{n}(1 − p)^{k−j}p

= ∑_{j=0}^{k} \binom{n + j − 1}{n − 1}(1 − p)^{k}p^{n+1}

= (1 − p)^{k}p^{n+1} \underbrace{∑_{j=0}^{k} \binom{n + j − 1}{n − 1}}_{=\binom{n+k}{n}}

Lemma 5.10 Es gilt

a) Bin(n_{1}, p) ∗ Bin(n_{2}, p) = Bin(n_{1} + n_{2}, p) mit n_{1}, n_{2} ∈ ℕ, 0 ≤ p ≤ 1. Insbesondere gilt

\underbrace{Bin(1, p) ∗ … ∗ Bin(1, p)}_{n mal} = Bin(n, p).

b) \overline{Bin}(n_{1}, p) ∗ \overline{Bin}(n_{2}, p) = \overline{Bin}(n_{1} + n_{2}, p) mit n_{1}, n_{2} ∈ ℕ, 0 < p < 1.

c) Poi(λ_{1}) ∗ Poi(λ_{2}) = Poi(λ_{1} + λ_{2}).

Diese drei Verteilungsklassen sind faltungsstabil.

Lemma 5.11 Seien X_{1}, X_{2} stochastisch unabhängig, absolut-stetig mit Dichten f_{X_{1}}, f_{X_{2}}, wobei f_{X_{i}}(x) = 0, i ∈ {1, 2}, falls x ≤ 0. Dann gilt a) Y = X_{1} · X_{2} ist absolut-stetig mit Dichte

f_{Y} (y) = ∫_{0}^{∞} \frac{1}{t}f_{X_{1}} (\frac{y}{t} ) f_{X_{2}}(t)dt · 𝕀_{(0,∞)}(y).

b) Z = \frac{X_{1}}{X_{2}} ist absolut-stetig mit Dichte

f_{Z}(y) = ∫_{0}^{∞} tf_{X_{1}}(yt)f_{X_{2}}(t)dt · 𝕀_{(0,∞)}(y).

Der Beweis benutzt den Transformationssatz für Dichten mit T (x, y) = (x, x· y) bzw. T (x, y) = (x, \frac{x}{y}).

Beispiel 5.12 X_{1}, X_{2} s.u. ∼ R(0, 1), d.h. f_{X_{i}}(x) = 𝕀_{(0,1)}(x). Z = \frac{X_{1}}{X_{2}} besitzt die Dichte

f_{Z}(y) = ∫_{0}^{∞} t 𝕀_{(0,1)}(yt) 𝕀_{(0,1)}(t)dt  , y ≥ 0

y · t ≤ 1 ⇒ t ≤ \frac{1}{y}, t ≤ 1, t ≥ 0

= ∫_{0}^{min\{ \frac{1}{y} ,1\}}t dt = \frac{t^{2}}{2} |_{0}^{min\{ \frac{1}{y} ,1\}}
= \{ \begin{matrix}\frac{1}{2}  , & 0 ≤ y ≤ 1 \\ \frac{1}{2y^{2}}  , & y ≥ 1 \end{matrix}

PSfrag replacements f_{X_{i}} PSfrag replacements f_{Z}(y) = f_{\frac{X_{1}}{X_{2}}} (y)

Beispiel 5.13 X_{1}, X_{2} s.u., X_{1} ∼ Γ(α, λ), X_{2} ∼ Γ(β, λ), α, β, λ > 0

a) Y = \frac{X_{1}}{X_{2}} besitzt eine Dichte

f_{Y} (x) = \frac{Γ(α + β)}{Γ(α)Γ(β)} \frac{x^{α−1}}{(1 + x)^{α+β}} 𝕀_{(0,1)}(x)

b) Z = \frac{X_{1}}{X_{1}+X_{2}} besitzt die Dichte

f_{Z}(x) = \frac{Γ(α + β)}{Γ(α)Γ(β)} x^{α−1} (1 − x)^{β−1} 𝕀_{(0,1)}(x)

Z heißt Beta-verteilt mit Parametern α, β > 0. Bezeichung: Z ∼ Beta(α, β). Beachte: α = β = 1

f_{Z}(x) = \frac{Γ(2)}{Γ(1)Γ(1)} x^{0} (1 − x)^{0} 𝕀_{(0,1)}(x)
= 𝕀_{(0,1)}(x)

ist Dichte von R(0, 1).

Erwartungswerte und Momente von Zufallsvariablen

Zur Motivation der in diesem Kapitel eingeführten Begriffe zunächst zwei Beispiele:

a) Betrachte ein einfaches Würfelspiel mit einem fairen Würfel. Ein mathematisches Modell für die stochastische Analyse wäre eine Zufallsvariable X auf einem Wahrscheinlichkeitsraum (Ω, 𝔄, P) und der Verteilung P (X = i) = 1/6, i = 1, …, 6. Möglich wären nun folgende Problemstellungen:

• Angenommen, es werde bei jedem Würfelwurf die Anzahl der geworfenen Augen in EURO ausgezahlt. Dann ist der festgelegte Spieleinsatz die ”mittlere“ oder zu ”erwartende“ Auszahlung. Dieser ist ganz intuitiv

E(X) = \frac{1}{6} · 1 + … \frac{1}{6} · 6 = 3, 5

Die ”mittlere“ Auszahlung beträgt dann also 3,5 EURO

• Angenommen, es werde bei jedem Würfelwurf das Quadrat der geworfenen Augen in EURO ausgezahlt. Dann ist die ”zu erwartende“ Auszahlung

g(X) = X^{2}

E(g(X)) = \frac{1}{6} · 1^{2} + … + \frac{1}{6}6^{2} = \frac{1}{6} · 91 = 15, 1\overline{6}

b) Unter dem Namen ”Petersburger Paradoxon“ ist folgende Überlegung von Nikolaus Bernoulli (1695-1726) bekannt geworden. Für ein vereinfachtes Roulettespiel, bei dem die Farben ”Rot“ und ”Schwarz“ jeweils mit der Wahrscheinlichkeit 1/2 auftreten, gibt es eine Gewinnstrategie.

Dabei wird solange gespielt, bis das erste Mal gewonnen wird. Solange man verliert, verdoppelt man den Einsatz in jedem Spiel. Angenommen man beginnt das erste Spiel mit einem Einsatz von 1 DM und gewinnt das erste Mal beim n-ten Spiel. Dann beläuft sich der Gesamteinsatz bis dahin auf 1+2+4+…+2^{n} = 2^{n+1}−1 DM. Man bekommt allerdings 2^{n+1} DM ausgezahlt, womit sich der Gewinn auf 1 DM beläuft.

Eine mathematisch formalere Modellierung könnte so aussehen: Sei {X_{n}}_{n∈ℕ_{0}} eine Folge stochastisch unabhängig, identisch verteilter Zufallsvariablen, die mit Parameter (1, \frac{1}{2}) binomialverteilt sind (X ∼ Bin(1, 1/2)). Dabei bedeute {X_{n} = 1}, daß im n-ten Spiel ”Rot“ auftritt (o.B.d.A. werde immer auf ”Rot“ gesetzt). Dann ist S = min{n ∈ ℕ_{0} | X_{n} = 1} der Zeitpunkt, an dem erstmalig ”Rot“ auftritt mit S ∼ Geo (\frac{1}{2}) und P (S = k) = (1 − p)^{k}p, k ∈ ℕ_{0}. Die Auszahlung A ist 1 DM A = 1, falls S < ∞, also P (A = 1) = P (S < ∞) = ∑_{k=0}^{∞} P (S = k) = 1. Somit beträgt die erwartete Auszahlung E(A) = 1 · P (A = 1) = 1.

Diese sichere Gewinnstrategie erfordert dummerweise unendlich viel Kapital und unendlich viel Zeit (Zumindest letzteres steht aber dem Informatikstudenten an der RWTH nicht zur Verfügung.). Insofern ist die Frage nach der zu erwartenden Auszahlung bei begrenztem Kapital interessant. Angenommen das maximale Kapital beträgt 2^{L} − 1 DM. Das heißt, daß höchstens L − 1 Spiele spielbar sind. Also ist die Auszahlung A = 1 genau dann, wenn S ≤ L − 1 und A = −(2^{L} − 1) genau dann, wenn S ≥ L. Somit gilt für die Verteilung

P (A = 1) = P (S ≤ L − 1) = ∑_{k=0}^{L−1} \frac{1}{2^{k+1}} = 1 − \frac{1}{2^{L}}

P (A = − (2^{L} − 1)) = P (S ≥ L) = 1 − P (A = 1) = \frac{1}{2^{L}}

Für die erwartete Auszahlung ergibt sich also

E(A) = 1 · (1 − \frac{1}{2^{L}} ) − (2^{L} − 1) · \frac{1}{2^{L}} = 0

In beiden Beispielen ist E(X) = ∑_{i} i·P (X = i) bzw. E(g(X)) = ∑_{i} g(i)P (X = i), wobei die i die Trägerpunkte sind. Beachte bei der Erweiterung von E auf unendlich viele Trägerpunkte oder absolut-stetige Zufallsvariablen, daß die Summe bzw. das Integral wohldefiniert sind.

Definition 6.1 (Erwartungswert von Zufallsvariablen) Sei g eine reellwertige Funktion. a) Sei X eine diskrete Zufallsvariable mit Träger T = {x_{1}, x_{2}, …} ⊂ ℝ

und Zähldichte f. Falls

∑_{i=1}^{∞} |g(x_{i})|f(x_{i}) < ∞,

so heißt

E(g(X)) = ∑_{i=1}^{∞} g(x_{i})f(x_{i}) = ∑_{i=1}^{∞} g(x_{i})P (X = x_{i})

der Erwartungswert von g(X).

b) Sei X absolut-stetig mit Dichte f. Falls

∫_{−∞}^{∞} |g(x)|f(x)dx < ∞,

so heißt

E(g(X)) = ∫_{−∞}^{∞} g(x)f(x)dx

der Erwartungswert von g(X)

Insbesondere gilt für die Identität g(X) = X

E(X) = ∑_{i=1}^{∞} x_{i}P (X = x_{i}) bei diskreten Zufallsvariablen

E(X) = ∫_{−∞}^{∞} xf(x)dx bei absolut-stetigen Zufallsvariablen

Für beliebige Zufallsvariablen kann der Erwartungswert mit Hilfe der Verteilungsfunktion wie folgt berechnet werden.

Lemma 6.2 Sei X eine Zufallsvariable mit Verteilungsfunktion F. Falls ∫_{−∞}^{0} F (x) dx < ∞ und ∫_{0}^{∞}(1 − F (x)) dx < ∞, so gilt

E(X) = − ∫_{−∞}^{0} F (x)dx + ∫_{0}^{∞}(1 − F (x))dx

Beweis: Nur für den Fall differenzierbarer Verteilungsfunktionen F (F′(x) = f(x) ist dann eine Dichte). Es gilt sowohl

∫_{−∞}^{0} F (x) · 1dx = F (x) · x|_{−∞}^{0} − ∫_{−∞}^{0} xf(x)dx = − ∫_{−∞}^{0} xf(x)dx

als auch

∫_{0}^{∞}(1 − F (x)) · 1dx = (1 − F (x)) · x|_{0}^{∞} − ∫_{0}^{∞} −f(x) · xdx
= ∫_{0}^{∞} f(x) · xdx.

Zusammen

E(X) = ∫_{−∞}^{0} xf(x)dx + ∫_{0}^{∞} xf(x)dx
= − ∫_{−∞}^{0} F (x)dx + ∫_{0}^{∞}(1 − F (x))dx.

E(X) = B − A

Beispiel 6.3 Der Erwartungswert für eine...

a) ...geometrisch verteilte Zufallsvariable X (X ∼ Geo(p), P (X = k) = f(k) = (1 − p)^{k}p, k ∈ ℕ_{0}, 0 < p ≤ 1)

E(X) = ∑_{k=0}^{∞} k(1 − p)^{k}p = ∑_{k=1}^{∞} k(1 − p)^{k}p = ∑_{k=0}^{∞}(k + 1)(1 − p)^{k+1}p

= (1 − p) \underbrace{∑_{k=0}^{∞} k(1 − p)^{k}p}_{E(X)} +(1 − p) \underbrace{∑_{k=0}^{∞}(1 − p)^{k} · p}_{=1}

⇒ E(X) = \frac{1 − p}{p}, 0 < p ≤ 1

b) ... exponentialverteilte Zufallsvariable X (X ∼ Exp(λ), f(x) = λe^{−λx}, x ≥ 0, λ > 0)

E(X) = ∫_{−∞}^{∞} x · λe^{−λx}𝕀_{(0,∞)}(x)dx = ∫_{0}^{∞} xλe^{−λx}dx  (6.1)
= −xe^{−λx}|_{0}^{∞} + ∫_{0}^{∞} e^{−λx}dx = −\frac{1}{λ}e^{−λx}|_{0}^{∞} = \frac{1}{λ}

Also ist E(X) = \frac{1}{λ}, falls X mit Parameter λ exponentialverteilt ist. c) ...normalverteilte Zufallsvariable X (X ∼ N(μ, σ^{2}), μ ∈ ℝ, σ > 0) mit

Dichte

f(x) = \frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} , x ∈ ℝ

ist

E(X) = ∫_{−∞}^{∞} x\frac{1}{\sqrt{2π}σ} e^{− \frac{(x−μ)^{2}}{2σ^{2}}} dx = \frac{1}{\sqrt{2π}σ} ∫_{−∞}^{∞}(x + μ)e^{− \frac{x^{2}}{2σ^{2}}} dx
= \frac{1}{\sqrt{2π}σ} \underbrace{∫_{−∞}^{∞} xe^{− \frac{x^{2}}{2σ^{2}}} dx}_{=0 da ungerade} +μ · \underbrace{\frac{1}{\sqrt{2π}σ} ∫_{−∞}^{∞} e^{− \frac{x^{2}}{2σ^{2}}} dx}_{=1} = μ

Also ist E(X) = μ, falls X normalverteilt mit Parameter μ, σ^{2} ist (X ∼ N(μ, σ^{2})).

Lemma 6.4 Sei X eine diskrete Zufallsvariable mit Träger ℕ_{0}. Dann gilt

E(X) = ∑_{k=1}^{∞} P (X ≥ k) = ∑_{k=0}^{∞} P (X > k)

Beweis: mit Lemma 6.2

E(X) = ∫_{0}^{∞}(1 − F (x))dx = ∑_{k=0}^{∞} P (X > k) = ∑_{k=1}^{∞} P (X ≥ k)

P (X > 0) = 1 − P (X = 0)

Erwartungswerte von Funktionen von Zufallsvektoren werden wie folgt berechnet.

Satz 6.5 Sei (X_{1}, …, X_{n}) ein Zufallsvektor und g : ℝ^{n} → ℝ^{1} eine meßbare Funktion

a) Sei (X_{1}, …, X_{n}) diskret mit Träger T = {t_{1}, t_{2}, …} ⊂ ℝ^{n} und Zähldichte f_{(X_{1},...,X_{n})}. Falls

∑_{i=1}^{∞} |g (t_{i})| f (t_{i}) < ∞,

so gilt

E(g (X_{1}, …, X_{n}) ) = ∑_{i=1}^{∞} g(t_{i})f(t_{i})

= ∑_{i=1}^{∞} g(t_{i})P ((X_{1}, …, X_{n}) = t_{i})

b) Sei (X_{1}, …, X_{n}) absolut-stetig mit Dichte f. Falls

∫ … ∫ |g (x_{1} …, x_{n})| f (x_{1}, …, x_{n}) dx_{1} … dx_{n} < ∞,

so gilt

E (g (X_{1}, …, X_{n})) = ∫ … ∫ g (x_{1}, …, x_{n}) f (x_{1}, …, x_{n}) dx_{1} … dx_{n}.

Beispiele für Transformation g:

\begin{matrix}(X, Y) & ⟼ & X + Y \\ (X_{1}, X_{2}) & ⟼ & aX_{1} + bX_{2} , a, b ∈ ℝ \\ (X, Y) & ⟼ & X · Y \end{matrix}

Satz 6.6 (Eigenschaften des Erwartungswertes) (auftretende Erwartungswerte sollen existieren)

a) E(aX + bY) = aE(X) + bE(Y) ∀a, b ∈ ℝ (Linearität des Erwartungswertes).

Beweis: für absolut-stetige Zufallsvariablen

E(aX + bY) = ∫∫ (ax + by)f_{(X,Y)}dxdy
= a ∫∫ xf_{(X,Y)}(x, y)dxdy + b ∫∫ yf_{(X,Y)}(x, y)dxdy
= a ∫ xf_{X}(x)dx + b ∫ yf_{Y} (y)dy
= aE(X) + bE(Y)

b) X ≤ Y ⇒ E(X) ≤ E(Y) (Monotonie)

c) Für X = 𝕀_{A}, A ∈ 𝔄 gilt

E(X) = E (𝕀_{A}) = ∫ 𝕀_{A}dA = P (A)

Beweis:

𝕀_{A}(w) = \{ \begin{matrix}1, & w ∈ A \\ 0, & w ∉ A \end{matrix}

E (𝕀_{A}) = 1 · P (A) + 0 · P (A^{∁}) = P (A)

d) P (|X| > c) ≤ \frac{E(|X|)}{c} ∀c > 0 (Markoff-Ungleichung)

Beweis:

∀c > 0 c · 𝕀_{\{|X|>c\}} = \{ \begin{matrix}c : & |X| > c \\ 0 : & |X| ≤ c \end{matrix} \} ≤ |X|

E (c · 𝕀_{{|X|>c}}) = c · P (|X| > c) ≤ E(|X|)

Also P (|X| > c) ≤ \frac{E(|X|)}{c} ∀c > 0

e) X, Y seien stochastisch unabhängig. Dann gilt

E(X · Y) = E(X) · E(Y)

Beweis: Für diskrete, stochastisch unabhängige Zufallsvariablen X, Y

E(X · Y) = ∑_{i,j} x_{i}y_{j}f_{(X,Y)} (x_{i}, y_{j})
=^{s.u.} ∑_{i,j} x_{i}y_{j}f_{X} (x_{i}) f_{Y} (y_{j})

= (∑_{i} x_{i}f_{X} (x_{i})) (∑_{j} y_{j}f_{Y} (y_{j})) = E(X) · E(Y)

Für absolut-stetige Zuvallsvariablen X, Y

E(X · Y) = ∫∫ x · y · f_{(X,Y)}(x, y) dy dx
= ∫∫ x · y · f_{X}(x)f_{Y} (y) dy dx
= ∫ xf_{X}(x) dx ∫ yf_{Y} (y) dy = E(X) · E(Y)

Definition 6.7 X, Y seien Zufallsvariablen. X und Y heißen unkorreliert (uncorrelated), wenn E(X · Y) = E(X) · E(Y). Mit Satz 6.6.e folgt, daß, falls X, Y stochastisch unabhängig sind, X, Y auch unkorreliert sind (Umkehrschluß ist i.A. falsch, außer z.B. bei der Normalverteilung).

Transformationen mit besonderer Bedeutung sind

g(X) = X^{k}, k ∈ ℕ
g(X, Y) = (X − EX)(Y − EY)

Definition 6.8 X, Y seien Zufallsvariablen. Alle im folgenden auftretenden Erwartungswerte sollen existieren.

a) E (X^{k}) , k ∈ ℕ_{0} heißt k-tes Moment (k^{th} moment) von X (speziell k=1: Erwartsungswert von X).

b) E ((X − EX)^{k}) heißt k-tes zentrales Moment (central moment) von X.

Speziell für den Fall k = 2 heißt E ((X − EX)^{2}) = Var(X) = V (X) die Varianz (variance) von X. \sqrt{Var(X)} heißt Standardabweichung (standard deviation) von X.

Fall k = 1: E(X − EX) = EX − E(EX) = EX − EX = 0

c) Cov(X, Y) = E((X − EX)(Y − EY)) heißt Kovarianz (covariance) von X und Y.

Corr(X, Y) = \frac{Cov(X, Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}

heißt Korrelation (correlation) von X und Y.

Lemma 6.9 X, Y, X_{1}, …, X_{n} seien Zufallsvariablen, auftretende Momente sollen existieren.

a)

Cov(X, Y) = E(X · Y) − E(X)E(Y)
Cov(X, X) = Var(X) = E (X^{2}) − (EX)^{2}

Beweis:

Cov(X, X) = E((X − EX)(X − EX)) = E((X − EX)^{2})
= Var(X)
Cov(X, Y) = E((X − EX)(Y − EY))
= E(XY − (EX)Y − X(EY) + (EX)(EY))
= E(XY) − E((EX)Y ) − E(X(EY))
+E((EX)(EY))
= E(XY) − (EX)(EY) − (EX)(EY) + (EX)(EY)
= E(XY) − (EX)(EY)

b)

Var(aX + b) = a^{2}Var(X) ∀a, b ∈ ℝ

Beweis:

Var(aX + b) = E ((aX + b − E(aX + b))^{2})
= E((aX + b − aEX − \underbrace{E(b)}_{b} )^{2})

= E ((a(X − EX))^{2}) = E (a^{2}(X − EX)^{2})
= a^{2}Var(X)

c)

Var (∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} Var(X_{i}) + 2 · ∑_{i<j} Cov(X_{i}, X_{j})

Falls X_{1}, …, X_{n} paarweise unkorreliert sind, also insbesondere falls X_{1}, …, X_{n} gemeinsam stochastisch unabhängig sind, gilt

Var (∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} Var(X_{i}).

Beweis:

Var (∑_{i=1}^{n} X_{i}) = E ((∑_{i=1}^{n} X_{i})^{2}) − (E (∑_{i=1}^{n} X_{i}))^{2}

= E ( ∑_{i,j=1}^{n} X_{i}X_{j}) − (∑_{i=1}^{n} E(X_{i}))^{2}

= E ( ∑_{i,j=1}^{n} X_{i}X_{j}) − ∑_{i,j=1}^{n} E (X_{i}) E (X_{j})

= ∑_{i,j=1}^{n} E(X_{i}X_{j}) − ∑_{i,j=1}^{n} E (X_{i}) E (X_{j})

= ∑_{i=1}^{n} (E (X_{i}^{2}) − (E(X_{i}))^{2})

+ ∑_{i≠j} (E(X_{i}X_{j}) − E(X_{i})E(X_{j}))

= ∑_{i=1}^{n} Var(X_{i}) + ∑_{i≠j} Cov(X_{i}, X_{j})

= ∑_{i=1}^{n} Var(X_{i}) + 2 · ∑_{i<j} Cov(X_{i}, X_{j})

d) Es gilt die Cauchy-Schwarz-Ungleichung

|Cov(X, Y)| ≤ \sqrt{Var(X) · Var(Y)}.

Insbesondere folgt |Corr(X, Y)| ≤ 1. Beweis:

|E(XY)| = |∫∫ xyf(x, y) dx dy|
≤ ∫∫ |xy|f(x, y) dx dy = ∫∫ |x||y|f(x, y) dx dy
≤ (∫∫ x^{2}f(x, y) dx dy)^{\frac{1}{2}} (∫∫ y^{2}f(x, y) dx dy)^{\frac{1}{2}}

= [ ∫ x^{2}( \underbrace{∫ f(x, y) dy}_{f_{X}(x)} )dx]^{\frac{1}{2}} [ ∫ y^{2}( \underbrace{∫ f(x, y) dx}_{f_{Y} (y)} )dy]^{\frac{1}{2}}

= (∫ x^{2}f_{X}(x) dx)^{\frac{1}{2}} · (∫ y^{2}f_{Y} (y) dy)^{\frac{1}{2}}
= (E (X^{2}) )^{\frac{1}{2}} (E (Y^{2}) )^{\frac{1}{2}}

E(XY) ≤ \sqrt{E (X^{2}) E (Y^{2})}

X ⟵ X − EX, Y ⟵ Y − EY

⟹ E((X − EX)(Y − EY)) ≤ \sqrt{E((X − EX)^{2})E((Y − EY)^{2})}

⟺ Cov(X, Y) ≤ \sqrt{Var(X)} · \sqrt{Var(Y)}

Interpretationen:

E(X)  : Erwartungswert
Var(X) : Streuungsmaß

Cov(X, Y) : Korrekturterm bei Varianz von Summen, Maßzahl für den linearen Zusammenhang von Zufallsvariablen. Es gilt: ∃a, b ∈ ℝ : P (X = aY + b) = 1 ⇔ |Corr(X, Y) = 1| Beachte:

|Corr(X, Y)| = \frac{|Cov(X, Y)|}{\sqrt{V (X)}\sqrt{V (Y)}} ≤_{(CS)} 1

Satz 6.10 G_{X_{1}}(z), G_{X_{2}}(z) seien erzeugende Funktionen von diskreten, stochastisch unabhängigen Zufallsvariablen X_{1}, X_{2}, bzw. L_{X_{1}}(s), L_{X_{2}}(s) die Laplace-Transformierten von absolut-stetigen stochastisch unabhängigen Zufallsvariablen X_{1}, X_{2} ≥ 0. Dann gilt

G_{X_{1}+X_{2}}(z) = G_{X_{1}}(z) · G_{X_{2}}(z), |z| ≤ 1 bzw.
L_{X_{1}+X_{2}}(s) = L_{X_{1}}(s) · L_{X_{2}}(s), s ≥ 0

Beweis: Es gilt

G_{X}(z) = ∑_{k=0}^{∞} p_{k}z^{k} = E (z^{X})
L_{X}(s) = ∫_{0}^{∞} e^{−sx}f(x)dx = E (e^{−sX})

Also für X_{1} + X_{2}

G_{X_{1}+X_{2}}(z) = E (z^{X_{1}+X_{2}}) =^{s.u.} E (z^{X_{1}} · z^{X_{2}}) = E (z^{X_{1}}) · E (z^{X_{2}})
= G_{X_{1}}(z) · G_{X_{2}}(z), |z| ≤ 1
L_{X_{1}+X_{2}}(s) = E (e^{−s(X_{1}+X_{2})}) = E( \begin{matrix}\underbrace{e^{−sX_{1}}} · \underbrace{e^{−sX_{2}}} \\ s.u. \end{matrix} )

= E (e^{−sX_{1}}) · E (e^{−sX_{2}}) = L_{X_{1}}(s) · L_{X_{2}}(s), s ≥ 0

Beispiel 6.11

a) Sei X binomialverteilt mit Parametern n, p. Dann ist G_{X}(z) = (1 − p + pz)^{n}, |z| ≤ 1. Wenn X_{1} ∼ Bin(n_{1}, p), X_{2} ∼ Bin(n_{2}, p) stochastisch unabhängig sind, dann ist

G_{X_{1}+X_{2}}(z) = (1 − p + pz)^{n_{1}} · (1 − p + pz)^{n_{2}} = (1 − p + pz)^{n_{1}+n_{2}}

die erzeugende Funktion einer Binomialverteilung mit Parametern n_{1}+ n_{2} und p (⇒ X_{1} + X_{2} ∼ Bin(n_{1} + n_{2}, p)).

b) Sei λ ≠ μ, X_{1}, X_{2} s.u.,

X_{1} ∼ Exp(λ), L_{X_{1}}(s) = \frac{λ}{s + λ}, s ≥ 0

X_{2} ∼ Exp(μ), L_{X_{2}}(s) = \frac{μ}{s + μ}, s ≥ 0

L_{X_{1}+X_{2}}(s) = \frac{λ}{s + λ} · \frac{μ}{s + μ} = \frac{μ}{μ − λ} \frac{λ}{s + λ} + \frac{λ}{λ − μ} \frac{μ}{s + μ}.

Die Dichte

f(x) = (\frac{μ}{μ − λ}λe^{−λx} + \frac{λ}{λ − μ}μe^{−μx}) 𝕀_{(0,∞)}(x)

liefert die Laplace-Transformierte L_{X_{1}+X_{2}}(s), also hat X_{1}+X_{2} die obige

Dichte, X_{1} + X_{2} ∼ f(x).

Satz 6.12 (Transformierte und Momente)

a) Sei G(z) = ∑_{k=0}^{∞} P (X = k)z^{k} die erzeugende Funktion einer diskreten Zufallsvariable X mit Träger ℕ_{0}. Dann gilt

E(X) = G′(1)
\underbrace{E(X · (X − 1) ⋯ (X − k + 1))}_{k-tes faktorielles Moment} = G^{(k)}(1)

Demzufolge ist E (X^{2}) = G′(1) + G′′(1).

Beachte: Es gilt G^{(i)}(1) = lim_{z↑1} G^{(i)}(z), falls G(z) nicht existiert für z > 1.

Beweis: Sei p_{k} = P (X = k).

G(z) = ∑_{k=0}^{∞} z^{k} p_{k}

G′(z) = ∑_{k=0}^{∞} p_{k} k z^{k−1}, |z| ≤ 1 ⇒ G′(1) = ∑_{k=0}^{∞} p_{k} · k = E(X)

(Abelscher Grenzwertsatz)

G′′(z) = ∑_{k=0}^{∞} p_{k} k (k − 1) z^{k−2} ⇒ G′′(1) = ∑_{k=0}^{∞} p_{k} k (k − 1)

= E(X(X − 1))

Speziell: E(X(X − 1)) = E(X^{2}) − E(X) ⇒ E(X^{2}) = G′′(1) + G′(1)

b) Sei L(s) = ∫_{0}^{∞} e^{−sx}f(x)dx, s ≥ 0 eine Laplace-Transformierte einer absolut-stetigen Zufallsvariable X ≥ 0 mit Dichte f. Dann gilt

E(X) = −L′(0)
E (X^{k}) = (−1)^{k}L^{(k)}(0).

Beispiel 6.13 (Berechnung von Momenten)

a) Sei X binomialverteilt mit Parameter n, p, 0 ≤ p ≤ 1. Berechung des Erwartungswertes (3 Methoden):

(i) E(X) = ∑_{k=0}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k} = … = np. (ii) Sei X ∼ ∑_{i=1}^{n} X_{i} mit X_{i} stid und alle X_{i} ∼ Bin(1, p). Dann ist

für alle X_{i} der Erwartungswert E (X_{i}) = 1 · p + 0 · (1 − p) = p und für X

E(X) = E (∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} E (X_{i}) = ∑_{i=1}^{n} p = np.

(iii) Über die erzeugende Funktion

G(z) = (pz + 1 − p)^{n} ⇒ G′(z) = n(pz + 1 − p)^{n−1} · p
G′(1) = np = E(X)

Die Varianz wird wie in (ii) berechnet:

Var(X) = Var (∑_{i=1}^{n} X_{i}) = ∑_{i=1}^{n} Var (X_{i}) =^{(∗)} ∑_{i=1}^{n} p(1 − p)

= np(1 − p)

Var (X_{i}) = E (X_{i}^{2}) − (E (X_{i}))^{2}  (∗)

= E (X_{i}^{2}) − p^{2} =^{(∗∗)} p − p^{2} = p(1 − p)

E (X_{i}^{2}) = 1^{2} · p + 0^{2}(1 − p) = p  (∗∗)

b) Sei X exponentialverteilt mit Parameter λ > 0. Dann gilt

L_{X}(s) = \frac{λ}{s + λ}, L_{X}^{(k)}(s) = (−1)^{k}k!\frac{λ}{(s + λ)^{k+1}}

L_{X}^{(k)}(0) = (−1)^{k}k!λ^{−k}

Also gilt

E (X^{k}) = k!λ^{−k}, k ∈ ℕ_{0}, E(X) = \frac{1}{λ}, E (X^{2}) = \frac{2}{λ^{2}}

Var(X) = E (X^{2}) − (EX)^{2} = \frac{2}{λ^{2}} − \frac{1}{λ^{2}} = \frac{1}{λ^{2}}

c) Sei X normalverteilt mit Parametern μ = 0, σ^{2} = 1 (X ∼ N(0, 1)). Dann ist E(X) = 0 und

E (X^{2}) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{∞} x^{2}e^{−x^{2}/2}dx = \frac{2}{\sqrt{2π}} ∫_{0}^{∞} x^{2}e^{−x^{2}/2}dx
(Substitution: \frac{x^{2}}{2} = y, dx = \frac{dy}{\sqrt{2y}} )
= \frac{2}{\sqrt{2π}} ∫_{0}^{∞} 2ye^{−y} \frac{1}{\sqrt{2y}} dy
= \underbrace{\frac{2}{\sqrt{π}} ∫_{0}^{∞} \sqrt{y}e^{−y}dy}_{Integral über Dichte einer Γ (\frac{3}{2}, 1)-Verteilung} = 1

Es folgt: Var(X) = E (X^{2}) − (EX)^{2} = 1 − 0 = 1 (Varianz einer Standardnormalverteilung = 1).

Y = σX + μ besitzt die Dichte

f_{Y} (y) = \frac{1}{\sqrt{2π}σ} e^{− \frac{(y−μ)^{2}}{2σ^{2}}} (Transformations-Satz)

d.h. Y ∼ N (μ, σ^{2}). Also gilt

E(Y) = E(σX + μ) = σE(X) + μ = μ und Var(Y) = Var(σX + μ) = σ^{2}Var(X) = σ^{2}

Das bedeutet, daß der erste Parameter einer Normalverteilung den Erwartungswert und der zweite die Varianz darstellt.

Bedingte Verteilungen und Erwartungswerte

7.1 Diskreter Fall

Seien X, Y diskrete Zufallsvariablen mit Trägern T_{(X,Y)} und gemeinsamer Zähldichte

f_{(X,Y)}(x, y) = P (X = x, Y = y), (x, y) ∈ T_{(X,Y)}.

Es heißt

f_{X|Y} (x|y) = \{ \begin{matrix}\frac{P (X=x,Y =y)}{P (Y =y)} = \frac{f_{(X,Y )}(x,y)}{f_{Y} (y)} : & f_{Y} (y) > 0 \\ f_{X}(x) (oder bel. andere Zähl- dichte mit Träger T_{X}) : & f_{Y} (y) = 0 \end{matrix}

bedingte Zähldichte von X unter Y = y (analog zu Definition 2.14). Beachte: f_{X|Y} (x|y) ist eine Zähldichte für alle festen y ∈ T_{Y}. Die zugehörige Verteilung heißt bedingte Verteilung von X unter Y = y, also

P (X ∈ A|Y = y) = P^{X|Y =y}(A) = ∑_{x∈A} f_{X|Y} (x|y), A ⊂ T_{X}, y ∈ T_{Y} .

Der Satz von der totalen Wahrscheinlichkeit (Satz 2.15a) liefert

f_{X}(x) = P (X = x) = ∑_{y∈T_{Y}} f_{X|Y} (x|y)f_{Y} (y), x ∈ T_{X} (∗)

Beispiel 7.1 Seien f_{X|N}(k|n) = \binom{n}{k}p^{k}(1−p)^{n−k}, k = 0, …, n, also P^{X|N=n} = Bin(n, p) und N poissonverteilt mit Parameter λ, N ∼ P oi(λ). Als Interpretation stelle man sich bespielsweise ein zweistufiges Experiment vor, in dem zunächst die Anzahl der Münzwürfe ermittelt wird (poissonverteilt) und anschließend entsprechend oft eine Münze geworfen wird, wobei letztendlich die Anzahl der auftretenden ”Köpfe“ interessiert. Für die Wahrscheinlichkeit, daß genau k ”Köpfe“ auftreten gilt

P (X = k) = ∑_{n=0}^{∞} P (X = k|N = n)P (N = n)

= ∑_{n=k}^{∞} P (X = k|N = n)P (N = n)

= ∑_{n=k}^{∞} \frac{n!}{(n − k)!k!}p^{k}(1 − p)^{n−k}e^{−λ} \frac{λ^{n}}{n!}

= e^{−λ} \frac{λ^{k}p^{k}}{k!} \underbrace{∑_{n=k}^{∞} \frac{(λ(1 − p))^{n−k}}{(n − k)!}}_{e^{λ(1−p)}}

= e^{−λ} \frac{(λ)^{k}p^{k}}{k!} e^{λ(1−p)}
= e^{−λp} \frac{(λp)^{k}}{k!} , ⇒ X ∼ Poi(λp).

X ist also poissonverteilt mit Parameter λp, X ∼ P oi(λp). Interpretation: Die Markierung der Ereignisse eines Poisson-Prozesses mit Wahrscheinlichkeit p ist immer noch Poisson-Verteilt.

Betrachte nun den Erwartungswert bzgl. der bedingten Verteilung.

E(g(X)|Y = y) = ∑_{x∈T_{X}} g(x)f_{X|Y} (x|y), y ∈ T_{Y}

heißt bedingter Erwartungswert von g(X) unter Y = y (sofern existent). Es berechnet sich der Erwartungswert mit den bedingten Erwartungswerten wie folgt:

E(g(X)) = ∑_{x∈T_{X}} g(x)f_{X}(x) = ∑_{x∈T_{X}} g(x) ∑_{y∈T_{Y}} f_{X|Y} (x|y)f_{Y} (y)

= ∑_{y∈T_{Y}} ( ∑_{x∈T_{X}} g(x)f_{X|Y} (x|y)) f_{Y} (y)
= ∑_{y∈T_{Y}} E(g(X)|Y = y)f_{Y} (y)

7.2 Absolut-stetiger Fall

X, Y seien absolut-stetige Zufallsvariablen mit gemeinsamer Dichte f_{(X,Y)}(x, y). Definiere die bedingte Dichte von X unter Y = y durch

f_{X|Y} (x|y) = \{ \begin{matrix}\frac{f_{(X,Y )}(x,y)}{f_{Y} (y)} : & f_{Y} (y) > 0 \\ f_{X}(x) (oder beliebige andere Dichte) : & f_{Y} (y) = 0 \end{matrix}

Beachte: f_{X|Y} (x|y) ist eine Dichte in der Variablen x für alle y ∈ ℝ. Die zugehörige Verteilung heißt bedingte Verteilung von X unter Y = y, also

P (X ∈ A|Y = y) = P^{X|Y =y}(A) = ∫_{A} f_{X|Y} (x|y)dx, A ∈ 𝔄, y ∈ ℝ.

Speziell heißt

F_{X|Y =y}(x) = P (X ≤ x|Y = y) = ∫_{−∞}^{x} f_{X|Y} (z|y)dz

bedingte Verteilungsfunktion von X unter Y = y. Ähnlich wie im diskreten Fall (totale Wahrscheinlichkeit) gilt

f_{X}(x) = ∫_{−∞}^{∞} f_{X|Y} (x|y)f_{Y} (y)dy.

Ebenso analog definiere

E(g(X)|Y = y) = ∫ g(x)f_{X|Y} (x|y)dx, y ∈ ℝ

den bedingten Erwartungswert von g(X) unter Y = y. Demnach gilt dann auch hier

E(g(X)) = ∫ g(x)f_{X}(x)dx = ∫ g(x) ∫ f_{X|Y} (x|y)f_{Y} (y)dydx
= ∫ (∫ g(x)f_{X|Y} (x|y)dx) f_{Y} (y)dy
= ∫ E(g(X)|Y = y)f_{Y} (y)dy.

7.3 Gemischter Fall

Beispiel 7.2 (Wartezeit in einem Wartesystem) Sei N die Anzahl der Kunden in einer Warteschlange und N ∼ Geo(p). X_{n}, n ∈ ℕ sei die Bedienzeit von Kunde n mit X_{n} stid ∼ Exp(λ). Gesucht ist die Gesamtwartezeit für neu ankommende Kunden W = ∑_{i=1}^{N+1} X_{i}. Bekannt ist P^{W |N=n} = Erl(n + 1, λ).

Es gilt

P (W ≤ t) = ∑_{n=0}^{∞} P (W ≤ t|N = n)P (N = n)

= ∑_{n=0}^{∞} ∫_{0}^{t} \frac{λ^{n+1}}{n!} y^{n}e^{−λy}dy(1 − p)^{n}p

= ∫_{0}^{t} λpe^{−λy} \underbrace{∑_{n=0}^{∞} \frac{(λy(1 − p))^{n}}{n!}}_{=e^{λy(1−p)}} dy

= ∫_{0}^{t} λpe^{−λy}e^{λy(1−p)}dy = ∫_{0}^{t} λpe^{−λpy}dy
= 1 − e^{−λpt}, t ≥ 0

Also ist W exponentialverteilt mit Parameter λp und Erwartungswert E(W) = \frac{1}{λp}.

Beispiel 7.3 (Ankünfte eines Poisson-Prozesses in zufälligen Intervallen) Sei N(t) die Anzahl der Ankünfte in einem Zeitintervall, ein Poisson-Prozess mit Parameter λ > 0 (N(t) ∼ Poi(λt)) und Y eine exponentialverteilte Zufallsvariable mit Parameter μ > 0 (Y ∼ Exp(μ)). N und Y seien stochastisch unabhängig. Gesucht ist die Verteilung von N(Y) = max{n ∈ ℕ_{0} | ∑_{i=1}^{n} X_{i} ≤ Y }, wobei die X_{i} stid ∼ Exp(λ). Gesucht ist also die Verteilung der Anzahl der Ankünfte in einem zufälligen Zeitintervall [0, Y]. Bekannt ist, dass P^{N(Y)|Y =t} = Poi(λt) für alle t > 0. Es gilt

P (N(Y) = k) = ∫_{0}^{∞} P (N(Y) = k|Y = t)μe^{−μt}dt
= ∫_{0}^{∞} \frac{(λt)^{k}}{k!} e^{−λt}μe^{−μt}dt
= \frac{λ^{k}μ}{k!} \underbrace{∫_{0}^{∞} t^{k}e^{−(λ+μ)t}dt}_{( \frac{(λ+μ)^{k+1}}{k!} )^{−1}, da Γ-Dichte}

= \frac{μ}{λ + μ} (\frac{λ}{λ + μ})^{k} , k ∈ ℕ_{0}
= (1 − \frac{μ}{λ + μ})^{k} \frac{μ}{λ + μ}

Also ist N(t) geometrisch verteilt mit Parameter \frac{μ}{λ+μ}.

Grenzwertsätze

Zur Motivation drei Problemstellungen:

a) Man betrachte einen unendlichen Münzwurf, wobei die Wahrscheinlichkeit p dafür, daß ”Kopf“ fällt unbekannt ist. Die Frage ist also, ob die Münze fair ist, d.h. wie groß p ist. Intuitiv wäre natürlich eine Lösung, die Münze sehr oft zu werfen und die Ergebnisse zu untersuchen. Seien X_{i} Zufallsvariablen mit X_{i} ∼ Bin(1, p). Dann ist h_{n} = \frac{Anzahl der Würfe mit Kopf}{n=Anzahl aller Würfe} = ^{\frac{∑_{i=1}^{n} X_{i}}{n}}. Die Frage ist nun, ob h_{n} ⟶^{n→∞} p.

b) Vereinfachtes UMTS-Modell (CDMA = Code Division Multiple Access).

Interferenzleistung von Mobilstationen ”außerhalb“ der eigenen Zelle limitiert die Kapazität. Gesamte Interferenz von n Mobilstationen

S = ∑_{i=1}^{n} X_{i} \frac{1}{D_{i}^{4}}

\begin{matrix}X_{i} : & Zufällige Sendeleistung der Station i \\ D_{i} : & Zufälliger Abstand der Station i zu BTS \end{matrix} \} s.u.

E(S), Var(S) seien bekannt. Welche Verteilung hat s für große n ? Ergebnis:

\frac{S − E(S)}{\sqrt{V ar(S)}} ∼^{as} N(0, 1)

unabhängig von der Verteilung von X_{i} und D_{i}.

c) In einem Wartesystem sei die Anzahl der ankommenden Kunden im Zeitintervall i (jeweils der Länge 1) X_{i} ∼ Poi(λ). Demnach ist die Anzahl der bis zur Zeit n angekommenen Kunden Y_{n} = ∑_{i=1}^{n} X_{i} ∼ Poi(nλ). Da für große n die numerische Berechnung recht lästig wird interessiert man sich dafür, welche Verteilung sich asymptotisch für große n ergibt. Es existieren Konstanten a_{n}, b_{n} mit

\frac{Y_{n} − a_{n}}{b_{n}} ∼^{asymptotisch} N(0, 1)  kurz: \frac{Y_{n} − a_{n}}{b_{n}} ∼^{as} N(0, 1)

Dies gilt für beliebige Verteilung der X_{i}, insbesondere auch für X_{i} ∼ Bin(k, p).

Zunächst ein paar geeignete Konvergenzbegriffe:

Definition 8.1 Sei {X_{n}}_{n∈ℕ} eine Folge von Zufallsvariablen und X ebenfalls eine Zufallsvariable auf dem Wahrscheinlichkeitsraum (Ω, 𝔄, P). Die Folge heißt ...

a) ... P-fast sicher konvergent gegen X (almost surely, almost everywhere), wenn

P ({ω | lim_{n→∞} X_{n}(ω) = X(ω)}) =^{kurz} P ( lim_{n→∞} X_{n} = X) = 1

Bezeichnung:

X_{n} ⟶^{n→∞} X P-f.s., oder lim_{n→∞} X_{n} = X P-f.s.

b) ... P-stochastisch konvergent gegen X (stochastically convergent), wenn

lim_{n→∞} P (|X_{n} − X| > ε) = 0 ∀ε > 0

Bezeichnung:

X_{n} ⟶^{n→∞} X P-stoch., lim_{n→∞} X_{n} = X P-stoch., P-lim_{n→∞} X_{n} = X

c) ... schwach oder verteilungskonvergent (convergence in distribution) gegen X, wenn

lim_{n→∞} F_{n}(x) = F (x)

in allen Stetigkeitspunkten x von F, wobei F_{n}(X) Verteilungsfunktion von X_{n} und F (x) Verteilungsfunktion von X. Bezeichnung:

X_{n} ∼^{as} X, X_{n} ⟶^{D} X, (X_{n} ⟶^{𝔅} X)

Lemma 8.2 Es gilt

X_{n} ⟶^{n→∞} X P-f.s. ⟺ P ( lim sup_{n→∞}{|X_{n} − X| > ε}) = 0 ∀ε > 0

Also gilt

X_{n} → X P-f.s. ⟺ P (|X_{n} − X| > ε für unendlich viele n) = 0 ∀ε > 0

Beweis: von ”⟸“

∀ε = \frac{1}{k} : P (|X_{n} − X| > \frac{1}{k} für ∞ viele n) = 0

Es folgt: P \underbrace{(⋃_{k} \{ω | |X_{n}(ω) − X(ω)| > \frac{1}{k} für ∞ viele n\})}_{=\{ω | ∃k∀n_{0}∃n≥n_{0} : |X_{n}(ω)−X(ω)|> \frac{1}{k}\}}

Also: P (\{ω | ∀k∃n_{0}∀n ≥ n_{0} : |X_{n}(ω) − X(ω)| ≤ \frac{1}{k} \}) = 1

d.h. X_{n} → X P-f.s.

Satz 8.3 (Zusammenhänge zwischen Konvergenzarten)

a) X_{n} ⟶^{n→∞} X P-f.s. ⟹^{(i)} X_{n} ⟶^{n→∞} X P-stoch ⟹^{(ii)} X_{n} ⟶^{D} X. Die Umkeh-

rungen sind im Allgemeinen falsch.

b) ”Schnelle“ stochastische Konvergenz impliziert fast sichere Konvergenz.

∑_{n=1}^{∞} P (|X_{n} − X| > ε) < ∞ ∀ε > 0 ⟹ X_{n} → X P-f.s.

Beweis:

a) erste Folgerung: ∀ε > 0 gilt:

0  ≤  lim_{n→∞} P (|X_{n} − X| > ε)

≤  lim_{n→∞} P ( ⋃_{m≥n}{|X_{m} − X| > ε})

=^{Stetigkeit} P ( ⋂_{n=1}^{∞} ⋃_{m=n}^{∞}{|X_{m} − X| > ε})

=  P (lim sup_{n→∞}{|X_{n} − X| > ε})
=  P (|X_{n} − X| > ε für ∞ viele n)
=  0  da X_{n} → X P − f.s. (wg. La 8.2)

zweite Folgerung: siehe ”Mathar und Pfeiffer“, Lemma 2.3.2, Seite 137

b) Sei ε > 0. Mit dem Borel-Cantelli-Lemma und Lemma 8.2 folgt

∑_{n=1}^{∞} P (|X_{n} − X| > ε) < ∞ ⟹^{BCL} P (lim sup_{n→∞}{|X_{n} − X| > ε}) = 0,

woraus die Behauptung folgt.

Lemma 8.4 (Tschebyscheff-Ungleichung) (Chebychev inequality) Sei X eine Zufallsvariable mit Var(X) < ∞. Dann gilt für alle ε > 0

P (|X − E(X)| > ε) ≤ \frac{Var(X)}{ε^{2}}.

Beweis: Mit der Markoff-Ungleichung (Satz 6.6 d) folgt

P (|X −EX| > ε) = P ((X − EX)^{2} > ε^{2}) ≤ \frac{E (|X − EX|^{2})}{ε^{2}} = \frac{Var(X)}{ε^{2}}.

Satz 8.5 (Starkes Gesetz großer Zahlen, SGGZ) (Strong Law of Large Numbers, LLN) Sei {X_{n}}_{n∈ℕ} eine Folge von paarweise unkorrelierten Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, 𝔄, P) mit Var(X_{n}) ≤ M < ∞ ∀n ∈ ℕ. Dann gilt

\frac{1}{n} ∑_{i=1}^{n}(X_{i} − EX_{i}) ⟶^{n→∞} 0 P-fast sicher.

Beweis: Ohne Beschränkung der Allgemeinheit sei EX_{i} = 0 für alle i, wobei alle X_{i} paarweise unkorreliert seien. Setze \overline{X}_{n} = \frac{1}{n} ∑_{i=1}^{n} X_{i} und zeige, daß für alle ε > 0 gilt ∑_{n=1}^{∞} P (|\overline{X}_{n}| > ε) < ∞. Dann ist \overline{X}_{n} → 0 P-fast sicher konvergent (Satz 8.3.b). Betrachte zunächst die Teilfolge \overline{X}_{n^{2}}. Mit der Tschebyscheff-Ungleichung folgt

P (|\overline{X}_{n^{2}} | > ε) ≤ \frac{Var (\overline{X}_{n^{2}})}{ε^{2}} ≤ \frac{\frac{1}{n^{4}} n^{2}M}{ε^{2}} = \frac{M}{n^{2}ε^{2}} ∀n ∈ ℕ, ε > 0

Kapitel 8. Grenzwertsätze  73

Denn

Var(\overline{X}_{n^{2}}) = Var(\frac{1}{n^{2}} ∑_{i=1}^{n^{2}} X_{i}) = \frac{1}{n^{4}} ∑_{i=1}^{n^{2}} Var(X_{i})
≤ \frac{1}{n^{4}} ∑_{i=1}^{n^{2}} M = \frac{1}{n^{4}} · n^{2} · M

Also gilt

∑_{n=1}^{∞} P (|\overline{X}_{n^{2}} | > ε) ≤ ∑_{n=1}^{∞} \frac{M}{n^{2}ε^{2}} = \frac{M}{ε^{2}} ∑_{n=1}^{∞} \frac{1}{n^{2}} < ∞

⇒ \overline{X}_{n^{2}} → 0 P-fast sicher konvergent Sei n = n(k) definiert durch n^{2} ≤ k < (n + 1)^{2}, k ∈ ℕ. Dann ist

Var (k\overline{X}_{k} − n^{2}\overline{X}_{n^{2}}) = Var ( ∑_{i=n^{2}+1}^{k} X_{i}) ≤ (k − n)^{2}M.

Es folgt mit der Tschebyscheff-Ungleichung

P (|k\overline{X}_{k} − n^{2}\overline{X}_{n^{2}} | ≥ εn^{2}) ≤ \frac{(k − n)^{2}M}{ε^{2}n^{4}} ,

also mit Satz 8.3.b

\frac{k}{n(k)^{2}} \overline{X}_{k} − \overline{X}_{n(k)^{2}} ⟶^{k→∞} 0 P-f.s.

Insgesamt:

∃F_{1} ∈ 𝔄, P (F_{1}) = 1 ∀ω ∈ F_{1} : \overline{X}_{n^{2}} ⟶^{n→∞} 0

∃F_{2} ∈ 𝔄, P (F_{2}) = 1 ∀ω ∈ F_{2} : \frac{k}{n(k)^{2}} \overline{X}_{k} − \overline{X}_{n(k)^{2}} ⟶^{k→∞} 0

\frac{k}{n(k)^{2}} ⟶^{k→∞} 1

Es folgt: \overline{X}_{n} → 0 ∀ω ∈ F_{1} ∩ F_{2}, wobei

P (F_{1} ∩ F_{2}) = \underbrace{P (F_{1})}_{=1} + \underbrace{P (F_{2})}_{=1} − \underbrace{P (F_{1} ∪ F_{2})}_{=1} = 1,

d.h. \overline{X}_{n} → 0 P-fast sicher konvergent. Bemerkung 8.6 a) Aus Satz 8.3.a (fast sichere Konvergenz impliziert stochastische Kon-

vergenz) folgt

\frac{1}{n} ∑_{i=1}^{n}(X_{i} − EX_{i}) ⟶^{n→∞} 0 P-fast sicher konvergent

⟹ \frac{1}{n} ∑_{i=1}^{n}(X_{i} − EX_{i}) ⟶^{n→∞} 0 P-stochastisch konvergent

Die gefolgerte Aussage heißt ”Schwaches Gesetz großer Zahlen“ WLLN .

b) Das starke Gesetz großer Zahlen gilt auch, wenn {X_{n}}_{n∈ℕ} stid und E(X_{1}) existiert (ohne dabei die Existenz der Varianz zu fordern). Mit der Existenz von E(X_{1}) folgt wegen der stochastischen Unabhängigkeit und Gleichverteilung der X_{i} die Existenz von E(X_{i}). Dann gilt mit μ = E(X_{i})

\frac{1}{n} ∑_{i=1}^{n} X_{i} ⟶^{n→∞} μ P-fast sicher konvergent

Beweis: aufwendig (s. Shiryayev)

Beispiel 8.7 (Anwendung des SGGZ auf Wahrscheinlichkeiten) Sei {X_{n}}_{n∈ℕ} eine Folge von stochastisch unabhängigen, identisch verteilten Zufallsvariablen, A ∈ 𝔅^{1}, P (X_{n} ∈ A) = p ∀n ∈ ℕ. Es ist ∑_{i=1}^{n} 𝕀_{A}(X_{i}) die Anzahl des Auftretens {X_{i} ∈ A} bis zum n-ten Versuch (Interpretation: X_{i} Laufzeiten, Anzahl der Ereignisse im Zeit-Intervall A). Die Y_{i} = 𝕀_{A}(X_{i}) sind ebenfalls stochastisch unabhängig, identisch verteilt mit E(Y_{i}) = P (X_{i} ∈ A) = p ∀i ∈ ℕ. Mit dem starken Gesetz großer Zahlen folgt

\frac{1}{n} ∑_{i=1}^{n} Y_{i} = \frac{1}{n} ∑_{i=1}^{n} 𝕀_{A}(X_{i})

s. Fußnote ^{2}

= \frac{Anz. des Auftretens von \{X_{i} ∈ A\} bis n}{n}
= rel. Häufigkeit des Auftretens von {X_{i} ∈ A} bis zum n-ten Versuch
⟶^{n→∞} p P-fast sicher konvergent

Beispiel 8.8 Sei {X_{n}}_{n∈ℕ} eine Folge von stochastisch unabhängigen, identisch verteilten Zufallsvariablen mit μ = E(X_{i}), σ^{2} = Var(X_{i}). Dann gilt

\frac{1}{n} ∑_{i=1}^{n} X_{i} = \overline{X}_{n} ⟶^{n→∞} μ P-fast sicher konvergent d.h. \overline{X}_{n} ist ein ”stark konsistenter Schätzer“ für μ. Desweiteren gilt

2relative Häufigkeit des Auftretens von {X_{i} ∈ A}

\frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} ⟶^{n→∞} E (X_{i}^{2}) P-fast sicher konvergent

wegen des starken Gesetzes großer Zahlen, mit X_{i} ersetzt durch X_{i}^{2}. Außerdem gilt

\frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X}_{n})^{2} = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − 2X_{i}\overline{X}_{n} + (\overline{X}_{n})^{2})

= \frac{1}{n}(∑_{i=1}^{n} X_{i}^{2} − 2\overline{X}_{n} ∑_{i=1}^{n} X_{i}) + (\overline{X}_{n})^{2}

= \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − 2(\overline{X}_{n})^{2} + (\overline{X}_{n})^{2}

= \underbrace{\frac{1}{n} ∑_{i=1}^{n} X_{i}^{2}}_{→E(X_{1}^{2})} − \underbrace{(\overline{X}_{n})^{2}}_{→μ^{2}} ⟶ \underbrace{EX_{1}^{2} − (EX_{1})^{2}}_{Var(X)}

ebenfalls wegen des starken Gesetzes großer Zahlen. Also:

\frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X}_{n})^{2} ⟶ σ^{2} P-f.s. (n → ∞),

d.h. \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2} ist ein ”stark konsistenter Schätzer“ für σ^{2}.

Satz 8.9 (Zentraler Grenzwertsatz, ZGWS (CLT)) Sei {X_{n}}_{n∈ℕ} eine Folge stochastisch unabhängiger, identisch verteilter Zufallsvariablen mit μ = E(X_{n}) und σ^{2} = Var(X_{n}) > 0 existent. Dann gilt

\frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ∼^{as} N(0, 1) für n → ∞,

d.h.

P (\frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} − μ) ≤ z) ⟶^{n→∞} ϕ(z) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{z} e^{− \frac{x^{2}}{2}} dx ∀z ∈ ℝ.

Beweis: z.B. ”Casella und Berger“, Seite 216 ff. Für S_{n} = ∑_{i=1}^{n} X_{i} gilt E(S_{n}) = nμ, Var(S_{n}) = nσ^{2}. Dann ist

\frac{∑_{i=1}^{n} X_{i} − E(∑_{i=1}^{n} X_{i})}{\sqrt{Var(∑_{i=1}^{n} X_{i})}} = \frac{S_{n} − nμ}{\sqrt{nσ^{2}}} = \frac{1}{σ\sqrt{n}} ∑_{i=1}^{n}(X_{i} −μ) ∼^{as} N(0, 1) für n → ∞.

Die standardisierte Summe konvergiert nach Verteilung gegen die N(0,1)- Verteilung.

Beispiel 8.10 Sei {X_{n}}_{n∈ℕ} eine Folge stochastisch unabhängiger, identisch binomialverteilter Zufallsvariablen mit Parametern 1, p (X_{n} ∼ Bin(1, p)). Es gilt E(X_{n}) = p und Var(X_{n}) = p(1 − p). Mit dem zentralen Grenzwertsatz folgt

\frac{∑_{i=1}^{n} X_{i} − np}{\sqrt{np(1 − p)}} ∼^{as} N(0, 1) für n → ∞.

Also ist

P (∑_{i=1}^{n} X_{i} ≤ z) = ∑_{k=0}^{⌊z⌋} \binom{n}{k}p^{k}(1 − p)^{n−k}  (aufwendig für große n)

= P (\frac{∑_{i=1}^{n} X_{i} − np}{\sqrt{np(1 − p)}} ≤ \frac{z − np}{\sqrt{np(1 − p)}}) ≈ ϕ (\frac{z − np}{\sqrt{np(1 − p)}}) ,

wobei

ϕ(z) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{z} e^{− \frac{x^{2}}{2}} dx.

Diese Approximation ist brauchbar für n ≥ 30.

Anwendung: Lieferung von 100 Teilen, Wahrscheinlichkeit für defekte p = 0, 08. Gesucht: Wahrscheinlichkeit, dass die Lieferung mehr als 9% defekte enthält.

P (∑_{i=1}^{n} X_{i} > 0, 09n) = 1 − P (∑_{i=1}^{n} X_{i} ≤ 0, 09n)

≈ 1 − ϕ (\frac{0, 09n − 0, 08n}{\sqrt{n · 0, 08 · 0, 92}})
= 1 − ϕ (\frac{0, 01}{\sqrt{0, 08 · 0, 92}}\sqrt{n})
=^{n=100} 1 − ϕ(0, 3686) = 1 − 0, 64 = 0, 36

Schätzfunktionen und Konfidenzintervalle

Zur Motivation der folgenden Begriffe zunächst drei Beispiele und Problemstellungen

a) Man werfe eine Münze in unabhängigen Versuchen. Die Wahrscheinlichkeit, daß ”Kopf“ auftritt sei p und nicht bekannt. Daher interessiert man sich für gute Schätzungen von p. Ein mathematisches Modell wäre z.B., daß man Zufallsvariablen X_{1}, …, X_{n} betrachtet, die stochastisch unabhängig, identisch binomialverteilt mit Parameter 1, p sind (Bin(1, p)). Dann ist p̂ mit

p̂ = p̂(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} = \overline{X}_{n} ⟶ p P-fast sicher konvergent

(nach dem SGGZ) ein vernünftiger Schätzer für p. Dabei ist p̂(X_{1}, …, X_{n}) wieder eine Zufallsvariable, also eine Funktion von den X_{1}, …, X_{n}. Setzt man Realisationen x_{1}, …, x_{n} ein, so erhält man den Schätzwert \overline{x} = \frac{1}{n} ∑_{i=1}^{n} x_{i}.

Beispiel: (1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0, 1) ⇒ \frac{1}{14} ∑_{i=1}^{14} x_{i} = \frac{8}{14}

b) X_{1}, …, X_{n} seien stochastisch unabhängig, identisch verteilte Zufallsvariablen, die exponentialverteilt sind mit Parameter λ, also X_{1}, …, X_{n} i.i.d. ∼ Exp(λ) (Die Familie der Exponentialverteilungen ist eine parametrische Familie). Dann ist

ϑ̂ = \frac{1}{n} ∑_{i=1}^{n} X_{i} ⟶ \frac{1}{λ} = E(X_{1}) P-fast sicher, (SGGZ)

ein Schätzer für g(λ) = 1/λ = E(X_{1}). c) In a) und b) wird der Erwartungswert durch das arithmetische Mittel

geschätzt. Es gibt aber auch schwierigere Situationen, wie z.B. die Frage nach der Anzahl M der regelmäßigen Besucher einer Web-Seite. Um M zu schätzen, geht man intuitiv wie folgt vor. Zunächst merke man sich die Adressen von n Besuchern (“markieren”). Zu einem späteren Zeitpunkt merke man sich m Adressen und bestimme den Anteil x bereits markierter Besucher. Unter entsprechenden Verteilungsannahmen sollte n/M ≈ x/m. Somit ergibt sich als vernünftiger Schätzer für M:

M̂ = ⌊\frac{nm}{x}⌋ .

Offen ist nun jedoch noch, ob dieses intuitive Vorgehen exakt begründet werden kann.

9.1 Methoden zur Bestimmung von Schätzern

Definition 9.1 Seien X_{1}, …, X_{n} Zufallsvariablen mit gemeinsamer Verteilung P_{ϑ}^{(X_{1},...,X_{n})}, ϑ ∈ Θ (Parameterraum) und sei g(ϑ) : Θ → Y eine Funktion. Dann heißt jede Abbildung h(X_{1}, …, X_{n}) mit Wertebereich Y statistische Schätzfunktion oder (Punkt-) Schätzer (point estimator) von g(ϑ).

Beispiel 9.2

a) Seien X_{1}, …, X_{n} stochastisch unabhängige, identisch verteilte Zufallsvariablen, die normalverteilt sind mit Parametern μ, σ^{2} (X_{1}, …, X_{n} i.i.d. ∼ N(μ, σ^{2})). Der Parameterraum ist also Θ = ℝ × ℝ^{+} und ϑ = (μ, σ^{2}) ∈ Θ. Zunächst sei die Funktion

g_{1}(ϑ) = g_{1} ((μ, σ^{2})) = μ

zu schätzen (man interessiert sich also für den ersten Parameter, daher ist g_{1} gerade die Projektion auf diesen). Wie wir bereits wissen, ist

h_{1}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i}

ein guter Schätzer dafür. Interessiert man sich für den zweiten Parameter, so suche man einen Schätzer für die Funktion

g_{2}(ϑ) = g_{2} ((μ, σ^{2})) = σ^{2}.

Auch hierfür kennen wir bereits einen guten Schätzer:

h_{2}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X}_{n})^{2} .

b) Seien zum anderen X_{1}, …, X_{n} stochastisch unabhängige, identisch verteilte Zufallsvariablen, die exponentialverteilt sind mit Parameter λ (X_{1}, …, X_{n} i.i.d. ∼ Exp(λ)). Der Parameterraum ist also Θ = ℝ^{+} und ϑ = λ. Definiere die zu schätzende Funktion g_{1} nun so:

g_{1}(ϑ) = g_{1}(λ) = \frac{1}{λ} = E(X_{1}),

denn hierfür kennen wir einen guten Schätzer

h_{1}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i}

(vergleiche Beispiel 6.3.b). Die Frage ist nun, ob es vernünftig ist, für die Identität g_{2}(λ) = λ, direkt

h_{2}(X_{1}, …, X_{n}) = (\frac{1}{n} ∑_{i=1}^{n} X_{i})^{−1}

als Schätzer zu nehmen.

Im folgenden werden Methoden behandelt, um geeignete Schätzer zu finden.

Definition 9.3 (Maximum-Likelihood-Schätzer) Sei f(X_{1}, …, X_{n}|ϑ), ϑ ∈ Θ eine Zähldichte oder Dichte. Eine Funktion L(ϑ|x_{1}, …, x_{n}) = f(x_{1}, …, x_{n}|ϑ) (als Funktion von ϑ bei gegebenen x_{1}, …, x_{n}) heißt Likelihood-Funktion. ϑ̂(x_{1}, …, x_{n}) heißt Maximum-Likelihood-Schätzer (MLS) (engl. maximumlikelihood-estimator (MLE)), falls

L (ϑ̂(x_{1}, …, x_{n})| x_{1}, …, x_{n}) = sup_{ϑ∈Θ}(ϑ|x_{1}, …, x_{n}) ∀x_{1}, …, x_{n}.

g \binom{}{ϑ̂} heißt Maximum-Likelihood-Schätzer für g(ϑ).

Das dahinterstehende Konzept ist, daß ϑ̂ bei gegebenen Beobachtungen x_{1}, …, x_{n} der ”passendste“ Parameter ist, der diese Beobachtungen am wahrscheinlichsten macht. ϑ̂ zu bestimmen ist eine Maximierungsaufgabe, die oft durch Differenzieren (Nullstellen der ersten Ableitung) gelöst werden kann. Oft ist es günstiger, statt L(ϑ|x) die logarithmische Likelihood-Funktion log L(ϑ|x) zu betrachten. Das Maximum von L(ϑ|x) und log L(ϑ|x) liegt an der gleichen Stelle.

Beispiel 9.4

a) Seien X_{1}, …, X_{n} stochastisch unabhängige, identisch verteilte Zufallsvariablen, die normalverteilt mit Parametern μ, σ^{2} sind (X_{1}, …, X_{n} i.i.d. ∼ N(μ, σ^{2})). Gesucht ist ein Schätzer für ϑ = (μ, σ^{2}) ∈ ℝ × ℝ^{+}, d.h. die Familie, aus der die Verteilung stammt, ist bekannt, der Parameter der Verteilung aber nicht. Nach Definition 9.3 gilt

f(x_{1}, …, x_{n}|ϑ) = ∏_{i=1}^{n} \frac{1}{\sqrt{2πσ^{2}}} e^{− \frac{(x_{i}−μ)^{2}}{2σ^{2}}} = \frac{1}{(2πσ^{2})^{\frac{n}{2}}} e^{− \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i}−μ)^{2}}
= L(ϑ|x_{1}, …, x_{n})

⇒ log L(ϑ|x_{1}, …, x_{n}) = −\frac{n}{2} log (2πσ^{2}) − \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i} − μ)^{2}.

Setze nun τ = σ^{2} und partielle Ableitungen = 0. Anschließend wird nach μ und τ aufgelöst.

\frac{∂ log L}{∂μ} = \frac{2}{2σ^{2}} ∑_{i=1}^{n}(x_{i} − μ) =^{!} 0

⇒ μ̂ = \frac{1}{n} ∑_{i=1}^{n} x_{i} = \overline{x}

\frac{∂ log L}{∂τ} = −\frac{n}{2} \frac{2π}{2πτ} + \frac{1}{2τ^{2}} ∑_{i=1}^{n}(x_{i} − μ)^{2} =^{!} 0

⇒ τ̂ = \frac{1}{n} ∑_{i=1}^{n} (x_{i} − \overline{x})^{2}

Insgesamt ergibt sich

ϑ̂ = (μ̂, σ̂^{2}) = (\overline{x}, \frac{1}{n} ∑_{i=1}^{n} (x_{i} − \overline{x})^{2})

als Maximum-Likelihood-Schätzer für (μ, σ^{2}), wobei noch zu prüfen ist, ob das Maximum bei (μ̂, σ̂^{2}) wirklich angenommen wird.

b) Seien X_{1}, …, X_{n} stochastisch unabhängige, identisch verteilte Zufallsvariablen, die exponentialverteilt mit Parameter λ > 0 sind (X_{1}, …, X_{n} i.i.d. ∼ Exp(λ)). Gesucht ist wiederum ein Schätzer für ϑ = λ. Es gilt

f(x_{1}, …, x_{n}|λ) = ∏_{i=1}^{n} λe^{−λx_{i}} = λ^{n}e^{−λ ∑_{i=1}^{n} x_{i}}
= L(λ|x_{1}, …, x_{n}), x_{i} ≥ 0

⇒ log L(λ|x_{1}, …, x_{n}) = n log λ − λ ∑_{i=1}^{n} x_{i}

Nun ist wieder die erste Ableitung gleich 0 zu setzen und nach λ aufzulösen.

\frac{∂ log L}{∂λ} = \frac{n}{λ} − ∑_{i=1}^{n} x_{i} =^{!} 0 ⇔ \frac{n}{λ} = ∑_{i=1}^{n} x_{i} ⇔ λ = \frac{n}{∑_{i=1}^{n} x_{i}} = \frac{1}{\overline{x}}

Also ist λ̂ = 1/\overline{x} ein Maximum-Likelihood-Schätzer für ϑ = λ, wobei noch zu zeigen ist, daß \overline{λ} ein Maximum von L(λ|x_{1}, …, x_{n}) ist.

c) Seien X_{1}, …, X_{n} stochastisch unabhängig und binomialverteilt mit Parametern 1, p (X_{1}, …, X_{n} i.i.d. ∼ Bin(1, p)). Gesucht ist ein Schätzer für den Parameter p ∈ [0, 1].

f(x_{1}, …, x_{n}|p) = ∏_{i=1}^{n} p^{x_{i}}(1 − p)^{1−x_{i}} = p^{∑_{i=1}^{n} x_{i}} · (1 − p)^{n−∑_{i=1}^{n} x_{i}}
= L(p|x_{1}, …, x_{n}), x_{i} ∈ {0, 1}

Der logarithmische Likelihood-Schätzer ist dann

log L(p|x_{1}, …, x_{n}) = (∑_{i=1}^{n} x_{i}) log p + (n − ∑_{i=1}^{n} x_{i}) log(1 − p)

Wiederum wird das Maximum über p ∈ [0, 1] durch die Nullstelle der ersten Ableitung bestimmt.

\frac{∂ log L}{∂p} = \frac{1}{p} ∑_{i=1}^{n} x_{i} − \frac{1}{1 − p} (n − ∑_{i=1}^{n} x_{i}) =^{!} 0

⇔ \frac{1}{p}\overline{x} − \frac{1}{1 − p} (1 − \overline{x}) = 0 ⇔ p = \overline{x}

Also ist p̂ = \frac{1}{n} ∑_{i=1}^{n} x_{i} = \overline{x} ein Maximum-Likelihood-Schätzer.

9.1.1 Bayes-Methode

Eine weitere Methode zur Konstruktion von Schätzern ist die Bayes-Methode

• Modelliere Vorkenntnisse über den Parameter ϑ durch eine Wahrscheinlichkeitsverteilung über dem Parameterraum Θ, die sogenannte a-priori Verteilung, beschrieben durch die (Zähl-)Dichte π(ϑ).

• f(x|ϑ), x = x_{1}, …, x_{n} sei die Zähldichte oder Dichte der Verteilung von X_{1}, …, X_{n} bei Vorliegen von ϑ, aufgefaßt als bedingte Verteilung von (X_{1}, …, X_{n}) bei gegebenem ϑ.

• Gegeben seien die Beobachtungen x = (x_{1}, …, x_{n}). Die zu f(ϑ|x) gehörige Verteilung heißt a-posteriori Verteilung von ϑ. f(ϑ|x) reflektiert den Kenntnisstand über ϑ nach Beobachten von x_{1}, …, x_{n}.

Definition 9.5 Die Zufallsvariable ϑ̂(x) besitze die (Zähl-) Dichte

f(ϑ|x) = \frac{f(x, ϑ)}{f(x)} = \frac{f(x|ϑ)π(ϑ)}{∫ f(x|ϑ)π(ϑ)dϑ},

wobei sich die normierende Konstante im Nenner durch

f(x) = ∫ f(x|ϑ)π(ϑ)dϑ

ergibt (vergleiche Kapitel 7). Dann heißt E(ϑ(x)) Bayes-Schätzer von ϑ. Bemerkung: Bei Dichten ist ∫ ϑf(ϑ|x)dϑ der Bayes-Schätzer.

Beispiel 9.6 Sei die Zufallsvariable X binomialverteilt mit Parametern n, p, wobei das n fest sei (X ∼ Bin(n, p)). Die a-priori Verteilung für p sei Beta(α, β), α, β > 0 mit Dichte

π(p) = \frac{Γ(α + β)}{Γ(α)Γ(β)}p^{α−1}(1 − p)^{β−1}, 0 ≤ p ≤ 1

Es gilt: Falls X beta-verteilt mit Parametern α, β ist (X ∼ Beta(α, β)), dann gilt für den Erwartungswert von X: E(X) = \frac{α}{α+β}. Sei x ∈ \{0, 1, …, n\}. Dann ist

f(p|x) = \frac{f(x|p)π(p)}{∫ f(x|p)π(p)dp} = \frac{\binom{n}{x}p^{x}(1 − p)^{n−x} \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{α−1}(1 − p)^{β−1}}{∫ f(x|p)π(p)dp}

= \frac{\binom{n}{x} \frac{Γ(α+β)}{Γ(α)Γ(β)}p^{x+α−1}(1 − p)^{n−x+β−1}}{∫ f(x|p)π(p)dp}
= \frac{Γ(n + α + β)}{Γ(x + α)Γ(n − x + β)}p^{x+α−1}(1 − p)^{n−x+β−1}

die Dichte einer Beta(x+α, n−x+β)-Verteilung. Also ist p̂(x) = \frac{x+α}{n+α+β} der Bayes-Schätzer zur a-priori Verteilung π. Speziell für α = β = 1 (dann ist die Beta-Verteilung nämlich gleich der Rechteckverteilung mit Parametern 0,1 (Beta(1, 1) = R(0, 1))) gilt

p̂(x) = \frac{x + 1}{n + 2}

Der Maximum-Likelihood-Schätzer für p lautet in dem Fall: p̂_{ML}(x) = \frac{x}{n}.

9.2 Gütekriterien für Schätzer

Definition 9.7 H = H(X_{1}, …, X_{n}) sei ein Schätzer für g(ϑ) ∈ ℝ. Dann heißt E_{ϑ}(H − g(ϑ))^{2} = E_{ϑ}(H(X_{1}, …, X_{n}) − g(ϑ))^{2} der mittlere quadratische Fehler (engl.: MSE= mean squared error). Der MSE mißt die mittlere quadratische Abweichung vom zu schätzenden Wert g(ϑ) und ist eine Funktion von ϑ. Es gilt:

E_{ϑ}(H − g(ϑ))^{2} = E_{ϑ}(H − E_{ϑ}H + E_{ϑ}H − g(ϑ))^{2}
= E_{ϑ}(H − E_{ϑ}H)^{2} + 2(E_{ϑ}H − g(ϑ)) \underbrace{E_{ϑ}(H − E_{ϑ}H)}_{=0} +(E_{ϑ}H − g(ϑ))^{2}
= E_{ϑ}(H − E_{ϑ}H)^{2} + (E_{ϑ}H − g(ϑ))^{2} = Var_{ϑ}(H) + (Bias_{ϑ}(H))^{2}

Hierbei ist Var_{ϑ}(H) die Präzision oder die Variablilität des Schätzers und Bias_{ϑ}(H) die Schiefe oder Genauigkeit des Schätzers.

Wichtig ist der Fall, daß Bias_{ϑ} = 0 ist.

Definition 9.8 Ein Schätzer H heißt erwartungstreu (unbiased) für g(ϑ), wenn Bias_{ϑ}(H) = 0 für alle ϑ ∈ Θ, – falls also E_{ϑ}(H) = g(ϑ) für alle ϑ ∈ Θ. Offensichtlich gilt für erwartungstreue Schätzer

MSE(H) = E_{ϑ}(H − g(ϑ))^{2} = Var_{ϑ}(H).

Beispiel 9.9

a) Prüfe, ob der Schätzer μ̂ = H_{1}(X_{1}, …, X_{n}) = \frac{1}{n} ∑_{i=1}^{n} X_{i} = \overline{X} erwartungstreu ist.

E_{ϑ}(μ̂) = E_{ϑ} (\frac{1}{n} ∑_{i=1}^{n} X_{i}) = \frac{1}{n} ∑_{i=1}^{n} E_{ϑ}(X_{i})

= \frac{1}{n} ∑_{i=1}^{n} μ = μ  ∀ϑ = (μ, σ^{2}) ∈ Θ

Also: \overline{X} ist ein erwartungstreuer Schätzer für den Parameter μ.

b) Prüfe, ob der Schätzer σ^{2} = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2} erwartungstreu ist. Dazu folgende Vorüberlegungen:

Y ∼ N(0, 1) ⇒ E (Y^{2}) = 1 (Bsp. 6.13 c)
Y ∼ N(0, 1) ⇒ Z := σY + μ ∼ N(μ, σ^{2})
E (Z^{2}) = E(σY + μ)^{2} = σ^{2}E (Y^{2}) + 2σμ \underbrace{EY}_{=0} +μ^{2}
= σ^{2} + μ^{2}

Demnach ist

σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − \overline{X})^{2} = \frac{1}{n} ∑_{i=1}^{n} X_{i}^{2} − (\overline{X})^{2}

mit einem Erwartungswert von

E_{ϑ} \binom{}{σ^{2}} = \frac{1}{n} ∑_{i=1}^{n} \begin{matrix}\underbrace{E (X_{i}^{2})} & − & \underbrace{E (\overline{X}^{2})} \\ σ^{2} + μ^{2} & & \frac{σ^{2}}{n} + μ^{2}, da \overline{X} ∼ N (μ, \frac{σ^{2}}{n} ) \end{matrix}

= σ^{2} + μ^{2} − \frac{σ^{2}}{n} − μ^{2}
= \frac{n − 1}{n}σ^{2}

Also ist σ̂^{2} = \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2} nicht erwartungstreu für σ^{2}, aber asymptotisch erwartungstreu, d.h.

σ = lim_{n→∞} E (σ̂^{2}) .

Zudem ist

S^{2} = \frac{1}{n − 1} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2}

erwartungstreu für σ^{2}, denn

E (S^{2}) = E (\frac{n}{n − 1} \frac{1}{n} ∑_{i=1}^{n} (X_{i} − \overline{X})^{2}) = \frac{n}{n − 1} \frac{n − 1}{n}σ^{2} = σ^{2}.

Beispiel 9.10 (Gütevergleich von zwei Schätzern) Sei X binomialverteilt mit Parametern p, n, wobei n fest sei. Bekannt sind zwei Schätzer für p,

– zum einen der Maximum-Likelihood-Schätzer

p̂_{ML} = \frac{x}{n}

und zum anderen der zur a-priori Verteilung Beta(α, β)

p̂_{B} = \frac{x + α}{n + α + β} (s. Bsp. 9.6).

Es stellt sich nun die Frage, welcher von beiden besser ist. Man vergleiche beide mit dem mittleren quadratischen Fehler (MSE).

E_{p} (p̂_{ML} − p)^{2} = Var \binom{}{p̂_{ML}} = Var (\frac{1}{n}X)  da p̂_{ML} E-treu
= \frac{1}{n^{2}} np(1 − p) = \frac{p(1 − p)}{n}
E_{p} (p̂_{B} − p)^{2} = Var \binom{}{p̂_{B}} + (Bias_{p} \binom{}{p̂_{B}})^{2}
= Var (\frac{X + α}{n + α + β} ) + (E_{p} (\frac{X + α}{n + α + β} ) − p)^{2}
= \frac{np(1 − p)}{(n + α + β)^{2}} + (\frac{np + α}{n + α + β} − p)^{2}

Wähle nun α, β so, daß der mittlere quadratische Fehler von p̂_{B} konstant ist, d.h. kein Wert von p wird bei der Schätzung bevorzugt, – in dem Fall: α = β = 1/2 · \sqrt{n}. Dann gilt

p̂_{B} = \frac{X + \frac{1}{2} \sqrt{n}}{n + \sqrt{n}}, E_{p} (p̂_{B} − p)^{2} = \frac{n}{4(n + \sqrt{n})^{2}} .

Für kleine Stichproben ist also der Bayes-Schätzer besser, für große der Maximum-Likelihood-Schätzer.

9.3 Konfidenzintervalle

Im vorherigen Abschnitt wurden Punktschätzer behandelt, wobei immer ein ϑ̂ bestimmt wurde, das möglichst nahe am tatsächlichen Parameter ϑ liegt. Im folgenden sollen Schranken angegeben werden, so daß der Parameter ϑ mit vorgegebender Wahrscheinlichkeit innerhalb dieser Schranken liegt. Die Idee dabei ist: Seien X_{1}, …, X_{n} stochastisch unabhängig und alle binomialverteilt mit Parametern 1, p. Aus dem schwachen Gesetz großer Zahlen folgt

P (|\frac{1}{n} ∑_{i=1}^{n} X_{i} − p| > ε) ⟶^{n→∞} 0 ∀ε > 0

⟺ P (\overline{X} − ε ≤ p ≤ \overline{X} + ε) ⟶^{n→∞} 1

Für große n wird der Parameter p durch das zufällige Intervall [\overline{X} − ε, \overline{X} + ε] mit hoher Wahrscheinlichkeit überdeckt. Man nutzt die Kenntnisse über die Verteilung von \overline{X} um ε, P (…) zu quantifizieren.

Definition 9.11 Seien X_{1}, …, X_{n} Zufallsvariablen mit gemeinsamer Verteilung P_{ϑ}^{(X_{1},...,X_{n})}, ϑ ∈ Θ. Ein Intervall der Form [L(X_{1}, …, X_{n}), U(X_{1}, …, X_{n})] heißt Konfidenzintervall zum Niveau 1 − α für g(ϑ) ∈ ℝ, falls

P_{ϑ}(g(ϑ) ∈ [L(X_{1}, …, X_{n}), U(X_{1}, …, X_{n})]) ≥ 1 − α ∀ϑ ∈ Θ.

Beispiel 9.12 Seien X_{1}, …, X_{n} stochastisch unabhängige, normalverteilte Zufallsvariablen mit Parameter μ, σ^{2} (X_{1}, …, X_{n} stid ∼ N (μ, σ^{2})), wobei das σ^{2} fest sei. Dann ist der Mittelwert \overline{X} normalverteilt mit Parametern μ, \frac{σ^{2}}{n} und

\frac{\overline{X} − μ}{\frac{σ}{\sqrt{n}}} ∼ N(0, 1)

Bestimme nun u so, daß

P (|\frac{\overline{X} − μ}{\frac{σ}{\sqrt{n}}} | ≤ u) = 1 − α

Wähle u = u_{1− \frac{α}{2}} als (1 − α/2)-Fraktil der N(0,1)-Verteilung. Auflösen nach μ ergibt

P (|\overline{X} − μ| ≤ \frac{σ}{\sqrt{n}}u_{1−α/2}) = P (\overline{X} − \frac{σ}{\sqrt{n}} · u_{1−α/2} ≤ μ ≤ \overline{X} + \frac{σ}{\sqrt{n}} · u_{1−α/2})
= 1 − α

Also ist

[\overline{X} − \frac{σ}{\sqrt{n}} · u_{1−α/2}, \overline{X} + \frac{σ}{\sqrt{n}} · u_{1−α/2}]

ein (1 − α)-Konfidenzintervall für μ. Die Länge des Konfidenzintervalls fällt mit wachsendem n und wächst mit wachsendem Niveau 1 − α. Es gibt auch einseitige Konfidenzintervalle, festgelegt durch

P (\frac{\overline{X} − μ}{\frac{σ}{\sqrt{n}}} ≤ u) = 1 − α.

Wähle u = u_{1−α}, denn dann ist

P (\overline{X} − μ ≤ \frac{σ}{\sqrt{n}} · u_{1−α/2}) = P (μ ≥ \overline{X} − \frac{σ}{\sqrt{n}} · u_{1−α}) = 1 − α

Also ist (\overline{X} − u_{1−α} \frac{σ}{\sqrt{n}}, ∞) ein einseitiges (1 − α)-Konfidenzintervall für μ.

\begin{matrix}α & 0,1 & 0,05 & 0,025 & 0,01 & 0,005 & 0,0025 \\ 1 − α & 0,9 & 0,95 & 0,975 & 0,99 & 0,995 & 0,9975 \\ u_{1−α} & 1,282 & 1,645 & 1,960 & 2,326 & 2,576 & 2,807 \end{matrix}

Beispiel 9.13 (Approximatives Konfidenzintervall für Wahrscheinlichkeiten) Seien X_{1}, …, X_{n} binomialverteilt mit Parametern 1, p (X_{1}, …, X_{n} ∼ Bin(1, p)). Dann ist

\frac{\overline{X} − p}{\sqrt{\frac{p(1−p)}{n}}} ∼^{as} N(0, 1) (Bsp. 8.10)

Es gilt

P (\frac{|\overline{X} − p|}{\sqrt{\frac{p(1−p)}{n}}} ≤ u_{1−α/2}) ≈ 1 − α,

wobei u_{1−α/2} das Fraktil der N(0,1)-Verteilung ist.

|\overline{X} − p| = u_{1−α/2}\sqrt{\frac{p(1 − p)}{n}} ⟺ (\overline{X} − p)^{2} = u_{1−α/2}^{2} \frac{p(1 − p)}{n}

ist ein quadratische Gleichung in p mit Lösungen p_{L} (\overline{X}) ≤ p_{U} (\overline{X}). [p_{L} (\overline{X}) , p_{U} (\overline{X})] ist ein approximatives (1−α)-Konfidenzintervall für p. (explizite Lösung der quadratischen Gleichung in ”Casella und Berger“, p. 445)

Index

(1 − α)-Fraktil, 25 Γ-Integral, 39 Γ-Verteilungen, 39 Γ(α, λ)-verteilt, 39 α-Percentil, 25 α-Quantil, 25 χ^{2}-Verteilung, 45 σ-Algebra, 7 n-dimensionale Borelsche-σ-Algebra,

32

σ-Algebra, 6 Borelsche σ-Algebra, 7

a-posteriori Verteilung, 81 a-priori Verteilung, 81 absolut-stetig, 26, 34 absteigend, 7 Ankunftszeiten, 46 arrival times, 46 asymptotisch erwartungstreu, 84 aufsteigend, 7

Bayes-Formel, 12 Bayes-Methode, 81 Bayes-Schätzer, 82 bedingte Dichte, 66 bedingte Verteilung, 11, 65, 67 bedingte Verteilungsfunktion, 67 bedingte Wahrscheinlichkeit, 11 bedingte Zähldichte, 65 bedingten Erwartungswert, 67 bedingter Erwartungswert, 66 Beta-Verteilung, 82 Bias, 83 binomialverteilt, 19 Binomialverteilung, 18 Bonferroni inequality, 8 Bonferroni-Ungleichung, 8 Borel-Cantelli-Lemma, 15, 16

Cauchy-Schwarz-Ungleichung, 60 central moment, 58 CLT, 75 convolution, 44 correlation, 58 covariance, 58

Dichte, 26, 34

discrete density function, 20 diskret, 19 diskrete Gleichverteilung, 4 distributed, 22 distribution function, 21 dwell times, 46

Ereignismenge, 3 Ereignisse, 3 Ergebnismenge, 3 Ergebnisse, 3 Erlang-Verteilung, 40 erste Eintrittszeit, 40 erwartungstreu, 83 Erwartungswert, 53 erzeugende Funktion, 29 exponentialverteilt, 23 Exponentialverteilung, 27

faktorielles Moment, 62

Faltung, 44

faltungsstabil, 44, 48

Funktionaldeterminante, 42

Gütevergleich, 84 \underline{INDEX 89}

gemeinsame Verteilung, 33 Genauigkeit, 83 geometrische Verteilung, 20 gleichverteilt, 22

Hashing, 4 Hausdorff, 6

inclusion-exclusion formula, 8 interarrival times, 46 Inversionsformel, 29

Konfidenzintervall, 85 Korrelation, 58 Kovarianz, 58

Laplace-Transformierte, 29 Laplace-Verteilung, 4 Laplacescher Wahrscheinlichkeits-

begriff, 3 Likelihood-Funktion, 79 Limes der Mengenfolge A_{n}, 7 Limes inferior, 15 Limes superior, 15 Linearität, 56 logarithmische Likelihood-Funktion,

79

Markoff-Ungleichung, 57 maximum-likelihood-estimator, 79 Maximum-Likelihood-Schätzer, 79 mean squared error, 82 Median, 26 Mischung, 36 mittlere quadratische Fehler, 82 MLE, 79 MLS, 79 Moment, 58 Monotonie, 56 MSE, 82

negative Binomialverteilung, 48 Netzwerk, 13 Nikolaus Bernoulli, 51 Normalverteilung, 27 P-fast sicher konvergent, 70 P-stochastisch konvergent, 70 Petersburger Paradoxon, 51 Poisson-Prozess, 46 Poisson-verteilt, 21 probability density function (pdf),

26 probability generating function, 29 Produkt-σ-Algebra, 32 Pseudoinverse, 25 Punktschatzer, 78

random variable (r.v.), 17 Rayleigh-Verteilung, 43 Realisationen, 77 rechteckverteilt, 22 Rechteckverteilung, 27 Recontre-Problem, 9 rectangular, 22

Schätzer, 78 Schiefe, 83 schwach, 70 SGGZ, 72 Siebformel von Poincare-Sylvester,

8 sojourn times, 46 Sortieren, 9 standard deviation, 58 Standardabweichung, 58 Starkes Gesetz grosser Zahlen, 72 stid, 37 Stochastik, 1 stochastisch unabhängig, 12, 36, 37 stochastisch unabhängig, identisch

verteilt, 37 support, 19

totalen Wahrscheinlichkeit, 11 Träger, 19 Transformationssatz, 41

unbiased, 83 uncorrelated, 57 uniform, 22 \underline{90 INDEX}

unkorreliert, 57

variance, 58 Varianz, 58 Verteilung, 18 Verteilungsdichte, 26 Verteilungsfunktion, 21, 22 verteilungskonvergent, 70 Verweilzeiten, 46

Wahrscheinlichkeit von Ereignissen,

3 Wahrscheinlichkeitsraum, 7 Wahrscheinlichkeitsverteilung, 7 WLLN, 74

Z-Transformation, 29 Zähldichte, 20 Zentraler Grenzwertsatz, 75 zentrales Moment, 58 ZGWS, 75 Zufallsvariable, 17 Zufallsvektor, 33 Zuwachs, 47 Zwischenankunftszeiten, 46