Bayesianische Analyse mit Mischprioren und k-aus-n-Systemen: Eine praxisnahe Einführung in ISYE 6420

Einführung: Warum Bayesianische Statistik heute relevanter ist denn je

In einer Welt, die von Künstlicher Intelligenz, Machine Learning und datengetriebenen Entscheidungen geprägt ist, gewinnt die bayesianische Statistik zunehmend an Bedeutung. Ob bei der Vorhersage von Aktienkursen, der Analyse von Gaming-Turnieren oder der Zuverlässigkeit von Cloud-Systemen – überall kommen Modelle zum Einsatz, die auf Wahrscheinlichkeitsverteilungen basieren. Diese Lektion führt dich in die grundlegenden Konzepte ein, die in der ISYE 6420 Spring 2025 Homework 2 behandelt werden: Mischprioren, k-aus-n-Systeme und die Pareto-Verteilung. Du lernst, wie du den Bayes-Satz anwendest, um Posteriori-Verteilungen zu berechnen, und wie du diese Erkenntnisse auf reale Probleme überträgst.

Bayes-Theorem und Mischprioren: Ein Beispiel aus der Genanalyse

Stell dir vor, du analysierst Genexpressionsdaten, um festzustellen, ob ein bestimmtes Gen mit einer Krankheit assoziiert ist. Die beobachteten Effekte sind normalverteilt mit bekannter Varianz, aber der wahre Effekt μ könnte entweder negativ (schützend) oder positiv (riskant) sein. Eine Mischpriori aus zwei Normalverteilungen – eine um -1, eine um +1 – modelliert diese Unsicherheit. Genau diese Situation wird in Aufgabe 1 der Hausaufgabe behandelt.

Schritt 1: Bayes-Satz anwenden

Gegeben sei ein einzelner Datenpunkt y = 1 aus einer N(μ, 1)-Verteilung. Die Priori ist p(μ) = 0.5 N(-1,1) + 0.5 N(1,1). Nach Bayes gilt:

p(μ|y) ∝ p(y|μ) p(μ) = φ(y; μ,1) * [0.5 φ(μ; -1,1) + 0.5 φ(μ; 1,1)]

Mit der bekannten Formel für das Produkt zweier Normalverteilungen (siehe Aufgabenstellung) kannst du die beiden Terme vereinfachen. Für den ersten Term: φ(y; μ,1) * φ(μ; -1,1) ergibt eine gemeinsame Normalverteilung für μ und y. Nach Integration über y (bzw. Konditionierung auf y) erhältst du eine Posteriori, die wieder eine Mischung aus zwei Normalverteilungen ist.

Schritt 2: Posteriori-Parameter bestimmen

Die resultierende Posteriori hat die Form:

p(μ|y) = w1 * N(μ; m1, s1^2) + w2 * N(μ; m2, s2^2)

Mit den konkreten Zahlen (y=1, Priorimittel -1 und 1, Varianzen 1) ergeben sich:

• Komponente 1: Posteriori-Mittelwert m1 = (1/1 + (-1)/1) / (1/1 + 1/1) = 0, Varianz s1^2 = 1 / (1+1) = 0.5
• Komponente 2: m2 = (1/1 + 1/1) / (1+1) = 1, Varianz ebenfalls 0.5
• Gewichte: Die marginale Likelihood für jede Komponente ist φ(y; -1, √2) bzw. φ(y; 1, √2). Für y=1 ist die zweite Komponente wahrscheinlicher, also w1 ∝ 0.5 * φ(1; -1, √2) und w2 ∝ 0.5 * φ(1; 1, √2). Nach Normalisierung erhältst du etwa w1 ≈ 0.12, w2 ≈ 0.88.

Die Posteriori ist also eine Mischung, die stark auf den positiven Effekt hinweist – intuitiv, da der beobachtete Wert 1 näher an +1 liegt.

Zuverlässigkeit von k-aus-n-Systemen: Beispiel aus dem Gaming

Stell dir ein Multiplayer-Game vor, bei dem ein Team aus 10 Spielern besteht. Das Team ist „operational“, wenn mindestens 7 Spieler aktiv sind (k=7, n=10). Die Lebensdauer jedes Spielers (Zeit bis zum Verlassen des Spiels) folgt einer Weibull-Verteilung mit Parametern r=1.3 (Form) und λ=1/20 (Skala). Dieses Szenario entspricht Aufgabe 2.

Wahrscheinlichkeit, dass das System zum Zeitpunkt t noch funktioniert

Die Anzahl der aktiven Spieler zum Zeitpunkt t ist binomialverteilt: X ~ Bin(n=10, p = P(Spieler aktiv zum Zeitpunkt t)). Die Überlebenswahrscheinlichkeit eines Spielers ist P(T ≥ t) = exp(-λ t^r). Für t=6 Monate:

p = exp(-(1/20)*6^1.3) ≈ exp(-0.05 * 10.27) ≈ exp(-0.5135) ≈ 0.598

Die Wahrscheinlichkeit, dass das System funktioniert (X ≥ 7), ist dann:

P(X ≥ 7) = 1 - P(X ≤ 6) = 1 - binocdf(6, 10, 0.598)

Mit Python (scipy.stats.binom.cdf(6, 10, 0.598)) ergibt sich etwa 0.382.

Bedingte Wahrscheinlichkeit: Genau 7 Komponenten aktiv

Gegeben, dass das System zum Zeitpunkt t=6 operational ist (X ≥ 7), wie groß ist die Wahrscheinlichkeit, dass genau 7 Komponenten aktiv sind?

P(X=7 | X≥7) = P(X=7) / P(X≥7)

P(X=7) = binom.pmf(7, 10, 0.598) ≈ 0.215. Also 0.215 / 0.382 ≈ 0.563.

Prognose für zukünftigen Zeitpunkt

Angenommen, das System ist bei t=6 operational. Wie wahrscheinlich ist es, dass es auch bei t=9 noch funktioniert? Hier müssen wir die bedingte Überlebenswahrscheinlichkeit eines Spielers berechnen: P(T ≥ 9 | T ≥ 6) = P(T ≥ 9) / P(T ≥ 6) = exp(-λ 9^r) / exp(-λ 6^r). Mit 9^1.3 ≈ 16.77 und 6^1.3 ≈ 10.27:

P(T ≥ 9 | T ≥ 6) = exp(-0.05*(16.77-10.27)) = exp(-0.325) ≈ 0.723

Die Anzahl der aktiven Spieler zum Zeitpunkt 9 ist unter der Bedingung, dass sie zum Zeitpunkt 6 aktiv waren, wieder binomial mit n=10 und dieser neuen Wahrscheinlichkeit p' = 0.723. Die gesuchte Wahrscheinlichkeit ist P(X' ≥ 7) mit X' ~ Bin(10, 0.723). Das ergibt etwa 0.853.

Pareto-Verteilung und Jeffreys-Prior: Ein Beispiel aus der Finanzwelt

In Aufgabe 3 geht es um die Schätzung eines Skalenparameters θ einer Pareto-Verteilung. Stell dir vor, du analysierst die Vermögensverteilung in einer Population – bekanntlich folgen hohe Vermögen oft einer Pareto-Verteilung. Die beobachteten Daten sind u1, ..., u351 mit P(Ui > u) = (θ/u)^3 für u ≥ θ. Der Maximum M der Daten ist ein suffizienter Statistiker. Mit einem Jeffreys-Prior π(θ) = 1/θ ergibt sich eine Posteriori, die einer Pareto-Verteilung Pa(c, α) folgt.

Posteriori-Parameter

Die Likelihood ist L(θ) = (3/θ)^351 * (M/θ)^(-3*351) ∝ θ^(-3*351) * 1(θ ≤ M). Mit Prior 1/θ ergibt sich die Posteriori-Dichte proportional zu θ^(-3*351 - 1) für θ ≤ M. Das ist eine Pareto-Verteilung mit c = M (untere Grenze) und α = 3*351 = 1053. Also c = M, α = 1053.

Bayes-Schätzung und Credible Set

Der Posteriori-Erwartungswert einer Pareto(α,c)-Verteilung ist α c / (α-1) für α>1. Also E[θ|Daten] = (1053 * M) / 1052 ≈ M * 1.00095. Der Median ist c * 2^(1/α) ≈ M * 2^(1/1053) ≈ M * 1.00066. Beide Schätzer liegen knapp über M. Ein 95%-Equi-tailed Credible Set ist das Intervall zwischen dem 2,5%- und 97,5%-Quantil der Pareto-Verteilung. Für Pareto(α,c) ist das Quantil q = c / (1 - p)^(1/α). Also untere Grenze c / (0.975)^(1/1053) ≈ M / 0.999976 ≈ M * 1.000024, obere Grenze c / (0.025)^(1/1053) ≈ M / 0.9965 ≈ M * 1.0035. Das Intervall ist extrem schmal und liegt knapp über M. Der wahre Wert θ=0.7 liegt nur dann im Intervall, wenn M nahe 0.7 ist. Andernfalls nicht.

Plot der Posteriori-Dichte

Die Posteriori-Dichte ist eine fallende Funktion auf [M, ∞). Markiere den Punkt θ = M und den Erwartungswert sowie die Grenzen des Credible Sets.

Variation der Priori

Ersetze den Jeffreys-Prior durch einen informativen Pareto-Prior Pa(c0, α0) mit c0 < M und sehr kleinem α0. Die Posteriori ist dann wieder Pareto mit c = max(c0, M) = M (da M > c0) und α = α0 + 3*351. Für sehr kleines α0 (z.B. 0.001) dominiert die Likelihood, und die Posteriori unterscheidet sich kaum vom Jeffreys-Fall. Nur wenn α0 groß ist (z.B. 100), verschiebt sich die Posteriori in Richtung des Priori-Mittelwerts. Dies zeigt die Robustheit der bayesianischen Analyse bei großen Stichproben.

Fazit

Die Aufgaben der ISYE 6420 Spring 2025 Homework 2 decken zentrale Konzepte der bayesianischen Statistik ab: Mischprioren, k-aus-n-Systeme und die Pareto-Verteilung. Mit den hier gezeigten Methoden kannst du ähnliche Probleme in der Praxis lösen – sei es in der Genetik, der Gaming-Industrie oder der Finanzanalyse. Denk daran, dass der Bayes-Satz und die Wahl der Priori entscheidend für die Interpretation der Ergebnisse sind. Experimentiere mit verschiedenen Prioris, um ein Gefühl für deren Einfluss zu bekommen.