KPSS A İstatistik Ortak Dağılımlar, Kovaryans ve Korelasyon konu anlatımı

Gerçek problemlerde çoğu zaman birden fazla rastlantı değişkeni aynı anda incelenir: bir öğrencinin matematik ve istatistik notu, bir ürünün boyu ve ağırlığı, bir günün sıcaklığı ve elektrik tüketimi. İki değişkenin birlikte nasıl davrandığını ortak (birleşik) dağılım anlatır.

Bu konuda şu sorulara cevap aranır:

• Ortak dağılımdan her bir değişkenin kendi (marjinal) dağılımı nasıl bulunur?
• Bir değişkenin değeri bilindiğinde diğerinin koşullu dağılımı ve koşullu beklenen değeri nedir?
• Değişkenler bağımsız mıdır?
• Birlikte değişimlerinin yönü ve gücü nedir? (Kovaryans ve korelasyon katsayısı)
• Toplam ve farkların varyansı nasıl hesaplanır?

Ortak olasılık ve yoğunluk fonksiyonu

• Kesikli: p(x, y) = P(X = x, Y = y); p(x, y) ≥ 0 ve Σ Σ p(x, y) = 1.
• Sürekli: f(x, y) ≥ 0, ∫∫ f(x, y) dx dy = 1 ve P((X, Y) ∈ A) = ∫∫ f(x, y) dx dy (A bölgesi üzerinde).
• Ortak dağılım fonksiyonu F(x, y) = P(X ≤ x, Y ≤ y); sürekli durumda f(x, y) = ∂²F/∂x∂y.

Marjinal dağılımlar

• Kesikli: pX(x) = Σ p(x, y) (y üzerinden, tablonun satır toplamı), pY(y) = Σ p(x, y) (sütun toplamı).
• Sürekli: fX(x) = ∫ f(x, y) dy, fY(y) = ∫ f(x, y) dx. Destek üçgen gibi bir bölgeyse integral sınırları x'e (ya da y'ye) bağlı olur.

Koşullu dağılımlar

• pY|X(y | x) = p(x, y) / pX(x), fY|X(y | x) = f(x, y) / fX(x) (payda pozitifken).
• Koşullu beklenen değer: E(Y | X = x) = Σ y · pY|X(y | x) ya da ∫ y · fY|X(y | x) dy.
• Toplam beklenen değer kuralı: E(Y) = E[E(Y | X)].
• Toplam varyans kuralı: Var(Y) = E[Var(Y | X)] + Var[E(Y | X)].

Bağımsızlık

• X ve Y bağımsız ⇔ her x, y için p(x, y) = pX(x) · pY(y) (sürekli durumda f(x, y) = fX(x) · fY(y)).
• Tabloda tek bir hücrede bile eşitlik bozulursa değişkenler bağımlıdır.
• Sürekli durumda: f(x, y) = g(x) · h(y) biçiminde çarpanlarına ayrılıyor ve destek bir dikdörtgense (a < x < b, c < y < d) bağımsızlık vardır. 0 < x < y < 1 gibi üçgen destekte f sabit olsa bile değişkenler bağımlıdır.
• Bağımsızsa: E(XY) = E(X) E(Y), E[g(X) h(Y)] = E[g(X)] E[h(Y)], M_(X+Y)(t) = M_X(t) M_Y(t).

Kovaryans

• Cov(X, Y) = E[(X − μX)(Y − μY)] = E(XY) − E(X) E(Y)
• Cov(X, X) = Var(X); Cov(X, Y) = Cov(Y, X); Cov(X, c) = 0.
• Cov(aX + b, cY + d) = ac · Cov(X, Y): (sabit eklemek kovaryansı değiştirmez).
• İki doğrusal toplama göre açılır: Cov(X + Y, Z) = Cov(X, Z) + Cov(Y, Z).
• Pozitif kovaryans: değişkenler birlikte artma eğiliminde; negatif: biri artarken diğeri azalma eğiliminde. Kovaryansın büyüklüğü birimlere bağlıdır.

Toplamın ve farkın varyansı

• Var(aX + bY) = a² Var(X) + b² Var(Y) + 2ab · Cov(X, Y)
• Var(X + Y) = Var(X) + Var(Y) + 2Cov(X, Y); Var(X − Y) = Var(X) + Var(Y) − 2Cov(X, Y).
• Bağımsız (ya da ilişkisiz) değişkenlerde Var(X ± Y) = Var(X) + Var(Y): farkın varyansında da varyanslar toplanır.
• n değişken için: Var(X1 + … + Xn) = Σ Var(Xi) + 2 Σ Cov(Xi, Xj) (i < j çiftleri üzerinden).

Korelasyon katsayısı

• ρ(X, Y) = Cov(X, Y) / (σX · σY): , birimsizdir.
• −1 ≤ ρ ≤ 1: . |ρ| = 1 ⇔ Y = aX + b biçiminde tam doğrusal ilişki (a > 0 ise ρ = 1, a < 0 ise ρ = −1).
• ρ(aX + b, cY + d) = ρ(X, Y) · işaret(ac): ölçek ve öteleme korelasyonun büyüklüğünü değiştirmez, katsayılardan biri negatifse işaret değişir.
• Bağımsız ⇒ ρ = 0; ama ρ = 0 bağımsızlık anlamına gelmez.: Korelasyon yalnızca doğrusal ilişkiyi ölçer. Örnek: X, {−1, 0, 1} üzerinde düzgün ve Y = X² ise Cov(X, Y) = E(X³) − E(X)E(X²) = 0, fakat Y tamamen X'e bağlıdır.
• İstisna: (X, Y) iki değişkenli normal dağılıma uyuyorsa ρ = 0 ⇔ bağımsızlık.

Örnek 1 (ortak olasılık tablosu). X ve Y'nin ortak olasılık fonksiyonu p(0, 0) = 0,1; p(0, 1) = 0,2; p(1, 0) = 0,3; p(1, 1) = 0,4 ise Cov(X, Y) kaçtır ve X ile Y bağımsız mıdır?

Marjinaller: P(X = 0) = 0,3, P(X = 1) = 0,7; P(Y = 0) = 0,4, P(Y = 1) = 0,6. E(X) = 0,7, E(Y) = 0,6, E(XY) = 1 · 1 · 0,4 = 0,4. Cov(X, Y) = 0,4 − 0,7 · 0,6 = 0,4 − 0,42 = −0,02. p(0, 0) = 0,1 ≠ 0,3 · 0,4 = 0,12 olduğundan değişkenler bağımlıdır (zaten kovaryans sıfırdan farklıdır).

Örnek 2 (sürekli ortak yoğunluk, korelasyon). f(x, y) = x + y, 0 < x < 1, 0 < y < 1 ise ρ(X, Y) kaçtır?

Marjinal: fX(x) = ∫ (x + y) dy = x + 1/2 (simetriden fY(y) = y + 1/2). E(X) = ∫ x(x + 1/2) dx = 1/3 + 1/4 = 7/12. E(X²) = ∫ x²(x + 1/2) dx = 1/4 + 1/6 = 5/12. Var(X) = 5/12 − 49/144 = 60/144 − 49/144 = 11/144 (Var(Y) de aynı). E(XY) = ∫∫ xy(x + y) dx dy = (1/3)(1/2) + (1/2)(1/3) = 1/3. Cov(X, Y) = 1/3 − 49/144 = 48/144 − 49/144 = −1/144. ρ = (−1/144) / (11/144) = −1/11 ≈ −0,091.

Örnek 3 (doğrusal bileşimin varyansı). Var(X) = 4, Var(Y) = 1, Cov(X, Y) = −1 ise Var(2X − 3Y) ve ρ(X, Y) kaçtır?

Var(2X − 3Y) = 4 · 4 + 9 · 1 + 2 · 2 · (−3) · (−1) = 16 + 9 + 12 = 37. ρ = −1 / (2 · 1) = −0,5.

Örnek 4 (üçgen destek, koşullu beklenen değer). f(x, y) = 2, 0 < x < y < 1 ise fX(x), E(Y | X = x) ve E(Y) kaçtır?

fX(x) = ∫ 2 dy (x'ten 1'e) = 2(1 − x), 0 < x < 1. Koşullu yoğunluk fY|X(y | x) = 2 / [2(1 − x)] = 1/(1 − x), x < y < 1: yani Y | X = x, (x, 1) aralığında düzgündür. E(Y | X = x) = (1 + x)/2. Toplam beklenen değer: E(Y) = E[(1 + X)/2] = (1 + 1/3)/2 = 2/3 (E(X) = ∫ x · 2(1 − x) dx = 1/3). Destek dikdörtgen olmadığından X ve Y bağımsız değildir.