KPSS A İstatistik Basit Doğrusal Regresyon konu anlatımı

Basit doğrusal regresyon, bir bağımlı (açıklanan) değişken y ile tek bir bağımsız (açıklayıcı) değişken x arasındaki ilişkiyi y = β0 + β1x + ε modeliyle ifade eder. β0 kesişim (sabit), β1 eğim, ε ise rastgele hata terimidir. Anakütle parametreleri, örneklemden en küçük kareler (EKK / OLS) yöntemiyle tahmin edilir: tahmin doğrusu ŷ = a + bx, hata (artık) kareleri toplamını Σ(y − ŷ)² en küçük yapacak biçimde seçilir. Korelasyondan farklı olarak regresyonda değişkenler simetrik değildir; y'nin x üzerine regresyonu ile x'in y üzerine regresyonu farklı doğrular verir. KPSS A Grubu İstatistik'te bu konu; a ve b'nin hesaplanması, tahmin ve artık hesabı, katsayıların yorumu, varyans analizi (SST = SSR + SSE), belirlilik katsayısı R², tahminin standart hatası, eğim için t testi ve güven/öngörü aralıkları üzerinden sorulur.

En küçük kareler tahmincileri

Kısaltmalar: Sxx = Σ(x − x̄)² = Σx² − (Σx)²/n; Sxy = Σ(x − x̄)(y − ȳ) = Σxy − (Σx)(Σy)/n; Syy = Σ(y − ȳ)².

• Normal denklemler: Σy = na + bΣx ve Σxy = aΣx + bΣx².

Katsayıların yorumu

• b: x'teki bir birimlik artışın y'de yol açtığı ortalama değişim.
• a: x = 0 iken y'nin beklenen değeri (x = 0 veri aralığında değilse anlamlı yorumu olmayabilir).
• Birim değişikliği: x c ile çarpılırsa (x* = c·x) eğim b/c olur; y c ile çarpılırsa hem a hem b c ile çarpılır.

Varyans analizi ve uyum iyiliği

• SST = SSR + SSE: Σ(y − ȳ)² = Σ(ŷ − ȳ)² + Σ(y − ŷ)²
• SSR = b · Sxy = b² · Sxx; SSE = SST − SSR.
• R² = SSR / SST = 1 − SSE / SST: ; basit regresyonda R² = r².
• Serbestlik dereceleri: regresyon 1, hata n − 2, toplam n − 1.
• MSE = s² = SSE / (n − 2): ; tahminin standart hatası s = √MSE.
• F = MSR / MSE: (sd: 1 ve n − 2). Basit regresyonda F = t².

Çıkarsama

• SE(b) = s / √Sxx; SE(a) = s · √(1/n + x̄²/Sxx).
• H0: β1 = 0 için t = b / SE(b), sd = n − 2. Bu test, H0: ρ = 0 testiyle özdeştir: t = r√(n − 2)/√(1 − r²).
• β1 için güven aralığı: b ± t(α/2; n − 2) · SE(b).
• x0 noktasında ortalama yanıt için standart hata: s · √[1/n + (x0 − x̄)²/Sxx].
• x0 noktasında tek bir yeni gözlem (öngörü) için standart hata: s · √[1 + 1/n + (x0 − x̄)²/Sxx]. Öngörü aralığı her zaman ortalama yanıt aralığından geniştir; x0, x̄'dan uzaklaştıkça iki aralık da genişler.

Ortalamaya dönüş

• Standartlaştırılmış biçimde ẑ_y = r · z_x. |r| < 1 olduğundan, ortalamadan k standart sapma uzaktaki bir x için tahmin edilen y ortalamadan yalnızca r·k standart sapma uzaktadır.

Örnek 1 – EKK doğrusunun bulunması: x: 2, 4, 6, 8, 10; y: 5, 6, 10, 12, 17. Çözüm: x̄ = 6, ȳ = 50/5 = 10. x − x̄: −4, −2, 0, 2, 4; y − ȳ: −5, −4, 0, 2, 7. Sxy = 20 + 8 + 0 + 4 + 28 = 60; Sxx = 16 + 4 + 0 + 4 + 16 = 40. b = 60/40 = 1,5; a = 10 − 1,5 · 6 = 1 ⇒ ŷ = 1 + 1,5x. x = 7 için tahmin: ŷ = 1 + 10,5 = 11,5.

Örnek 2 – Varyans analizi ve t testi (aynı veri): Tahminler ŷ: 4, 7, 10, 13, 16; artıklar e: 1, −1, 0, −1, 1 (Σe = 0). SSE = 1 + 1 + 0 + 1 + 1 = 4; SST = Syy = 25 + 16 + 0 + 4 + 49 = 94; SSR = b · Sxy = 1,5 · 60 = 90 (94 − 4 = 90 ✓). R² = 90/94 ≈ 0,957. MSE = 4/(5 − 2) ≈ 1,333; s ≈ 1,155. F = 90 / 1,333 = 67,5. SE(b) = 1,155 / √40 ≈ 0,1826; t = 1,5 / 0,1826 ≈ 8,22 ve t² ≈ 67,5 = F ✓. t(0,025; 3) = 3,182 olduğundan eğim anlamlıdır.

Örnek 3 – Ortalama yanıt için güven aralığı (aynı veri): x0 = 8 için ŷ = 1 + 12 = 13. Standart hata = s · √[1/5 + (8 − 6)²/40] = 1,155 · √(0,2 + 0,1) = 1,155 · 0,548 ≈ 0,632. %95 güven aralığı: 13 ± 3,182 · 0,632 ≈ 13 ± 2,01 ⇒ (10,99 ; 15,01). Tek bir yeni gözlem için ise standart hata 1,155 · √1,3 ≈ 1,317 olur ve aralık daha geniştir.

Örnek 4 – Özet istatistiklerden doğru: r = 0,8; s_x = 2; s_y = 5; x̄ = 10; ȳ = 30. Çözüm: b = r · s_y/s_x = 0,8 · 5/2 = 2; a = 30 − 2 · 10 = 10 ⇒ ŷ = 10 + 2x.