KPSS A İstatistik Çoklu Regresyon konu anlatımı

Çoklu doğrusal regresyon, bir bağımlı değişken y'nin birden fazla açıklayıcı (bağımsız) değişkenle birlikte açıklandığı modeldir: y = β0 + β1x1 + β2x2 + … + βkxk + ε. Burada k açıklayıcı değişken sayısı, p = k + 1 ise tahmin edilen parametre (sabit dahil) sayısıdır. Parametreler basit regresyonda olduğu gibi en küçük kareler (EKK) yöntemiyle, hata kareler toplamını en küçük yapacak biçimde tahmin edilir. Çoklu regresyonun basit regresyondan en önemli farkı, her katsayının diğer açıklayıcı değişkenler sabit tutulduğunda (kontrol edildiğinde) ilgili değişkenin etkisini ölçmesidir; bu nedenle katsayılara kısmi regresyon katsayısı denir. KPSS A Grubu İstatistik'te bu konu; tahmin ve katsayı yorumu, ANOVA tablosu ve serbestlik dereceleri, R² ve düzeltilmiş R², genel F testi, tek katsayı için t testi, kısmi F testi, kukla (gölge) değişkenler, etkileşim terimleri ve standartlaştırılmış katsayılar üzerinden sorulur.

Model ve tahmin

• Tahmin denklemi: ŷ = b0 + b1x1 + b2x2 + … + bkxk; artık e = y − ŷ.
• Matris gösterimi: y = Xβ + ε ve EKK tahmincisi b = (X'X)⁻¹X'y. X matrisi n × (k + 1) boyutludur; ilk sütunu 1'lerden oluşur.
• Sabit terimli modelde Σe = 0'dır ve doğru (burada hiper düzlem) ortalamalar noktasından geçer: b0 = ȳ − b1x̄1 − b2x̄2 − … − bkx̄k.
• İki açıklayıcı değişken için: (sapma kareler ve çarpımlar toplamıyla; S11 = Σ(x1 − x̄1)², S22 = Σ(x2 − x̄2)², S12 = Σ(x1 − x̄1)(x2 − x̄2), S1y ve S2y benzer biçimde):
  • D = S11 · S22 − S12²
  • b1 = (S1y · S22 − S2y · S12) / D
  • b2 = (S2y · S11 − S1y · S12) / D
• S12 = 0 ise (açıklayıcılar ilişkisizse) b1 = S1y/S11 olur, yani çoklu regresyon katsayısı basit regresyon eğimine eşittir. Açıklayıcılar ilişkiliyse iki eğim genellikle farklıdır.

Katsayıların yorumu

• bj: diğer açıklayıcı değişkenler sabitken xj'deki bir birimlik artışın y'de yol açtığı ortalama değişimdir.

Varyans analizi (ANOVA) tablosu

• SST = SSR + SSE; serbestlik dereceleri: regresyon k, hata n − k − 1, toplam n − 1.
• MSR = SSR / k; MSE = s² = SSE / (n − k − 1); tahminin standart hatası s = √MSE.
• Genel F testi: H0: β1 = β2 = … = βk = 0 (hiçbir açıklayıcı anlamlı değil); H1: en az bir βj ≠ 0.
  • F = MSR / MSE, sd = (k, n − k − 1).
  • R² cinsinden: F = (R²/k) / [(1 − R²)/(n − k − 1)].

Uyum iyiliği

• R² = SSR/SST = 1 − SSE/SST.: Çoklu regresyonda R², y ile ŷ arasındaki korelasyonun karesidir (çoklu korelasyon katsayısı R'nin karesi).
• Modele yeni bir değişken eklendiğinde R² asla azalmaz; değişken anlamsız olsa bile artabilir. Bu yüzden farklı sayıda değişken içeren modeller düzeltilmiş R² ile karşılaştırılır:
  • R̄² = 1 − (1 − R²) · (n − 1)/(n − k − 1) = 1 − MSE / [SST/(n − 1)].
  • R̄² ≤ R²'dir, negatif olabilir ve anlamsız bir değişken eklendiğinde azalabilir.
• AIC, BIC gibi bilgi ölçütleri de model seçiminde kullanılır (küçük değer daha iyi).

Tek katsayı ve katsayı grubu testleri

• H0: βj = 0 için t = bj / SE(bj), sd = n − k − 1. Güven aralığı: bj ± t(α/2; n − k − 1) · SE(bj).
• Kısmi F testi: (q değişkenin birlikte anlamlılığı): Kısıtlı model (q değişken çıkarılmış) ile tam model karşılaştırılır.
  • F = [(SSE_K − SSE_T) / q] / [SSE_T / (n − k − 1)], sd = (q, n − k − 1); burada k tam modeldeki açıklayıcı sayısıdır.
  • R² ile: F = [(R²_T − R²_K)/q] / [(1 − R²_T)/(n − k − 1)].
• Tek değişken için (q = 1) kısmi F = t²'dir.

Örnek 1 – İki açıklayıcılı model: n = 16 gözlemden S11 = 4, S22 = 9, S12 = 3, S1y = 11, S2y = 15, Syy = SST = 50 ve x̄1 = 5, x̄2 = 10, ȳ = 40 bulunmuştur.

• D = 4 · 9 − 3² = 36 − 9 = 27
• b1 = (11 · 9 − 15 · 3)/27 = (99 − 45)/27 = 54/27 = 2
• b2 = (15 · 4 − 11 · 3)/27 = (60 − 33)/27 = 27/27 = 1
• b0 = 40 − 2 · 5 − 1 · 10 = 20 ⇒ ŷ = 20 + 2x1 + x2
• SSR = b1 · S1y + b2 · S2y = 22 + 15 = 37; SSE = 50 − 37 = 13; R² = 37/50 = 0,74
• MSE = 13/(16 − 2 − 1) = 13/13 = 1; MSR = 37/2 = 18,5; F = 18,5
• R̄² = 1 − 0,26 · 15/13 = 1 − 0,30 = 0,70

Örnek 2 – R²'den F ve düzeltilmiş R²: n = 25, k = 4, R² = 0,60.

• F = (0,60/4) / (0,40/20) = 0,15 / 0,02 = 7,5; sd = (4, 20). F(0,05; 4, 20) = 2,87 olduğundan model bütün olarak anlamlıdır.
• R̄² = 1 − 0,40 · 24/20 = 1 − 0,48 = 0,52

Örnek 3 – Tek katsayı için t testi: n = 20, k = 3 olan bir modelde b2 = 1,8 ve SE(b2) = 0,6'dır.

• t = 1,8/0,6 = 3,0; sd = 20 − 3 − 1 = 16; t(0,025; 16) = 2,120.
• |3,0| > 2,120 olduğundan %5 düzeyinde H0: β2 = 0 reddedilir; x2, diğer değişkenler modeldeyken de y'yi anlamlı biçimde açıklar.

Örnek 4 – Kısmi F testi: n = 36 gözlemle 5 açıklayıcılı tam modelde SSE_T = 200'dür. İki değişken çıkarılınca kısıtlı modelde SSE_K = 260 olmuştur.

• Hata sd'si: 36 − 5 − 1 = 30; MSE_T = 200/30 ≈ 6,667
• F = [(260 − 200)/2] / 6,667 = 30 / 6,667 = 4,5; sd = (2, 30)
• F(0,05; 2, 30) = 3,32 < 4,5 ⇒ çıkarılan iki değişkenden en az biri anlamlıdır, birlikte modelden atılmamalıdır.