KPSS A İstatistik Regresyon Varsayımları ve Sorunları konu anlatımı

EKK (en küçük kareler) tahmincilerinin iyi özelliklere sahip olması ve t, F testlerinin geçerli olması bazı varsayımlara bağlıdır. Gauss-Markov teoremine göre klasik varsayımlar sağlandığında EKK tahmincileri, doğrusal ve sapmasız tahminciler arasında en küçük varyanslı olanlardır: BLUE (Best Linear Unbiased Estimator – en iyi doğrusal sapmasız tahminci). Uygulamada en sık karşılaşılan üç sorun şunlardır:

• Çoklu doğrusal bağlantı (multicollinearity): açıklayıcı değişkenler arasında güçlü doğrusal ilişki,
• Değişen varyans (heteroskedastisite): hata varyansının gözlemden gözleme değişmesi,
• Otokorelasyon (ardışık bağımlılık): hata terimlerinin birbiriyle ilişkili olması.

KPSS A Grubu İstatistik'te bu konu; varsayımların listesi, her sorunun EKK üzerindeki sonuçları, tespit yöntemleri (VIF, Durbin-Watson, Goldfeld-Quandt, Breusch-Pagan/White, Jarque-Bera) ve çözüm yolları üzerinden sorulur.

Klasik doğrusal regresyon varsayımları

1. Model parametrelerde doğrusaldır (değişkenlerde doğrusal olması gerekmez: y = β0 + β1x² de doğrusal modeldir).
2. Hata teriminin beklenen değeri sıfırdır: E(ε) = 0.
3. Sabit varyans (homoskedastisite): Var(εi) = σ² her i için aynıdır.
4. Otokorelasyon yoktur: Cov(εi, εj) = 0 (i ≠ j).
5. Açıklayıcı değişkenler hata terimiyle ilişkisizdir (dışsallık); x'ler sabit ya da ε'dan bağımsızdır.
6. Tam çoklu doğrusal bağlantı yoktur ve n > k + 1'dir.
7. (Çıkarsama için) Normallik: ε ~ N(0, σ²). Normallik BLUE özelliği için gerekmez; küçük örneklemlerde t ve F testlerinin kesin geçerliliği için gerekir.

Çoklu doğrusal bağlantı

• Tam: bağlantıda (ör. x3 = 2x1 + x2) X'X'in tersi alınamaz, katsayılar tek türlü tahmin edilemez.
• Yüksek (tam olmayan): bağlantıda EKK tahmincileri sapmasız ve BLUE kalır, ancak varyansları ve standart hataları büyür.
• Belirtiler: R² ve genel F yüksek ama tek tek t değerleri anlamsız; katsayı işaretleri beklenenin tersi; birkaç gözlem eklenip çıkarılınca katsayıların çok değişmesi; açıklayıcılar arası yüksek korelasyon.
• VIF (varyans şişirme faktörü): VIFj = 1 / (1 − Rj²). Rj², xj'nin diğer açıklayıcılar üzerine yardımcı regresyonunun R²'sidir. Tolerans = 1 − Rj² = 1/VIF.
  • VIF = 1: bağlantı yok; VIF > 5 dikkat; VIF > 10 ciddi bağlantı (tolerans < 0,10).
  • bj'nin standart hatası bağlantısız duruma göre √VIF kat büyür.
  • İki açıklayıcılı modelde Rj² = r12² olduğundan VIF = 1/(1 − r12²).
• Koşul sayısı (condition index) 30'un üzerindeyse ciddi bağlantı işaretidir.
• Çözüm: değişken çıkarma veya birleştirme, daha çok veri, fark alma, ridge regresyon, temel bileşenler regresyonu.

Değişen varyans

• Sonuçlar: EKK tahmincileri sapmasız ve tutarlı kalır ama etkin (en küçük varyanslı) değildir; olağan standart hatalar yanlıdır, bu yüzden t ve F testleri ile güven aralıkları güvenilmez olur.
• Kesit verilerinde (ör. gelir arttıkça harcamanın varyansının büyümesi) sık görülür. Artık grafiğinde huni (koni) biçimi tipik belirtidir.
• Testler:
  • Goldfeld-Quandt: Gözlemler şüpheli değişkene göre sıralanır, ortadan c gözlem atılır, iki uçtaki gruplar için ayrı regresyon kurulur. F = (SSE2/sd2)/(SSE1/sd1); her grubun sd'si (grup büyüklüğü − parametre sayısı). Büyük varyanslı grup payda değil paya konur.
  • Breusch-Pagan / White: Artık kareleri açıklayıcılar (White'ta kareleri ve çapraz çarpımları da) üzerine regres edilir; LM = n · R²_yardımcı ~ χ²(yardımcı regresyondaki açıklayıcı sayısı).
• Çözüm: ağırlıklı / genelleştirilmiş EKK (AEKK/GEKK). Örneğin Var(εi) = σ²xi² ise model xi'ye bölünür; böylece dönüştürülmüş hatanın varyansı sabit olur. Logaritmik dönüşüm veya White'ın dirençli (robust) standart hataları da kullanılır.

Otokorelasyon

• Özellikle zaman serisi verilerinde görülür. Birinci dereceden otokorelasyon (AR(1)): εt = ρεt−1 + ut, |ρ| < 1.
• Sonuçlar: EKK sapmasız kalır (gecikmeli bağımlı değişken yoksa) ama etkin değildir; pozitif otokorelasyonda standart hatalar genellikle küçük tahmin edilir, t değerleri şişer, R² yanıltıcı biçimde yüksek görünür.
• Durbin-Watson istatistiği: d = Σ(et − et−1)² / Σet² (paydaki toplam t = 2'den, paydakiler t = 1'den başlar).
  • d ≈ 2(1 − ρ̂) ⇒ ρ̂ ≈ 1 − d/2; 0 ≤ d ≤ 4.
  • d ≈ 2: otokorelasyon yok; d → 0: güçlü pozitif; d → 4: güçlü negatif otokorelasyon.
  • Karar (dL, dU tablo değerleri): d < dL pozitif otokorelasyon var; dL ≤ d ≤ dU kararsız; dU < d < 4 − dU otokorelasyon yok; 4 − dU ≤ d ≤ 4 − dL kararsız; d > 4 − dL negatif otokorelasyon var.
  • DW, modelde gecikmeli bağımlı değişken (yt−1) varsa geçersizdir; bu durumda Durbin h istatistiği kullanılır: h = ρ̂ · √[n / (1 − n · Var(b_gecikme))] ~ N(0, 1).
• Daha yüksek dereceli otokorelasyon için Breusch-Godfrey (LM) testi, genel otokorelasyon için Ljung-Box testi kullanılır.
• Çözüm: genelleştirilmiş fark alma (yt − ρyt−1), Cochrane-Orcutt, Prais-Winsten; Newey-West standart hataları. Otokorelasyon bazen dışlanmış bir değişkenin ya da yanlış fonksiyon kalıbının belirtisidir.

Normallik ve model belirleme

• Fonksiyon kalıbı hatası için Ramsey RESET testi kullanılır.

Örnek 1 – VIF: x3'ün diğer açıklayıcılar üzerine regresyonunda R3² = 0,90 bulunmuştur. VIF = 1/(1 − 0,90) = 10; tolerans = 0,10. b3'ün standart hatası, bağlantı olmasaydı olacağının √10 ≈ 3,16 katıdır; ciddi bir çoklu doğrusal bağlantı vardır.

Örnek 2 – Durbin-Watson hesabı: Artıklar sırasıyla 1, 2, 1, −1, −2, −1'dir.

• Σe² = 1 + 4 + 1 + 1 + 4 + 1 = 12
• Ardışık farklar: 1, −1, −2, −1, 1 ⇒ kareler toplamı 1 + 1 + 4 + 1 + 1 = 8
• d = 8/12 ≈ 0,667; ρ̂ ≈ 1 − 0,667/2 ≈ 0,67 ⇒ güçlü pozitif otokorelasyon belirtisi.

Örnek 3 – DW karar kuralı: n = 20, k = 1 için %5 düzeyinde dL = 1,20, dU = 1,41'dir.

• d = 1,10 < dL ⇒ pozitif otokorelasyon vardır.
• d = 1,30 ⇒ dL ile dU arasında, kararsız bölge.
• d = 2,10 ⇒ 1,41 < 2,10 < 4 − 1,41 = 2,59 ⇒ otokorelasyon yoktur.
• d = 2,70 ⇒ 4 − dU = 2,59 ile 4 − dL = 2,80 arasında, kararsız bölge.

Örnek 4 – Goldfeld-Quandt: n = 30 gözlem x'e göre sıralanıp ortadaki 6 gözlem atılmış, 12'şer gözlemlik iki grupta basit regresyon kurulmuştur. SSE1 (küçük x) = 40, SSE2 (büyük x) = 130; her grupta sd = 12 − 2 = 10. F = (130/10)/(40/10) = 3,25 > F(0,05; 10, 10) = 2,98 ⇒ sabit varyans hipotezi reddedilir, değişen varyans vardır.

Örnek 5 – Jarque-Bera: n = 100 artık için çarpıklık S = 0,3, basıklık K = 3,6. JB = 100 · [0,09/6 + 0,36/24] = 100 · (0,015 + 0,015) = 3,0 < 5,99 ⇒ normallik reddedilmez.