KPSS A İstatistik Varyans Analizi (ANOVA) konu anlatımı

Varyans analizi (ANOVA), üç veya daha fazla anakütle ortalamasının eşit olup olmadığını tek bir testle sınamak için kullanılır. Adı "varyans" olsa da amacı ortalamaları karşılaştırmaktır: toplam değişkenlik, gruplar arasındaki farklardan kaynaklanan kısım ile grupların kendi içindeki (rastgele) değişkenlik olarak ikiye ayrılır ve bu iki varyans tahmini F oranıyla karşılaştırılır.

Tek yönlü ANOVA'da hipotezler şöyledir:

• H0: μ1 = μ2 = … = μk (tüm anakütle ortalamaları eşittir)
• H1: En az iki anakütle ortalaması farklıdır

Birden çok t testi yapmak yerine ANOVA kullanılmasının nedeni I. tip hata birikimidir: her karşılaştırma α riski taşıdığından, çok sayıda testte en az bir yanlış red olasılığı hızla büyür. F testi anlamlı çıkarsa hangi grupların farklı olduğu çoklu karşılaştırma (post-hoc) testleriyle belirlenir. KPSS'de ANOVA tablosunun doldurulması, serbestlik dereceleri, F değeri ve karar en çok sorulan kısımlardır.

Değişkenliğin ayrıştırılması

k grup, i. grupta ni gözlem, toplam N = Σni gözlem; x̄i grup ortalaması, x̄ genel ortalama olsun.

ANOVA tablosu

• Serbestlik dereceleri de toplanır: (k − 1) + (N − k) = N − 1. Kareler ortalamaları toplanmaz.
• Karar: F > F(α; k − 1, N − k) ise H0 reddedilir. ANOVA'daki F testi daima sağ kuyrukludur.
• MSW: , grup ortalamaları eşit olsun olmasın ortak σ²'nin yansız tahminidir. MSB ise yalnızca H0 doğruyken σ²'yi tahmin eder; ortalamalar farklıysa σ²'den büyük olma eğilimindedir. Bu yüzden H0 doğruyken F ≈ 1 beklenir.
• Grup büyüklükleri eşitse (ni = n): MSW = grup varyanslarının ortalaması, SSB = n · Σ(x̄i − x̄)².

Varsayımlar

1. Gözlemler bağımsızdır (gruplar içinde ve arasında).
2. Her grup normal dağılımlı bir anakütleden gelir.
3. Grup varyansları eşittir (varyans homojenliği; Levene/Bartlett ile sınanır).

Grup büyüklüklerinin eşit olması varsayım değildir (dengeli tasarım yalnızca testi varsayım bozulmalarına karşı daha dayanıklı yapar). Varsayımlar ciddi biçimde bozulursa parametrik olmayan Kruskal-Wallis testi kullanılır.

Etki büyüklüğü ve iki grup durumu

• η² (eta kare) = SSB/SST: Toplam değişkenliğin gruplarca açıklanan oranı.
• k = 2 için: tek yönlü ANOVA, havuzlanmış varyanslı iki örneklem t testine denktir: F = t².

Çoklu karşılaştırmalar

• m bağımsız karşılaştırmada en az bir I. tip hata olasılığı: 1 − (1 − α)^m. k grup için ikili karşılaştırma sayısı m = k(k − 1)/2.
• Bonferroni düzeltmesi: Her karşılaştırma α/m düzeyinde yapılır.
• Tukey HSD, Scheffé, Bonferroni, LSD: gibi post-hoc testler, F anlamlı çıktıktan sonra hangi ortalama çiftlerinin farklı olduğunu belirler.

Diğer tasarımlar

• Tesadüfi bloklar tasarımı: (k işlem, b blok): sd işlem = k − 1, sd blok = b − 1, sd hata = (k − 1)(b − 1).
• İki yönlü ANOVA (tekrarlı): (A faktörü a düzey, B faktörü b düzey, her hücrede n gözlem): sd A = a − 1, sd B = b − 1, sd AB (etkileşim) = (a − 1)(b − 1), sd hata = ab(n − 1), sd toplam = abn − 1.

Örnek 1 (ham veriden ANOVA). Üç öğretim yöntemiyle eğitilen öğrencilerin puanları:

• A: 3, 5, 6, 6 (x̄A = 5)
• B: 7, 8, 10, 7 (x̄B = 8)
• C: 9, 11, 13, 11 (x̄C = 11)

α = 0,05 ile yöntemlerin ortalamalarının eşitliğini test ediniz. (F(0,05; 2, 9) = 4,26)

• Genel ortalama x̄ = (5 + 8 + 11)/3 = 8 (grup büyüklükleri eşit)
• SSB = 4[(5 − 8)² + (8 − 8)² + (11 − 8)²] = 4 · 18 = 72
• SSW: A için 4 + 0 + 1 + 1 = 6; B için 1 + 0 + 4 + 1 = 6; C için 4 + 0 + 4 + 0 = 8 ⇒ SSW = 20
• SST = 72 + 20 = 92 (ham veriden doğrudan hesaplandığında da 92 bulunur)
• MSB = 72/2 = 36; MSW = 20/9 ≈ 2,22; F = 36/2,22 = 16,2
• 16,2 > 4,26 ⇒ H0 reddedilir; en az bir yöntemin ortalaması farklıdır.

Örnek 2 (eksik tabloyu tamamlama). k = 4 grup ve toplam N = 24 gözlemle yapılan analizde SSB = 60 ve SST = 180 bulunmuştur. (F(0,05; 3, 20) = 3,10)

• SSW = 180 − 60 = 120; sd: 3, 20, 23
• MSB = 60/3 = 20; MSW = 120/20 = 6; F = 20/6 ≈ 3,33
• 3,33 > 3,10 ⇒ H0 reddedilir. η² = 60/180 ≈ 0,33; toplam değişkenliğin yaklaşık üçte biri gruplarla açıklanır.

Örnek 3 (özet istatistiklerden ANOVA). Her birinde n = 10 gözlem olan üç grubun ortalamaları 20, 24, 25; varyansları 16, 20, 24'tür. (F(0,05; 2, 27) = 3,35)

• x̄ = (20 + 24 + 25)/3 = 23
• SSB = 10[(−3)² + 1² + 2²] = 10 · 14 = 140; MSB = 140/2 = 70
• SSW = Σ(ni − 1)si² = 9(16 + 20 + 24) = 540; MSW = 540/27 = 20 (eşit n'de varyansların ortalaması)
• F = 70/20 = 3,5 > 3,35 ⇒ H0 reddedilir.

Örnek 4 (neden çok sayıda t testi yapılmaz?). 4 grubun tüm ikili karşılaştırmaları ayrı ayrı α = 0,05 ile yapılırsa:

• Karşılaştırma sayısı m = 4 · 3/2 = 6
• En az bir I. tip hata olasılığı ≈ 1 − 0,95⁶ ≈ 0,265
• Bonferroni düzeltmesiyle her karşılaştırma 0,05/6 ≈ 0,0083 düzeyinde yapılmalıdır.