İstatistik ve Olasılık · 9. Ünite: Basit Doğrusal Regresyon ve Korelasyon
Uygunluk (R-kare) ve Korelasyon Analizi
Bir regresyon doğrusu kurduktan sonra sorulacak ilk soru, doğrunun veriyi ne kadar iyi açıkladığıdır. Toplam değişimi (SST) doğrunun açıkladığı (SSR) ve açıklayamadığı (SSE) bölümlere ayıran varyans ayrışımı, belirleme katsayısı $R^2 = \mathrm{SSR}/\mathrm{SST}$'yi ve basit regresyonda $R^2 = r^2$ ilişkisini doğurur. Korelasyon katsayısı $r$ ise doğrusal ilişkinin yönünü ve gücünü ölçer; $H_0: \rho = 0$ testi eğim testiyle ve $F$ testiyle aynıdır, Fisher dönüşümü $\rho$ için güven aralığı verir. Konunun sonunda bu nicelikleri hesaplayabilecek, yorumlayabilecek ve ayrıca yüksek $R^2$'nin modelin doğru olduğunu garanti etmediğini (Anscombe), korelasyonun nedensellik olmadığını ve aykırı değer ile kısıtlı aralığın etkilerini açıklayabileceksin.
Öğrenme hedefleri
- $\mathrm{SST} = \mathrm{SSR} + \mathrm{SSE}$ varyans ayrışımını ispatlar ve bileşenleri veri tablosundan hesaplar.
- $R^2 = \mathrm{SSR}/\mathrm{SST} = 1 - \mathrm{SSE}/\mathrm{SST}$ ve basit regresyonda $R^2 = r^2$ olduğunu gösterir; $R^2$'yi "$y$'deki değişimin açıklanan oranı" olarak yorumlar.
- Örnek korelasyon katsayısının özelliklerini ($-1 \le r \le 1$, işaretin eğimle aynı olması, ölçek ve konum değişiminde değişmezlik, simetri) sıralar ve $r$'yi $b_1$'den ve $R^2$'den bulur.
- $H_0: \rho = 0$ testini $t = r\sqrt{n-2}/\sqrt{1-r^2}$ ile yapar; bunun eğim testi ve $F = \mathrm{SSR}/s^2 = t^2$ (ANOVA) testiyle eşdeğer olduğunu gösterir; kritik $r$ değerini hesaplar.
- Fisher $z$ dönüşümüyle $\rho$ için güven aralığı kurar ve $H_0: \rho = \rho_0$ testini yapar.
- Anscombe dörtlüsü, artık grafiği, aykırı değer, kısıtlı aralık ve $r = 0$ ama bağımlı (parabol) örnekleriyle $R^2$ ve $r$'nin sınırlarını; korelasyon ile nedensellik farkını açıklar.
Konu anlatımı
Motivasyon: Doğru Veriyi Ne Kadar Açıklıyor?
Varyans Ayrışımı: SST = SSR + SSE
Korelasyon Katsayısının Özellikleri ve Testleri
Çözümlü Örnekler
R² ve r'nin Sınırları: Grafiğe Bak
Sık Yapılan Hatalar ve Kavram Yanılgıları
Anahtar terimler
- SST, SSR, SSE
- Toplam, regresyonun açıkladığı ve açıklanamayan kareler toplamı; $\mathrm{SST} = \mathrm{SSR} + \mathrm{SSE}$.
- Belirleme katsayısı $R^2$
- $\mathrm{SSR}/\mathrm{SST}$; $y$'deki değişimin doğrusal regresyonla açıklanan oranı.
- Örnek korelasyon katsayısı $r$
- $S_{xy}/\sqrt{S_{xx}S_{yy}}$; doğrusal ilişkinin yönünü ve gücünü ölçen birimsiz katsayı.
- $R^2 = r^2$
- Basit doğrusal regresyonda belirleme katsayısı korelasyonun karesidir; $r$'nin işareti eğimin işaretidir.
- ANOVA $F$ testi
- $F = \mathrm{SSR}/s^2 = t^2$; basit regresyonda $\beta_1 = 0$ testiyle eşdeğerdir ($F_{1,n-2}$).
- Fisher $z$ dönüşümü
- $z_r = \frac12\ln\frac{1+r}{1-r}$; $\rho$ için güven aralığı ve testte kullanılan, yaklaşık normal bir dönüşüm.
- Artık grafiği (residual plot)
- $x$ (ya da $\hat y$) karşısında artıkların grafiği; eğrisellik, değişen varyans ve aykırı değeri gösterir.
- Anscombe dörtlüsü
- Aynı $r$, $R^2$ ve doğruya sahip ama çok farklı biçimli dört veri kümesi; özet sayıların yetersizliğini gösterir.
- Kısıtlı aralık (restriction of range)
- $x$'in değişkenliği daraltıldığında korelasyonun yapay olarak düşmesi.
Örnek soru
Basit doğrusal regresyonda belirleme katsayısı $R^2$ aşağıdakilerden hangisini ifade eder?
- $x$'in $y$'ye neden olma olasılığını
- Eğimin doğru olma olasılığını
- $\mathrm{SSE}/\mathrm{SST}$ oranını
- $y$'deki toplam değişimin ($\mathrm{SST}$) doğrusal regresyonla açıklanan oranını ($\mathrm{SSR}/\mathrm{SST}$)
- Doğrunun eğimini
Doğru cevap: D
Çözüm
1. $\mathrm{SST} = \mathrm{SSR} + \mathrm{SSE}$ ayrışımından $R^2 = \mathrm{SSR}/\mathrm{SST} = 1 - \mathrm{SSE}/\mathrm{SST}$.
2. Yani $y$'deki değişimin $x$ ile doğrusal ilişki üzerinden açıklanan kısmıdır.
Cevap: D. C, açıklanamayan oranı ($1 - R^2$) verir; A nedensellik iddiasıdır, regresyon bunu göstermez; B ve E başka niceliklerdir.