İstatistik ve Olasılık · 9. Ünite: Basit Doğrusal Regresyon ve Korelasyon
Regresyon Katsayılarının Özellikleri ve Çıkarımlar
EKK katsayıları $b_0$ ve $b_1$ yalnızca bir örneğin özetidir; başka bir örnekte başka değerler alırlar. Bu yüzden "eğim $1{,}93$ bulundu" demek yetmez: bu sayıya ne kadar güvenebiliriz, gerçek eğim sıfır olabilir mi, belirli bir $x$ için ortalama ya da yeni bir gözlem hangi aralıkta beklenir? Bu konu $b_0$ ve $b_1$'in yansızlığını, varyanslarını ve dağılımlarını türetir, $\sigma^2$'yi $s^2 = \mathrm{SSE}/(n-2)$ ile tahmin eder ve $t$ dağılımına dayalı güven aralıkları, hipotez testleri, ortalama yanıt aralığı ile kestirim aralığını kurar. Sonunda her aralığı doğru yorumlayabilecek ve örnek büyüklüğünün ya da $x$ yayılımının duyarlılığı nasıl etkilediğini açıklayabileceksin.
Öğrenme hedefleri
- $b_1$'i $\sum w_i y_i$ biçiminde yazarak $E(b_1) = \beta_1$ ve $\mathrm{Var}(b_1) = \sigma^2/S_{xx}$ sonuçlarını türetir; $b_0$'ın varyansını ve $\mathrm{Cov}(b_0, b_1)$'i yazar.
- $\sigma^2$'nin yansız tahmincisi $s^2 = \mathrm{SSE}/(n-2)$'yi hesaplar ve serbestlik derecesinin neden $n - 2$ olduğunu açıklar.
- $T = (b_1 - \beta_1)/(s/\sqrt{S_{xx}}) \sim t_{n-2}$ dağılımını kullanarak $\beta_1$ ve $\beta_0$ için güven aralığı kurar ve $H_0: \beta_1 = \beta_{10}$ hipotezini test eder.
- Belirli bir $x_0$ için ortalama yanıt $E(Y|x_0)$ güven aralığı ile yeni gözlem için kestirim aralığını hesaplar; neden kestirim aralığının daha geniş olduğunu ve her ikisinin $\bar x$'te en dar olduğunu açıklar.
- Güven aralığı ve $p$-değerinin doğru yorumunu verir; $p$-değerinin $H_0$'ın doğru olma olasılığı olmadığını, güven düzeyinin tek bir aralık için olasılık olmadığını belirtir.
- Örnek büyüklüğü, $\sigma$ ve $x$ değerlerinin yayılımının ($S_{xx}$) eğim tahmininin duyarlılığına etkisini hesaplar ve deney tasarımına uygular.
Konu anlatımı
Motivasyon: Katsayılar Rastgele Değişkenlerdir
Yansızlık ve Varyans: Türetmeler
σ² Tahmini ve t Dağılımı
Güven Aralıkları ve Hipotez Testleri
Çözümlü Örnekler
Sık Yapılan Hatalar ve Kavram Yanılgıları
Anahtar terimler
- Örnekleme dağılımı (sampling distribution)
- $b_0$, $b_1$ gibi bir istatistiğin tekrarlı örneklemedeki dağılımı; $b_1 \sim N(\beta_1, \sigma^2/S_{xx})$.
- Yansızlık (unbiasedness)
- $E(b_1) = \beta_1$, $E(b_0) = \beta_0$ ve $E(s^2) = \sigma^2$ olması.
- Gauss–Markov teoremi
- Hata varsayımları altında EKK tahmincilerinin doğrusal yansız tahminciler arasında en küçük varyanslı (BLUE) olduğunu söyler.
- Standart hata (standard error)
- Tahmincinin standart sapmasının tahmini, ör. $\mathrm{SE}(b_1) = s/\sqrt{S_{xx}}$.
- $s^2 = \mathrm{SSE}/(n-2)$
- $\sigma^2$'nin yansız tahmincisi; $n-2$, iki parametre tahmin edildiği için serbestlik derecesidir.
- t istatistiği ve $p$-değeri
- $t = (b_1-\beta_{10})/\mathrm{SE}(b_1) \sim t_{n-2}$; $p$, $H_0$ doğru iken bu ya da daha uç $t$'nin olasılığı.
- Güven aralığı (confidence interval)
- Tekrarlı örneklemede aralıkların yaklaşık $(1-\alpha)$ oranında parametreyi kapsadığı yöntemin ürünü.
- Ortalama yanıt aralığı
- $E(Y|x_0)$ için güven aralığı: $\hat y_0 \pm t\,s\sqrt{1/n + (x_0-\bar x)^2/S_{xx}}$.
- Kestirim aralığı (prediction interval)
- $x_0$'daki yeni bir gözlem için aralık; ortalama yanıt aralığından $\sigma^2$ kadar daha geniş varyansa sahiptir.
- Güç (power)
- $H_0$ yanlışken onu reddetme olasılığı; $n$ büyüdükçe, $\sigma$ küçüldükçe artar.
Örnek soru
Basit doğrusal regresyonda hata varsayımları geçerliyken $b_1$ için aşağıdakilerden hangisi doğrudur?
- $E(b_1) = 0$ ve $\mathrm{Var}(b_1) = \sigma^2$
- $\mathrm{Var}(b_1) = \sigma^2$ ve $b_1 = \beta_1$ her örnekte
- $E(b_1) = \beta_1$ ve $\mathrm{Var}(b_1) = \sigma^2/n$
- $b_1$ rastgele değildir, bir sabittir
- $E(b_1) = \beta_1$ ve $\mathrm{Var}(b_1) = \sigma^2/S_{xx}$
Doğru cevap: E
Çözüm
1. $b_1 = \sum w_i Y_i$, $w_i = (x_i - \bar x)/S_{xx}$; $\sum w_i = 0$ ve $\sum w_i x_i = 1$ olduğundan $E(b_1) = \beta_1$ (yansız).
2. $\sum w_i^2 = 1/S_{xx}$ olduğundan $\mathrm{Var}(b_1) = \sigma^2/S_{xx}$.
Cevap: E. $\sigma^2/n$ ($x$'lerin yayılımını yok sayar) ve $\sigma^2$ ($S_{xx}$ ile bölmeyi unutmak) yaygın hatalardır; $b_1$ örnekten örneğe değişen bir rastgele değişkendir.