İstatistik ve Olasılık · 9. Ünite: Basit Doğrusal Regresyon ve Korelasyon
Basit Doğrusal Regresyon Modeli
Bir şirketin reklam harcaması ile satışları, bir öğrencinin çalışma süresi ile sınav notu, bir yakıtın sıcaklığı ile verimi arasındaki ilişkiler tam bir formülle değil, "ortalama olarak" bir doğruyla anlatılır. Basit doğrusal regresyon (simple linear regression), bir yanıt değişkeninin $Y$ ortalamasının bir açıklayıcı değişkene $x$ doğrusal olarak bağlı olduğunu, gözlemlerin ise bu doğrunun çevresinde rastgele bir hata terimiyle saçıldığını söyleyen istatistiksel modeldir. Bu konunun sonunda modeli $Y = \beta_0 + \beta_1 x + \epsilon$ biçiminde kurabilecek, varsayımlarını sıralayıp yorumlayabilecek, $Y$'nin koşullu dağılımından olasılık hesaplayabilecek ve doğrusal olmayan bir ilişkiyi doğrusallaştırmayı değerlendirebileceksin.
Öğrenme hedefleri
- Deterministik (fonksiyonel) ilişki ile istatistiksel ilişkiyi ayırt eder ve bir saçılım diyagramından doğrusal bir model kurmanın uygun olup olmadığını değerlendirir.
- Basit doğrusal regresyon modelini $Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ biçiminde yazar; $\beta_0$, $\beta_1$ ve $\sigma^2$ parametrelerinin anlamını bağlam içinde yorumlar.
- Hata terimi için $E(\epsilon_i) = 0$, $\mathrm{Var}(\epsilon_i) = \sigma^2$, bağımsızlık ve normallik varsayımlarını sıralar; bunlardan $E(Y|x) = \beta_0 + \beta_1 x$ ve $\mathrm{Var}(Y|x) = \sigma^2$ sonuçlarını türetir.
- Verilen $\beta_0$, $\beta_1$, $\sigma$ için $Y$'nin belirli bir $x$'teki normal dağılımından olasılık ve iki farklı $x$ için gözlem farkı olasılığı hesaplar.
- Hata terimi $\epsilon_i$ (gözlenemeyen) ile artık $e_i = y_i - \hat y_i$ (hesaplanan) arasındaki farkı ve popülasyon doğrusu ile örneklem doğrusu arasındaki farkı açıklar.
- Parametrelerde doğrusal olan ve olmayan modelleri ayırt eder; $Y = \alpha e^{\beta x}\delta$ gibi bir modeli logaritma ile doğrusal modele dönüştürüp $\beta$'yı yorumlar.
Konu anlatımı
Motivasyon: Fonksiyonel İlişki mi, İstatistiksel İlişki mi?
Modelin Kurulması ve Varsayımlar
Koşullu Beklenen Değer ve Varyans: Türetme
Hata Terimi, Artık ve İki Doğru
Çözümlü Örnekler
Sık Yapılan Hatalar ve Kavram Yanılgıları
Anahtar terimler
- Regresyon analizi (regression analysis)
- Bir yanıt değişkeninin ortalama davranışının bir ya da daha çok açıklayıcı değişkene bağlılığını modelleyen istatistiksel yöntem.
- Yanıt ve açıklayıcı değişken
- $Y$ (bağımlı, yanıt) açıklanmak istenen; $x$ (bağımsız, açıklayıcı) açıklamada kullanılan değişkendir.
- Basit doğrusal regresyon modeli
- $Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ ile verilen, tek açıklayıcı değişkenli, parametrelerde doğrusal model.
- Kesim ve eğim ($\beta_0$, $\beta_1$)
- $x = 0$'daki ortalama yanıt ve $x$ bir birim artınca ortalama yanıtın değişimi.
- Hata terimi ($\epsilon$)
- Gözlenemeyen, ortalaması 0 ve varyansı $\sigma^2$ olan rastgele sapma; gözlemin gerçek doğrudan farkı.
- Artık (residual)
- $e_i = y_i - \hat y_i$; gözlemin tahmin edilen doğrudan farkı, veriden hesaplanır.
- Sabit varyans (homoscedasticity)
- Hata varyansı $\sigma^2$'nin tüm $x$ değerlerinde aynı olması.
- Koşullu beklenen değer
- $E(Y|x) = \beta_0 + \beta_1 x$; popülasyon regresyon doğrusu.
- Doğrusallaştırma (linearization)
- Doğrusal olmayan bir modelin dönüşümle (ör. logaritma) parametrelerde doğrusal modele çevrilmesi.
Örnek soru
Basit doğrusal regresyon modelinde $\beta_1$ parametresi için aşağıdakilerden hangisi doğrudur?
- Her gözlemin $Y$ değeri, $x$ bir birim artınca tam olarak $\beta_1$ kadar artar.
- $x$'in $Y$'nin nedeni olduğunu gösteren bir katsayıdır.
- $x$ bir birim arttığında $Y$'nin koşullu beklenen değerinin değişimidir.
- $x = 0$ iken $Y$'nin beklenen değeridir.
- Hata teriminin standart sapmasıdır.
Doğru cevap: C
Çözüm
1. Modelde $E(Y|x) = \beta_0 + \beta_1 x$ olduğundan $E(Y|x+1) - E(Y|x) = \beta_1$.
2. Dolayısıyla $\beta_1$, $x$ bir birim artınca ortalama yanıtın değişimidir; tek tek gözlemlerin değil.
Cevap: C. A seçeneği hata terimini yok sayar (gözlemler $\epsilon$ nedeniyle saparlar); D $\beta_0$'ın, E ise $\sigma$'nın tanımıdır; B için regresyon nedensellik kanıtlamaz.