İstatistik ve Olasılık · 9. Ünite: Basit Doğrusal Regresyon ve Korelasyon
En Küçük Kareler Yöntemi (Least Squares Estimation)
Bir saçılım diyagramına sonsuz sayıda doğru çizilebilir; "en iyi" doğru hangisidir ve bunu gözle değil kesin bir kuralla nasıl buluruz? En küçük kareler yöntemi (method of least squares), noktaların doğrudan dikey sapmalarının kareleri toplamını en küçük yapan $b_0$ ve $b_1$ değerlerini seçer; çözüm, iki bilinmeyenli bir lineer denklem sistemine (normal denklemler) iner ve kapalı formüllerle verilir. Bu konunun sonunda $b_1 = S_{xy}/S_{xx}$ ve $b_0 = \bar y - b_1\bar x$ formüllerini türetebilecek, elle tablo kurarak hesaplayabilecek, EKK doğrusunun cebirsel özelliklerini kullanabilecek ve kaldıraç, birim değişimi ile ekstrapolasyonun sonuçlarını yorumlayabileceksin.
Öğrenme hedefleri
- En küçük kareler ölçütünü $\mathrm{SSE}(a_0, a_1) = \sum (y_i - a_0 - a_1 x_i)^2$ olarak yazar ve neden dikey sapmaların karelerinin toplamının küçültüldüğünü açıklar.
- Normal denklemleri kısmi türevlerden türetir, çözerek $b_1 = S_{xy}/S_{xx}$ ve $b_0 = \bar y - b_1\bar x$ formüllerini elde eder ve ikinci türev (Hessian) koşuluyla minimum olduğunu gösterir.
- Verilen veri tablosundan $S_{xx}$, $S_{xy}$, $S_{yy}$ değerlerini hesaplayarak tahmin doğrusunu bulur, $\hat y$ kestirimi ve artıkları hesaplar.
- EKK doğrusunun özelliklerini ($\sum e_i = 0$, $\sum x_i e_i = 0$, $(\bar x, \bar y)$'den geçme, $\mathrm{SSE} = S_{yy} - b_1 S_{xy}$) ispatlar ve hesapları denetlemekte kullanır.
- $b_1 = r\,s_y/s_x$ bağıntısını kullanır; $x$ ya da $y$'nin birimi değiştiğinde $b_0$, $b_1$'in nasıl değiştiğini ve $y$'nin $x$'e ile $x$'in $y$'ye regresyonlarının neden farklı olduğunu açıklar.
- Kaldıraç (leverage) ve etkili nokta kavramını değerlendirir; veri aralığı dışında kestirim (ekstrapolasyon) yapmanın risklerini açıklar.
Konu anlatımı
Motivasyon: En İyi Doğru Hangisi?
Normal Denklemlerin Türetilmesi
EKK Doğrusunun Özellikleri ve İspatlar
Çözümlü Örnekler
Birim Değişimi, Ekstrapolasyon ve EKK'nın Sınırları
Sık Yapılan Hatalar ve Kavram Yanılgıları
Anahtar terimler
- En küçük kareler (least squares)
- Dikey sapmaların kareleri toplamı SSE'yi en küçük yapan $b_0, b_1$ değerlerini seçen tahmin yöntemi.
- Artık (residual)
- $e_i = y_i - \hat y_i$; gözlemin tahmin doğrusuna göre dikey sapması.
- SSE (hata kareler toplamı)
- $\sum e_i^2 = \sum (y_i - \hat y_i)^2$; EKK'nın minimize ettiği ölçüt.
- Normal denklemler
- SSE'nin kısmi türevlerinin sıfıra eşitlenmesiyle çıkan $n b_0 + b_1\sum x_i = \sum y_i$ ve $b_0\sum x_i + b_1\sum x_i^2 = \sum x_i y_i$ sistemi.
- $S_{xx}$, $S_{xy}$, $S_{yy}$
- Merkezlenmiş kareler ve çarpımlar toplamları; $b_1 = S_{xy}/S_{xx}$ ve $\mathrm{SSE} = S_{yy} - b_1 S_{xy}$.
- Tahmin edilen doğru (fitted line)
- $\hat y = b_0 + b_1 x$; $(\bar x, \bar y)$ noktasından geçer.
- Ortalamaya gerileme
- $|r| < 1$ iken $\hat z_y = r\,z_x$ olması; uç $x$ için kestirimin ortalamaya doğru çekilmesi.
- Kaldıraç (leverage)
- $\bar x$'ten uzak bir gözlemin tahmin doğrusunu kendine çekme gücü.
- Ekstrapolasyon
- Gözlenen $x$ aralığı dışında kestirim yapma; doğrusallık sınanamadığı için güvensizdir.
Örnek soru
Bir regresyon verisinde $\bar x = 5$, $\bar y = 20$, $S_{xx} = 40$ ve $S_{xy} = 100$'dür. EKK doğrusunun kesimi $b_0$ kaçtır?
- $7{,}5$
- $12{,}5$
- $17{,}5$
- $32{,}5$
- $2{,}5$
Doğru cevap: A
Çözüm
1. $b_1 = S_{xy}/S_{xx} = 100/40 = 2{,}5$.
2. $b_0 = \bar y - b_1\bar x = 20 - 2{,}5\cdot 5 = $ 7,5.
Cevap: A. $17{,}5$ eğimi $\bar x$ ile çarpmadan çıkarmaktır, $32{,}5$ işaret hatasıdır, $2{,}5$ eğimin kendisidir, $12{,}5 = b_1\bar x$ ise çıkarmanın unutulmasıdır.