Lineer Cebir · 4. Ünite: İç Çarpım Uzayları (Inner Product Spaces)
En Küçük Kareler Yöntemi (Least Squares Approximation)
Gerçek dünyada ölçümler gürültülüdür ve denklem sayısı bilinmeyen sayısından çok olduğundan $A\mathbf{x}=\mathbf{b}$ sistemi çoğunlukla tutarsızdır. En küçük kareler yöntemi, böyle bir sistemde "hataya en az yapan" $\hat{\mathbf{x}}$ vektörünü verir: $\mathbf{b}$'nin $\text{Col}(A)$ üzerine dik izdüşümünü bulur ve normal denklemler $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$ ile hesaplanır. Bu bölümün sonunda doğru ve polinom uydurmayı, regresyonun geometrisini ve aşırı uydurma tuzağını yorumlayabileceksin.
Öğrenme hedefleri
- Tutarsız bir $A\mathbf{x}=\mathbf{b}$ sistemi için artık vektörünü $\mathbf{r}=\mathbf{b}-A\mathbf{x}$ tanımlar ve en küçük kareler çözümünü $\|\mathbf{b}-A\mathbf{x}\|$'ı en küçük yapan vektör olarak ifade eder.
- Normal denklemleri $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$ hem dik izdüşüm hem de gradyan yöntemiyle türetir ve $A^TA$'nın tersinir olma koşulunu (sütunların bağımsızlığı) kanıtlar.
- $\hat{\mathbf{b}}=A\hat{\mathbf{x}}$ vektörünü $\text{Col}(A)$ üzerine izdüşüm olarak yorumlar; $\mathbf{r}\perp\text{Col}(A)$ ve $\|\mathbf{b}\|^2=\|\hat{\mathbf{b}}\|^2+\|\mathbf{r}\|^2$ ilişkilerini kullanır.
- Verilen $(x_i,y_i)$ noktalarına en küçük kareler doğrusunu kurar, eğim ve kesişimi hesaplar, SSE ve $R^2$ değerlerini yorumlar.
- Polinom ve genel doğrusal modellerde (Vandermonde matrisi) tasarım matrisini yazar, çözer; derece arttıkça eğitim hatasının azalmasına karşın aşırı uydurmanın doğduğunu gerekçelendirir.
- QR ayrışımı ile $R\hat{\mathbf{x}}=Q^T\mathbf{b}$ yoluyla çözümün sayısal olarak neden normal denklemlerden daha kararlı olduğunu açıklar ve veri bilimi uygulamalarına bağlar.
Konu anlatımı
Bağlam: Tutarsız Sistemler Neden Kaçınılmazdır?
Tutarsız Sistem ve En Küçük Kareler Çözümü
Normal Denklemler: Türetme ve Çözümün Varlığı
Geometrik Yorum: Dik İzdüşüm ve Pisagor
Doğru Uydurma (Doğrusal Regresyon)
Polinom Uydurma ve Genel Doğrusal Modeller
Çözümlü Örnekler
Sayısal Hesaplama: Normal Denklemler mi, QR mı?
Veri Bilimi ve Mühendislikte Uygulamalar
Sık Yapılan Hatalar ve Kavram Yanılgıları
Anahtar terimler
- Tutarsız sistem (inconsistent system)
- $A\mathbf{x}=\mathbf{b}$ denkleminin hiçbir $\mathbf{x}$ için sağlanmadığı, yani $\mathbf{b}\notin\text{Col}(A)$ olan sistem. Denklem sayısı bilinmeyenden fazla olduğunda tipiktir.
- Artık vektörü (residual)
- $\mathbf{r}=\mathbf{b}-A\mathbf{x}$; bir aday çözümün denklemleri ne kadar tutturamadığını gösterir. En küçük kareler çözümünde $\mathbf{r}\perp\text{Col}(A)$ olur.
- En küçük kareler çözümü (least squares solution)
- $\|\mathbf{b}-A\mathbf{x}\|$ değerini (dolayısıyla SSE'yi) en küçük yapan $\hat{\mathbf{x}}$ vektörü. Sütunlar bağımsızsa $\hat{\mathbf{x}}=(A^TA)^{-1}A^T\mathbf{b}$ ile tektir.
- Normal denklemler (normal equations)
- $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$; artığın $A$'nın tüm sütunlarına dik olması koşulundan ($A^T\mathbf{r}=\mathbf{0}$) çıkan doğrusal sistem.
- Dik izdüşüm (orthogonal projection)
- $\mathbf{b}$'nin bir $W$ alt uzayındaki en yakın noktası $\hat{\mathbf{b}}=\text{proj}_W\mathbf{b}$. $W=\text{Col}(A)$ için $\hat{\mathbf{b}}=A\hat{\mathbf{x}}=P\mathbf{b}$ ve $P=A(A^TA)^{-1}A^T$.
- Kareler toplamı hatası (SSE)
- $\text{SSE}=\|\mathbf{r}\|^2=\sum r_i^2$; artıkların kareleri toplamı. En küçük kareler yöntemi bu niceliği minimum yapar.
- Belirleme katsayısı ($R^2$)
- $R^2=1-\text{SSE}/\text{SST}$; modelin verideki değişimin hangi oranını açıkladığını gösterir. Kesişim terimli doğru uydurmada $0\le R^2\le1$.
- Vandermonde matrisi
- Satırları $[1,\ x_i,\ x_i^2,\dots,x_i^d]$ olan tasarım matrisi; polinom uydurmayı $A\mathbf{c}=\mathbf{y}$ biçimine getirir. $d+1$ farklı $x_i$ için sütunlar bağımsızdır.
- Aşırı uydurma (overfitting)
- Modelin gürültüyü de öğrenmesi: eğitim hatası çok düşük, yeni verilerdeki (test) hata ise yüksektir. Yüksek dereceli polinomlarda tipiktir.
- Sözde ters (pseudoinverse)
- En küçük kareler çözümlerinin en küçük normlusunu veren $A^+$ matrisi; sütunlar bağımsızsa $A^+=(A^TA)^{-1}A^T$.
Örnek soru
$A$, $m\times n$ bir matris ve $A\mathbf{x}=\mathbf{b}$ sistemi tutarsız olsun. Sistemin en küçük kareler çözümü $\hat{\mathbf{x}}$ aşağıdaki denklemlerden hangisini sağlar?
- $AA^T\hat{\mathbf{x}}=\mathbf{b}$
- $A^TA\hat{\mathbf{x}}=\mathbf{b}$
- $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$
- $A\hat{\mathbf{x}}=A^T\mathbf{b}$
- $A^T\hat{\mathbf{x}}=A\mathbf{b}$
Doğru cevap: C
Çözüm
Cevap: $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$ (normal denklemler)
1. En küçük kareler çözümünde artık $\mathbf{r}=\mathbf{b}-A\hat{\mathbf{x}}$, $\text{Col}(A)$'nın her vektörüne dik olmalıdır; yani $A$'nın tüm sütunlarıyla iç çarpımı sıfırdır: $A^T(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$.
2. Parantezi açınca $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$ elde edilir.
3. Boyut kontrolü: $A^TA$ $n\times n$, $\hat{\mathbf{x}}$ $n\times1$, $A^T\mathbf{b}$ $n\times1$; uyumludur.
Çeldiriciler: $A^TA\hat{\mathbf{x}}=\mathbf{b}$ ifadesinde sol taraf $\mathbb{R}^n$'de, $\mathbf{b}$ ise $\mathbb{R}^m$'dedir (boyut uyuşmaz). $A\hat{\mathbf{x}}=A^T\mathbf{b}$ ve $A^T\hat{\mathbf{x}}=A\mathbf{b}$ da boyut bakımından anlamsızdır.