1. Over-determined System
연립방정식에서 방정식의 개수(m)가 미지수의 개수(n)보다 많은 경우
m > n
문제: 데이터가 너무 많아 모든 식을 동시에 만족하는 해 x가 존재하지 않는 경우가 대부분 (Ax=b의 해가 없음)
벡터 공간에서의 해석: 행렬 A의 열벡터들의 선형 결합인 Ax는 항상 A의 열공간(ColA)안에 존재
목표 벡터 b가 이 열 공간(ColA) 밖에 있다면, 어떤 x를 선택해도 Ax = b를 만족시킬 수 없음
2. Least Squares
해가 없을 때, 가장 근사한 해를 찾으려고 노력
1) 최적의 근사 기준 : 오차 제곱합
오차 벡터를 e = b - Ax라고 할 때, 이 오차의 크기를 최소화하는 x를 찾는 것이 목표
- 오차 제곱합(Sum of Squared Errors) : 각 오차의 제곱을 모두 더한 값
- 수식 : 최적의 해 $\hat{x}$
-
$\hat{x} = \arg \min_{x} \|b - Ax\|$
-
ex) Life-span 예측
4명의 데이터(몸무게, 키, 흡연 여부)를 통해 수명을 예측하는 모델 Ax=b
- $x = [-0.4, 20, -20]^T$
첫 3명에 대해서 오차는 0이지만, 4번쨰 사람 오차 -12
오차 제곱합의 루트값은 12.0
- $x = [-0.12, 16, -9.5]^T$
모든 사람에게 조금씩 오차가 발생하지만
오차 제곱합의 루트값은 약 9.55
- Inner Product(내적): $u \cdot v = u^Tv$
- 두 벡터 사이의 각도 $\theta$
- $u \cdot v = \|u\|\|v\|\cos\theta$
- Norm
- 벡터의 길이 $\|v\| [cite_start]= \sqrt{v \cdot v}$
- Orhogonal(직교)
- 두 벡터의 내적이 0이면 ($u \cdot v = 0$) 두 벡터는 수직
- Unit Vector (단위벡터)
- 길이가 1인 벡터
- $u = \frac{1}{\|v\|}v$로 규화하여 만듦
3. Orthogonal Projection (직교 투영)
원리 : $Ax$는 $Col A$ 평면 위의 점
b와 가장 가까운 평면 위의 점은 b에서 평면에 내린 수선의 발 $\hat{b} = A\hat{x}$
직교 조건: 최적의 지점에서는 오차 벡터 $b - A\hat{x}$가 A의 모든 열벡터 ($a_1, a_2, \dots, a_n$)와 수직이어야 함
4. Normal Equation (정규 방정식) 유도
2. $A^T b - A^T A \hat{x} = 0$
3. 정규 방정식: $A^T A \hat{x} = A^T b$
미분을 통한 유도
오차 함수 $f(x) = |b - Ax|^2 = (b - Ax)^T(b - Ax)$를 x에 대해 미분하여 0이 되는 지점을 찾음
- $(b - Ax)^T(b - Ax) = b^Tb - x^TA^Tb - b^TAx + x^TA^TAx$
- x에 대해 미분하면 : $-2A^Tb + 2A^TAx = 0$
- 결과적으로 동일한 $A^TA\hat{x} = A^Tb$를 얻음
최종 해 (Inverse Matrix 존재 시)
만약 $A^TA$의 역행렬이 존재한다면, 최적의 해는
5. 정규 방정식의 성질과 주의점
- 해의 존재성
- $A^TA\hat{x} = A^Tb$는 항상 최소 하나 이상의 해를 가짐
- 수선의 발을 내리지 못하는 경우는 없음
- 역행렬이 없는 경우
- A의 열벡터들이 선형 종속일 때 발생
- 이 경우 해는 무수히 많아짐
- 일반적인 경우
- 데이터가 충분히 독립적이라면 $A^TA$는 역행렬이 존재하며 유일한 해를 가짐