1. 직교 집합과 정규 직교 집합 (Orthogonal and Orthonormal Sets)
직교 투영을 이해하기 위해 먼저 벡터 집합의 성질을 정의함.
- 직교 집합 (Orthogonal Set): 벡터 집합 $\{u_{1},...,u_{p}\}$ 내의 서로 다른 모든 벡터 쌍이 직교하는 집합임. 즉, $i \neq j$일 때 $u_{i} \cdot u_{j} = 0$을 만족함.
- 정규 직교 집합 (Orthonormal Set): 직교 집합이면서 각 벡터가 단위 벡터(크기가 1)인 집합임
- 특징: 임의의 기저는 그램-슈미트 과정(Gram-Schmidt process)을 통해 직교 또는 정규 직교 기저로 변환 가능하며, 이는 QR 분해(QR factorization)로 이어짐.
2. 직선 위로의 직교 투영 (Projection onto a Line)
1차원 부분공간(직선) $L$ 위로 벡터 $y$를 투영하는 경우를 살펴봄.
- 일반 공식: 벡터 $u$가 만드는 직선 $L$ 위로의 투영 $\hat{y}$는 다음과 같음.
$$\hat{y} = \text{proj}_{L} y = \frac{y \cdot u}{u \cdot u} u$$
- 단위 벡터인 경우: 만약 $u$가 단위 벡터라면 $u \cdot u = 1$이 되므로 식이 단순화됨.
- 기하학적 의미: 벡터 $y - \hat{y}$는 직선 $L$과 수직(직교)을 이룸.
3. 평면 및 부분공간 위로의 직교 투영 (Projection onto a Plane/Subspace)
2차원 이상의 부분공간 $W$ 위로 투영할 때는 직교 기저의 성질을 이용함.
- 직교 기저 ${u_1, u_2}$를 가질 때: 각 기저 벡터에 대한 투영을 독립적으로 계산하여 더함.
$$\hat{y} = \text{proj}_{W} y = \frac{y \cdot u_1}{u_1 \cdot u_1} u_1 + \frac{y \cdot u_2}{u_2 \cdot u_2} u_2$$
- 정규 직교 기저일 때: 각 분모가 1이 되어 계산이 매우 간편해짐.
$$\hat{y} = (y \cdot u_1) u_1 + (y \cdot u_2) u_2$$
- $y \in W$인 경우: 투영하려는 벡터가 이미 그 평면(부분공간) 안에 있다면, 투영 결과는 자기 자신인 $y$와 같음.
4. 선형 변환 관점에서의 행렬 표현 (Matrix Perspective)
직교 투영을 행렬 연산으로 공식화함. 정규 직교 기저 ${u_1, u_2}$를 열벡터로 갖는 행렬을 $U$라고 함.
- 변환 과정:
$$\begin{aligned} \hat{b} &= (u_1^T b) u_1 + (u_2^T b) u_2 \\ &= u_1 (u_1^T b) + u_2 (u_2^T b) \\ &= (u_1 u_1^T) b + (u_2 u_2^T) b \\ &= (u_1 u_1^T + u_2 u_2^T) b \end{aligned}$$
- 결과: 행렬 $U$를 사용하면 투영은 $\hat{b} = UU^T b$라는 선형 변환으로 표현됨.
5. 정규 방정식과의 관계 (Relationship with $A^T A$)
행렬 $A$의 열공간(Column Space)으로 투영할 때, $C = A^T A$가 가역 행렬인 경우를 가정함.
- 일반적인 투영 공식: $\hat{b} = A(A^T A)^{-1} A^T b$
- $A$의 열이 정규 직교할 때: $A^T A = I$(단위 행렬)가 됨.
- 최종 유도:
이는 앞서 구한 $UU^T b$와 동일한 결과임을 확인할 수 있음.$$\hat{b} = A(I)^{-1} A^T b = AA^T b$$
정리: 직교 투영은 주어진 벡터를 특정 부분공간에서 가장 가까운 벡터로 근사하는 최적의 방법임. 특히 정규 직교 기저를 사용하면 복잡한 역행렬 계산 없이 $AA^T$만으로 투영 벡터를 구할 수 있음
6. 그람-슈미트 직교화 (Gram-Schmidt Orthogonalization)
그람-슈미트 과정은 임의의 선형 독립인 벡터 집합 ${x_1, \dots, x_n}$을 직교하는 벡터 집합 ${v_1, \dots, v_n}$으로 변환하는 알고리즘
핵심 알고리즘 단계
- Step 1: 첫 번째 벡터는 그대로 유지함.
- $v_1 = x_1$
- Step 2: 두 번째 벡터 $x_2$에서 $v_1$ 방향으로의 투영 성분을 제거하여, $v_1$과 수직인 $v_2$를 구함.
- $v_2 = x_2 - \text{proj}_{W_1} x_2 = x_2 - \frac{x_2 \cdot v_1}{v_1 \cdot v_1} v_1$
- Step 3: 세 번째 벡터 $x_3$에서 $v_1$과 $v_2$가 이루는 평면 $W_2$ 위로의 투영 성분을 제거하여, 앞선 모든 벡터와 수직인 $v_3$를 구함.
- $v_3 = x_3 - \text{proj}_{W_2} x_3 = x_3 - \left( \frac{x_3 \cdot v_1}{v_1 \cdot v_1} v_1 + \frac{x_3 \cdot v_2}{v_2 \cdot v_2} v_2 \right)$
이 과정을 반복하면 모든 벡터가 서로 수직인 직교 기저(Orthogonal Basis)를 얻게 됨.
7. 그람-슈미트 과정의 기하학적 이해
그람-슈미트 과정은 기하학적으로 기존 공간에 수직인 새로운 성분만을 남기는 과정.
- 벡터 $x_3$를 평면 $W_2 = \text{Span}\{v_1, v_2'\}$ 위로 투립시킨 지점이 $\text{proj}_{W_2} x_3$임.
- 이때 $x_3$에서 투영 벡터 $\text{proj}_{W_2} x_3$를 빼주면, 평면 $W_2$와 완벽하게 수직인 벡터 $v_3$가 생성됨.
- 이를 통해 ${v_1, v_2, v_3}$는 서로 직교하는 3차원 기저가 됨.
8. QR 분해 (QR Factorization)
QR 분해는 선형 독립인 열을 가진 행렬 $A$를 직교 행렬 $Q$와 상삼각 행렬 $R$의 곱으로 나타내는 것임.
$A = QR$의 구성 요소
- 행렬 $Q$ ($m \times n$): 행렬 $A$의 열공간(Col A)에 대한 정규 직교 기저(Orthonormal Basis)를 열벡터로 가짐
- 그람-슈미트로 구한 ${v_1, \dots, v_n}$을 각각의 크기로 나누어 정규화한 ${u_1, \dots, u_n}$이 $Q$의 열이 됨
- 행렬 $R$ ($n \times n$): 상삼각 행렬(Upper Triangular Matrix)이며, 대각 성분은 양수임.
- $A$의 원래 열벡터 $x_k$를 정규 직교 기저 $u_i$들의 선형 결합으로 표현했을 때의 계수들로 구성됨.
9. QR 분해 예시 계산
행렬 $A = \begin{bmatrix} 1 & 0 & 0 \ 1 & 1 & 0 \ 1 & 1 & 1 \ 1 & 1 & 1 \end{bmatrix}$의 QR 분해 과정임.
- $Q$ 구하기: $A$의 열벡터들에 그람-슈미트 과정을 적용하고 정규화함.
- $u_1$은 $x_1$을 정규화하여 구함: $u_1 = \begin{bmatrix} 1/2 \\ 1/2 \\ 1/2 \\ 1/2 \end{bmatrix}$
- 같은 방식으로 $u_2, u_3$를 차례로 구하여 행렬 $Q = \begin{bmatrix} u_1 & u_2 & u_3 \end{bmatrix}$를 구성함.
- $R$ 구하기: $x_k$와 $u_i$의 내적을 통해 계수를 구함.
- $x_1 = 2u_1 \rightarrow r_{11} = 2$
- 최종적으로 구해진 $R$은 다음과 같음: $R = \begin{bmatrix} 2 & -3/2 & 1 \\ 0 & -3/\sqrt{12} & 2/\sqrt{12} \\ 0 & 0 & 2/\sqrt{6} \end{bmatrix}$
10. 실습
