1. 함수의 기본 요소
- 정의역 (Domain, $\mathbb{R}^n$) : 입력 벡터 x가 속한 전체 집합
- 공역 (Co-domain, $\mathbb{R}^m$) : 출력 벡터 y가 존재할 수 있는 후보지 전체 집합
- 상 (Image) : 특정 입력 x에 의해 매핑된 결과값 $T(x)$를 의미
- 치역 (Range) : 정의역의 모든 원소를 변환했을 때 얻어지는 실제 결과값들의 집합
- 치역은 항상 공역의 부분집합
2. 선형 변환 (Linear Transformation)
선형변환은 벡터를 다른 벡터로 옮길 떄, 공간의 격자모양과 원점을 유지하는 변환
- 선형성의 조건
$$T(u + v) = T(u) + T(v)$$
1. 더하기를 먼저 하나 변환 후 더하나 같아야 함.
$$T(cu) = cT(u)$$
2. 길이를 늘리고 변환하나 변환 후 늘리나 같아야 함.
ex) $T(x) = 3x$
$x_1=1, x_2=2$일 때, 선형결합 $4x_1 + 5x_2 = 14$
방법 1: $T(14) = 3 \times 14 = 42$
방법 2: $4T(1) + 5T(2) = 4(3) + 5(6) = 12 + 30 = 42$
→ 두 결과가 같으므로 이 변환은 선형
- 표준 행렬 (Standard Matrix)
모든 선형변환은 행렬 A와 x의 곱(Ax)으로 표현 가능
행렬 A의 각 열은 단위행렬의 기저 벡터 $e_j$가 변환된 결과값 $T(e_j)$과 같다
ex) $T: \mathbb{R}^2 \rightarrow \mathbb{R}^3$
$T(\begin{bmatrix} 1 \\ 0 \end{bmatrix}) = \begin{bmatrix} 2 \\ -1 \\ 1 \end{bmatrix}$, $T(\begin{bmatrix} 0 \\ 1 \end{bmatrix}) = \begin{bmatrix} 0 \\ 1 \\ 2 \end{bmatrix}$ 이라면,
이때 임의의 벡터 $x = \begin{bmatrix} x_1 \ x_2 \end{bmatrix}$에 대한 표준 행렬(Standard Matrix) $A$를 구하는 과정
→ $A = \begin{bmatrix} 2 & 0 \\ -1 & 1 \\ 1 & 2 \end{bmatrix}$
3. 신경망에서의 응용
- 선형 레이어(Linear Layer)
인공신경망의 Fully-connected layer는 선형변환
시각적으로는 직사각형 모눈종이를 평행사변형 형태의 모눈종이로 비틀어 공간을 변형시키는 역할
- Affine Layer
신경망에서 입력 데이터에 선형 변환을 수행한 후 편향을 더해주는 층
일반적인 신경망 레이어에는 $y = Ax + b$처럼 Bias($b$, 절편)가 포함됨
$y = 3x + 2$처럼 Bias가 있으면 원점을 지나지 않으므로 선형변환이 아닙
딥러닝에서는 이를 Affine Layer라고 부르며, 입력을 한 차원 늘려 선형변환처럼 처리하기도 합
선형 변환은 격자가 평행사변형으로 변하는 것
어파인 변환은 선형 변환에 평행이동이 추가된 것
| 구분 | 선형변환 | 어파인 변환 |
| 기본 수식 | $y = Ax$ | $y = Ax + b$ |
| 원점 통과 | 반드시 통과 | 통과하지 않음(Bias 존재) |
| 공간의 변화 | 회전, 크기 조절, 전단 | 선형변환 + 평행 이동 |
| 딥러닝 처리 | Linear Layer | Affine Layer(차원 확장으로 처리) |
4. 전사함수 (Onto)
- 정의
공역의 모든 원소가 최소한 하나 이상의 정의역 원소와 연결될 때
→ 공역과 치역이 같은 상태
- 조건
행렬의 열벡터들이 공역 $\mathbb{R}^m$ 전체를 Span 해야 함.
- 차원 관계
주로 정의역의 차원이 공역보다 크거나 같을 때 ($n \ge m$) 발생 가능성이 높다
- 딥러닝 응용
- GAN (생성적 적대 신경망)
- 낮은 차원의 잠재 벡터를 다시 원래 이미지 사이즈로 복원하는 Decoding 과정에서 사용
- Manifold
- 실제 데이터가 존재할 법한 특정 서브(Sub) 공간을 의미하며, 생성 모델이 이 공간 전체를 잘 채우느냐가 전사 개념과 연결됨
(생성 모델이 공간을 잘 채우는 것과 전사 개념이 어떻게 직결되는지 아직 잘 이해가 안 감)
5. 일대일 함수 (One-to-One)
- 정의
공역의 각 원소가 중복 없이 정의역의 원소와 연결될 때
- 조건
행렬의 열벡터들이 서로 선형 독립(Linearly Independent) 이어야 함.
- 차원 관계
정의역의 차원이 공역보다 크면 (n> m), 반드시 중복이 생기므로 일대일 함수가 될 수 없다.
- 딥러닝 응용
- 의도적 정보 삭제: 신경망의 Fully-connected layer를 거치며 차원을 줄이는 $\mathbb{R}^3 \rightarrow \mathbb{R}^2$은 불필요한 차이점을 없애고, 유의미한 특징만 추출하기 위함이다
- 중복의 발생: 여러 데이터를 넣었을 때 동일한 특징값으로 모이는 것은 일대일 함수가 아님을 뜻하며, 이는 효율적인 데이터 예측을 위한 압축 과정이다.
ex) $T(x) = \begin{bmatrix} 2 & 0 \\ -1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$
- 일대일 함수인가
열벡터 $\begin{bmatrix} 2 \ -1 \ 1 \end{bmatrix}$과 $\begin{bmatrix} 0 \ 1 \ 2 \end{bmatrix}$는 서로 배수 관계가 아니므로 선형 독립
→ 일대일 함수
- 전사함수 인가
2개의 벡터로는 3차원 공간($\mathbb{R}^3$) 전체를 채울(Span) 수 없다
→ 전사함수 아