kimyeji2358 님의 블로그

1. 직교 집합과 정규 직교 집합 (Orthogonal and Orthonormal Sets)직교 투영을 이해하기 위해 먼저 벡터 집합의 성질을 정의함.직교 집합 (Orthogonal Set): 벡터 집합 $\{u_{1},...,u_{p}\}$ 내의 서로 다른 모든 벡터 쌍이 직교하는 집합임. 즉, $i \neq j$일 때 $u_{i} \cdot u_{j} = 0$을 만족함.정규 직교 집합 (Orthonormal Set): 직교 집합이면서 각 벡터가 단위 벡터(크기가 1)인 집합임특징: 임의의 기저는 그램-슈미트 과정(Gram-Schmidt process)을 통해 직교 또는 정규 직교 기저로 변환 가능하며, 이는 QR 분해(QR factorization)로 이어짐. 2. 직선 위로의 직교 투영 (Proj..

1. Over-determined System연립방정식에서 방정식의 개수(m)가 미지수의 개수(n)보다 많은 경우m > n문제: 데이터가 너무 많아 모든 식을 동시에 만족하는 해 x가 존재하지 않는 경우가 대부분 (Ax=b의 해가 없음) 벡터 공간에서의 해석: 행렬 A의 열벡터들의 선형 결합인 Ax는 항상 A의 열공간(ColA)안에 존재목표 벡터 b가 이 열 공간(ColA) 밖에 있다면, 어떤 x를 선택해도 Ax = b를 만족시킬 수 없음 2. Least Squares해가 없을 때, 가장 근사한 해를 찾으려고 노력 1) 최적의 근사 기준 : 오차 제곱합오차 벡터를 e = b - Ax라고 할 때, 이 오차의 크기를 최소화하는 x를 찾는 것이 목표오차 제곱합(Sum of Squared Errors) : 각 ..

1. 생성형 AI(Generative AI)생성형 AI는 데이터의 단순 재현이 아닌, 데이터가 생성되는 패턴과 구조를 학습하여 이전에 존재하지 않았던 새로운 데이터를 생성하는 모델 ○ 학습 데이터입력값 자체가 정답 역할을 하므로 별도의 라벨링이 필요 없는 자기 지도 학습이 가능이를 통해 인터넷상의 방대한 데이터를 학습할 수 있음 ○ 수식 차이판별 모델: $P(y|x)$ 데이터 x가 주어졌을 때 정답 y를 맞춤생성 모델 : $P(x)$ 또는 $P(x|\text{조건})$ 데이터 자체의 분포를 학습하거나 조건에 맞는 새로운 x를 생성○ 생성형 AI 데이터 만드는 과정1. 학습 단계 (Training)데이터의 본질을 파악하는 과정구조와 패턴 파악: 데이터가 어떤 형태일 때 자연스러운지, 요소 간의 상관관계는..

1. 시퀀스 모델의 발전과 Transformer의 등장○ 전통적인 모델의 한계 (RNN, LSTM)시퀀스 데이터 - 순서가 있는 데이터를 의미-앞의 단어가 뒤의 단어에 영향을 미치는 텍스트, 음성, 주식 데이터 등이 해당 전통적인 모델(RNN, LSTM): 이전 입력 정보를 순환 구조로 기억하며 처리하는 방식 한계장기 의존성 문제 (Long-term Edpendency) : 문장이 길어질수록 앞부분의 정보가 뒤로 전달되지 않고 소실되는 현상학습 속도 및 병렬 처리 : 데이터를 순서대로 처리해야 하므로 GPU를 활용한 병렬 연산이 불가능하여 학습 속도가 매우 느려짐기울기 소실 및 폭발 : 역전파 과정에서 그래디언트가 너무 작아지거나 커져 학습이 제대로 이루어지지 않음○ seq2seq 모델의 한계구조 : ..

1. 임베딩(Embedding)컴퓨터는 인간의 언어를 직접 이해할 수 없으며 오직 숫자만 처리 가능텍스트 데이터를 컴퓨터가 처리할 수 있도록 수치화하는 과정 필요→ 벡터화(Vectorization) 1-1. One-Hot Encoding단어 집합의 크기를 차원으로 함표현하고 싶은 단어의 인덱스에만 1을 부여, 나머지는 모두 0 표시→ 희소 표현 (Sparse Representation) 문제점의미 결여 : 단어 간의 유사도를 계산할 수 없음 차원의 저주 : 단어 수가 늘어날수록 베터의 길이와 0의 개수가 무하히 증가하여 계산 효율↓1-2. 워드 임베딩 & Word2Vec○ 임베딩 (Embedding)단어를 고정된 크기의 밀집 벡터(Dense Vector)로 표현하는 방식 → 분산 표현(Distribute..

1. 함수의 기본 요소 정의역 (Domain, $\mathbb{R}^n$) : 입력 벡터 x가 속한 전체 집합공역 (Co-domain, $\mathbb{R}^m$) : 출력 벡터 y가 존재할 수 있는 후보지 전체 집합상 (Image) : 특정 입력 x에 의해 매핑된 결과값 $T(x)$를 의미치역 (Range) : 정의역의 모든 원소를 변환했을 때 얻어지는 실제 결과값들의 집합치역은 항상 공역의 부분집합2. 선형 변환 (Linear Transformation)선형변환은 벡터를 다른 벡터로 옮길 떄, 공간의 격자모양과 원점을 유지하는 변환 - 선형성의 조건$$T(u + v) = T(u) + T(v)$$1. 더하기를 먼저 하나 변환 후 더하나 같아야 함.$$T(cu) = cT(u)$$2. 길이를 늘리고 변환하..

1. 모델 발전 흐름1) MLP(다층 퍼셉트론)의 한계초기에는 이미지를 1차원 배열로 펼펴서(Flatten) 입력하는 MLP 방식을 사용했으나 문제가 발생함 문제 1) 파라미터 폭발 해상도↑ 파라미터 수↑ 224×224 해상도의 RGB(3채널) 이미지를 1차원으로 펼치면(Flatten) 150,528 차원이 됨이를 1,000개의 뉴런과 완전연결(Fully-Connected)하면 약 1억 5천만 개의 가중치가 생성됨 → 계산량을 폭발 적으로 늘림→ 학습 속도를 저하시킴→ 심각한 과적합 유발 문제 2) 공간 정보 손실2D 이미지를 1차원으로 펼치는 순간 픽셀 간의 상하좌우 근접성(지역성, 위치 관계)이 완전히 파괴 flatten → 이웃한 픽셀 관계 사라짐 → 1차원 벡터로 변환=> 이미지의 핵심인 지역성..

1. 신경망 학습의 핵심처음부터 정답을 아는 것이 아니라입력에 대한 예측 출력과 실제 정답과의 차이를 보고내부 값(가중치)을 줄이는 방향으로 조금씩 수정하는 과정 핵심 정보: 파라미터를 어느 방향으로 얼마나 수정해야 하는가를 알려주는 개념 → 기울기2. 수학 기초 (학습의 방향키)1) 미분 (Derivative)어떤 변수를 조금 바꾸었을 때, 함수값이 얼마나 변하는지를 나타내는 값(변화율)ex) $y=x^2$일 때 미분은 $dy/dx=2x$ - 역할값을 증가 또는 감소시켜야 할지 방향 결정변화에 대한 민감도를 측정하여 경사하강법의 핵심 입력값이 됨2) 편미분 (Partial Derivative)신경망에는 여러 가중치가 있으므로다른 변수는 고정하고 단 하나의 변수만 변화시킬 때의 변화율을 구하여각 가중..

1. 딥러닝 등장 배경- Rule - based AI → 머신러닝Rule - based AI (규칙기반)- 사람이 직접 명시적인 규칙을 작성- 복잡한 문제나 새로운 상황에 대응하기 어렵다 머신러닝 (학습기반)- 모델이 직접 데이터로부터 규칙과 패턴을 자동으로 학습 - 초기 머신러닝 모델선형 회귀연속값 예측 → 선형(직선) 관계만 파악 가능로지스틱 회귀이진 분류 → 복잡한 데이터 분류에 한계퍼셉트론이진 분류(초기 신경망) → 완벽히 직선으로 나뉠 때만 정답 도출 => 공통점: 데이터로 스스로 학습하지만, 구조가 단순하고 결정경계가 선형이다 ※선형 결정경계→ 입력 공간에서 두 클래스를 나누는 경계가 선형 형태로 나타나는 경우결정경계 : 데이터를 나누는 기준선선형 : 기준선이 공간상에서 단 하나의 직선임 2...

선형 시스템과 해의 조건선형 대수학에서 선형 시스템의 행렬 방정식은 Ax = b로 표현된다이를 벡터 방정식으로 풀어쓰면 아래처럼 된다$$a_1x_1 + a_2x_2 + a_3x_3 = b$$- 해가 존재할 조건벡터 b가 행렬 A의 열벡터들이 만들어내는 Span 영역 안에 있을 때만 해가 존재$$b \in \text{Span}\{a_1, a_2, a_3\}$$ - 해의 유일성해가 존재할 경우, 이 해가 1개인지 무수히 많은지는 열벡터들의 관계에 따라 결정열벡터가 선형 독립인 경우일 때 해가 유일함열벡터들이 선형 종속이라면 해는 무수히 많이 존재 1. 선형 독립(Linear independence)선형 독립은 모든 벡터가 각자 자기만의 방향을 가지고 있어서, 서로가 서로를 대체할 수 없는 상태를 말함 - ..