1. 생성형 AI(Generative AI)
생성형 AI는 데이터의 단순 재현이 아닌, 데이터가 생성되는 패턴과 구조를 학습하여 이전에 존재하지 않았던 새로운 데이터를 생성하는 모델
○ 학습 데이터
입력값 자체가 정답 역할을 하므로 별도의 라벨링이 필요 없는 자기 지도 학습이 가능
이를 통해 인터넷상의 방대한 데이터를 학습할 수 있음
○ 수식 차이
- 판별 모델: $P(y|x)$ 데이터 x가 주어졌을 때 정답 y를 맞춤
- 생성 모델 : $P(x)$ 또는 $P(x|\text{조건})$ 데이터 자체의 분포를 학습하거나 조건에 맞는 새로운 x를 생성
○ 생성형 AI 데이터 만드는 과정
1. 학습 단계 (Training)
데이터의 본질을 파악하는 과정
- 구조와 패턴 파악: 데이터가 어떤 형태일 때 자연스러운지, 요소 간의 상관관계는 어떠한지 학습
- 멀티모달 데이터 활용: 텍스트, 이미지, 텍스트+이미지 모두 학습 가능
- 데이터 정제: 수집된 데이터에서 노이즈를 제거하고 필터링하여 고품질의 데이터셋을 구축
2, 생성 단계 (Generation)
학습한 패턴을 기반으로 실제로 데이터를 출력하는 단계
확률적으로 계산하여 만들어 냄
핵심 요소: 잠재 변수
- 데이터에서 직접 관찰 되지는 않지만 데이터를 구성하는 숨겨진 핵심 특징을 의미함
- 복잡한 데이터 분포를 단순화하고 데이터의 구조를 이해하여, 일정한 맥락과 스타일을 갖춘 새로운 데이터를 생성하도록 도움
○ 데이터 생성 방식
1. GAN (Generative Adversarial Networks)
생성기와 판별기가 경쟁하며 학습
생성기는 잠재 변수 z를 통해 까자 데이터를 만들고, 판별기는 이를 실제와 구별하도록 훈련
→ 실제 데이터와 유사한 데이터를 생성함
2. VAE (Variational Autoencoders)
인코더를 통해 데이터를 저차원 잠재 변수 z로 압축하고
디코더가 이를 다시 고차원 데이터로 복원하여 새로운 데이터를 생성
인코더는 잠재변수의 평균과 표준편차를 예측 → 잠재 변수를 정규 분포에서 샘플링하여 출력 → 데이터의 저차원 표현을 학습
3. 확산 모델 (Diffusion Model)
데이터에 단계적으로 노이즈를 추가하는 순방향 확산과
이를 다시 복원하는 역방향 확산 과정을 통해 데이터를 생성
2. LLM (Large Language Model)
LLM은 대량의 텍스트 데이터를 학습하여 인간과 유사한 언어를 생성하는 모델
생성형 AI 중 텍스트 생성에 특화된 모델
○ 동작 원리 : Next Token Prediction
LLM의 본질은 다음에 올 가장 자연스러운 단어를 확률적으로 예측하는 것
ex) "I am a" 입력 시, student(0.6), developer(0.3), teacher(0.1) 중 확률이 가장 높은 단어를 선택하여 문장을 이어 붙임
- LLM 성이 좋은 이유
- 방대한 데이터 규모
- 거대한 모델 크기
- 트랜스포머 구조
- 전이 학습
○ 프롬프트 전략 : In-context Learning
모델의 파라미터를 수정하지 않고 입력(프롬포트) 내의 문맥 정보를 활용해 성능을 높이는 방식
- Zero-shot : 예시 없이 바로 요청
- One -shot : 1개의 예시 제공
- Few-shot : 여러 개의 예시를 제공하여 패턴을 학습시킴
○ 생성 방식 제어
- Temperature : 확률 분포를 얼마나 랜덤하게 사용할지 결정하는 수단
- 낮음 (0~0.3) : 확률이 높은 단어를 선택하여 안정적이고 정확한 결과를 냄
- 높음 (0.7~1.0) : 확률이 낮은 단어도 선택될 기회를 주어 다양하고 창의적인 문장 생성
- Top-k : 확률이 높은 상위 k개의 단어만 후보로 사용
- Top-p : 상위 단어들의 확률 합이 p가 될 때까지 후보군을 선택하는 방식
3. RAG (Retrieval-Augmented Generation)
RAG는 LLM의 내부 지식 한계를 극복하기 위해 외부 데이터베이스에서 관련 정보를 검색하여
이를 바탕으로 답변을 생성하는 기술
○ Rag의 3단계 구조
1. Retrieval (검색)
사용자의 질문을 벡터로 변환하여 벡터 DB에서 관련 문서를 찾음
2. Augmentation(증강)
검색된 정보를 질문과 함께 LLM에 입력으로 제공
3. Generation (생성)
LLM이 제공된 근거 데이터를 바탕으로 최종 답변을 생성
- 장점
- 최종 정보 반영
- 정확도 향상
- 출처 제공 가능
- 환각 현상 감소
4. AI Agnet
Ai Agent는 특정 목표를 달성하기 위해 스스로 판단하고 외부 도구를 사용하여 행동하는 시스템
주요 특징
- 자율성: 사람의 개입 없이 스스로 작업 수행
- 상태 유지: 이전 대화나 맥락을 기억하며 환경 변화에 맞춰 행동을 바꿈
- 실행 능력: 텍스트 생성뿐만 아니라 API호출, 파일 수정, 캘린더 등록 등 실제 작업을 수행함
○ 기본 구조
1. Model (Think)
지능의 핵심으로, 상황을 이해하고 추론함
2. Orchestrator (Coordinate)
요청 목적을 해석, 어떤 도구를 어떤 순서로 사용할지 계획을 세움
3. Tools (Act)
외부 인터페이스 (Extensions), 사용자 정의 함수 (Functions), 데이터 저장소 (Data Stores) 등을 통해 실제 행동을 취함
○ 주요 사고 전략
- ReAct : 추론과 행동을 번갈아 수행하며 문제 해결
- CoT (Chain of Thought) : 복잡한 문제를 해결하기 위해 중간 사고 과정을 단계별로 서술
- ToT (Three of Thought) : 여러 아이디어를 병렬로 전개하고 장단점을 비교하여 최적의 경로 선택
5. Multi-Agent
Multi-Agent(Agentic AI)는 여러 개의 전문화된 Agent가 협력하여 하나의 크고 복잡한 목표를 해결하는 시스템
- 역할 분담
- 각 에이전트가 자재 관리, 생산 계획, 품질 검사 등 특징 전문 영역을 담당
- 고도의 자율성
- 단일 모델로 해결하기 어려운 복잡한 문제를 에이전트 간의 협업으로 해결
- 동적 계획 수정
- 상황 변화에 따라 에이전트들이 서로 소통하며 계획을 실시간으로 수정
○ 협업 방식
1. 오케스트레이션 (Orchestration) 방식
중앙 컨트롤러가 전체 흐름을 관리하며 각 에이전트에 작업을 분배하는 방식
2. 코레오그래피 (Choreography) 방식
중앙 통제 없이 에이전트들이 자율적으로 소통하며 협업하는 분산형 구조
| 구분 | AI Agent | Multi-Agent |
| 수행 작업 | 단일 작업 중심 | 복잡한 목표 중심 |
| 의사 결정 | 단일 모델의 추론에 의존 | 여러 전문 에이전트 간의 협의 및 협력 |
| 시스템 구조 | 모델+오케스트레이터+도구 | 여러 에이전트들의 네트워크 및 통신 체계 |
5. 최신 기술 동향
지식 증강 및 추론 기술 (Advanced RAG & Reasoning)
1. GraphRAG 그래프 기반 검색 증강 생성
데이터를 낱개로 저장하지 않고 거미줄처럼 서로 연결된 지식의 지도로 만들어 활용하는 기술임
- 최신성: 문서 전체의 주제나 인물 간의 복잡한 관계를 요약하는 능력
- 수식적 포인트: 지식 그래프 $G = (E, R)$ 구조를 사용함
- $E$ (Entity, 노드): 사람 회사 도시 같은 핵심 정보 알갱이임
- $R$ (Relation, 간선): 누가 누구의 CEO인지 어느 회사가 어느 도시에 있는지 연결하는 선임
- 작동 원리: 데이터를 조각내어 보관하는 대신 각 정보가 서로 어떻게 연결되어 있는지 위상적 구조를 학습함
- 효과: 파편화된 정보들 사이의 맥락을 읽어내어 "A사의 사장이 사는 도시의 특징" 같은 복잡한 질문에도 정확히 답변함
2. Search-Augmented Reasoning 추론형 검색
질문을 받자마자 답하는 것이 아니라 정답을 찾기 위해 스스로 전략을 짜고 검색을 반복하는 과정임
- 최신성: OpenAI의 o1이나 Google의 최신 모델들에 적용된 방식으로 AI가 스스로 무엇을 더 찾아봐야 할지 판단함
- 작동 매커니즘:
- Chain of Thought (CoT): 큰 문제를 해결하기 위해 생각을 단계별로 쪼갬
- ReAct 루프: 생각하고 행동하고 관찰하는 과정을 정답이 나올 때까지 반복함
- Thought (추론): 지금 상황에서 어떤 정보가 더 필요한지 판단함
- Action (검색 실행): 외부 데이터나 지식 베이스에서 실제로 정보를 찾아봄
- Observation (확인): 찾아온 결과가 도움이 되는지 확인하고 다음 할 일을 결정함
- 효과: 한 번의 검색으로 알 수 없는 복잡한 문제도 스스로 논리적 오류를 고쳐가며 정답에 도달함