LLM
기본 정보
- 명칭: LLM
- 영문명: Large Language Model
- 한글명: 대규모 언어 모델
- 분류: 생성형 인공지능(Generative AI)
- 주요 용도: 자연어 이해 및 생성
- 관련 주제: #LLM #AI #NLP #Transformer #생성형AI
개요
LLM(Large Language Model)은 대량의 텍스트 데이터를 학습하여 사람처럼 언어를 이해하고 생성하는 인공지능 모델이다.
질문에 답하거나, 문서를 요약하고, 번역하며, 프로그래밍 코드를 작성하거나 분석하는 등 다양한 자연어 처리 작업을 수행할 수 있다.
최근에는 검색, 업무 자동화, AI 비서, 코드 생성, 데이터 분석 등 다양한 분야에서 핵심 기술로 활용되고 있다.
LLM 구조
대량의 텍스트 데이터
↓
학습(Training)
↓
Transformer 모델
↓
LLM
↓
질문 입력(Prompt)
↓
추론(Inference)
↓
답변 생성동작 과정
사용자 질문
↓
Prompt 분석
↓
Token 변환
↓
Transformer 계산
↓
다음 Token 예측
↓
문장 생성
↓
최종 답변LLM은 문장을 이해하는 것이 아니라 다음에 올 가능성이 높은 토큰(Token)을 예측하는 방식으로 동작한다.
주요 특징
- 자연어 이해
- 자연어 생성
- 코드 생성
- 문서 요약
- 번역
- 질의응답
- 문맥(Context) 이해
- 멀티모달 확장 가능
핵심 구성 요소
Token
문장을 작은 단위로 나눈 조각이다.
예시
안녕하세요
↓
안녕
+
하세요모델은 토큰 단위로 입력과 출력을 처리한다.
Prompt
사용자가 모델에 입력하는 명령이나 질문이다.
예시
Python으로 계산기 만들어줘.Prompt의 품질에 따라 답변 결과가 크게 달라질 수 있다.
Context
현재 대화나 입력 문서 등 모델이 참고하는 정보이다.
Context가 길수록 더 복잡한 작업을 수행할 수 있다.
Inference
학습된 모델이 새로운 입력에 대해 답을 생성하는 과정을 의미한다.
Transformer 구조
Input
↓
Embedding
↓
Attention
↓
Feed Forward
↓
Output현대 LLM 대부분은 Transformer 아키텍처를 기반으로 한다.
Self-Attention
문장 안에서 단어 간의 관계를 계산하는 핵심 메커니즘이다.
예시
철수는 학교에 갔다.
그는 공부를 했다.
↓
"그는"
=
"철수"문맥을 파악하는 데 중요한 역할을 한다.
학습 과정
인터넷 문서
↓
책
↓
논문
↓
코드
↓
사전학습(Pretraining)
↓
미세조정(Fine-tuning)
↓
LLM 완성대표 활용 분야
- AI 챗봇
- 코드 생성
- 문서 작성
- 번역
- 검색
- 고객 상담
- 교육
- 데이터 분석
대표 모델
- GPT 계열
- Gemini
- Claude
- Llama
- Mistral
- Qwen
- DeepSeek
각 모델은 구조와 학습 방식, 라이선스 정책 등에 차이가 있다.
LLM과 검색 엔진 차이
| LLM | 검색 엔진 |
|---|---|
| 답변 생성 | 문서 검색 |
| 문맥 이해 | 키워드 중심 |
| 자연스러운 대화 | 링크 제공 중심 |
| 창의적 생성 가능 | 기존 정보 제공 |
LLM과 머신러닝 비교
| 머신러닝 | LLM |
|---|---|
| 특정 작업 중심 | 범용 언어 처리 |
| 데이터별 모델 구축 | 하나의 모델로 다양한 작업 수행 |
| 입력·출력 제한 | 자연어 기반 인터페이스 |
| 기능별 개발 필요 | 프롬프트만으로 작업 가능 |
장점
- 자연스러운 대화 가능
- 다양한 작업 수행
- 코드 생성 지원
- 생산성 향상
- 문서 요약 및 분석 가능
- 자동화에 활용 가능
단점
- 잘못된 정보를 생성할 수 있음(Hallucination)
- 최신 정보가 항상 반영되는 것은 아님
- 추론 비용이 높음
- 긴 문맥에서는 성능 저하 가능
- 학습 데이터 편향의 영향을 받을 수 있음
RAG와 관계
사용자 질문
↓
검색(Retrieval)
↓
관련 문서
↓
LLM
↓
정확한 답변 생성RAG(Retrieval-Augmented Generation)는 외부 지식을 함께 활용하여 답변 정확도를 높이는 기법이다.
AI 에이전트와 관계
사용자
↓
LLM
↓
Agent
↓
Tool
↓
API
↓
Database
↓
실행 결과LLM은 AI 에이전트의 핵심 추론 엔진으로 활용된다.
실무 메모
실무에서는 다음과 같은 방식이 권장된다.
- 명확한 Prompt 작성
- RAG와 함께 활용하여 최신 정보 보강
- Function Calling 또는 Tool Calling 적용
- 출력 형식을 JSON 등으로 제한
- 민감한 데이터는 별도 보호
- 프롬프트 인젝션 방어 고려
- 토큰 사용량 모니터링
- 캐싱(Cache) 전략 적용
- 응답 검증 로직 추가
- 사용자 피드백 기반 지속 개선
LLM과 함께 사용하는 기술
대표 개발 도구 및 프레임워크
- Hugging Face Transformers
- LangChain
- LlamaIndex
- Ollama
- vLLM
- LM Studio
관련 문서
출처
- Attention Is All You Need (Transformer 논문)
- Hugging Face 공식 문서
- Google Machine Learning Glossary