LLM, 눈으로 익히고 손으로 구현하라. 
트랜스포머 구조부터 시맨틱 검색, 미세 튜닝, 프롬프트 엔지니어링까지 
그림과 실전 코드로 만들면서 배우는 대규모 언어 모델의 모든 것

이 책은 LLM을 쓰는 것을 넘어, 이해하고 구현하는 것까지 나아가고 싶은 이를 위한 실전 가이드입니다. 직관적인 시각 자료와 예제를 제공해 ‘왜 이런 구조가 필요한지’ 이해하고 실용적인 도구와 개념을 익힐 수 있도록 구성했습니다. 사전 훈련된 대규모 언어 모델을 사용하는 방법과 시맨틱 검색 시스템을 만드는 방법, 텍스트 분류, 검색, 클러스터링을 위해 사전 훈련된 모델과 각종 라이브러리를 사용하는 방법을 배웁니다.

• 텍스트 생성과 표현에 뛰어난 트랜스포머 언어 모델의 구조
• 텍스트 문서를 그룹화하고 주제를 파악하는 고급 LLM 파이프라인
• 밀집 검색과 재순위 결정 같은 방법으로 키워드 검색을 넘어서는 의미 검색 엔진 구축
• 프롬프트 엔지니어링부터 검색 증강 생성까지 생성 모델 활용법
• 미세 튜닝, 생성적 사전 학습, 문맥 학습 같은 기술로 특정 용도에 맞게 LLM을 훈련하고 최적화하는 방법

이 책의 구성
1부: 언어 모델 이해하기

• 소규모 및 대규모 언어 모델의 내부 동작 원리
• 언어 모델의 두 가지 핵심 요소: 토큰화와 임베딩
• 그림으로 살펴보는 트랜스포머의 모델 구조

2부: 사전 훈련된 언어 모델 사용하기

• 지도 학습 분류
• 텍스트 클러스터링과 토픽 모델링
• 임베딩 모델 활용한 시맨틱 검색
• 텍스트 생성 모델
• 비전 도메인에 언어 모델 사용하는 방법

3부: 언어 모델 훈련 및 미세 튜닝

• 임베딩 모델을 만들고 미세 튜닝하는 방법
• 분류를 위해 BERT를 미세 튜닝하는 방법
• 생성 모델을 미세 튜닝하는 방법

대상 독자

• 챗GPT 같은 AI 서비스가 어떻게 작동하는지 궁금하신 분
• NLP 프로젝트를 시작하려는 학생 및 개발자
• AI를 활용한 비즈니스 모델을 고민하는 실무자

1부 언어 모델 이해하기

1장 대규모 언어 모델 소개
_1.1 언어 AI란?
_1.2 언어 AI의 최근 역사
_1.3 ‘대규모 언어 모델’의 정의
_1.4 대규모 언어 모델의 훈련 패러다임
_1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요?
_1.6 책임 있는 LLM 개발과 사용
_1.7 부족한 자원이 필요한 전부입니다
_1.8 대규모 언어 모델 인터페이스
_1.9 첫 번째 텍스트 생성하기
_1.10 요약

2장 토큰과 임베딩
_2.1 LLM 토큰화
_2.2 토큰 임베딩
_2.3 텍스트 임베딩(문장과 전체 문서)
_2.4 LLM을 넘어 활용되는 단어 임베딩
_2.5 추천 시스템을 위한 임베딩
_2.6 요약

3장 대규모 언어 모델 자세히 살펴보기
_3.1 트랜스포머 모델 개요
_3.2 트랜스포머 아키텍처의 최근 발전 사항
_3.3 요약

2부 사전 훈련된 언어 모델 사용하기

4장 텍스트 분류
_4.1 영화 리뷰 데이터셋
_4.2 표현 모델로 텍스트 분류하기
_4.3 모델 선택
_4.4 작업에 특화된 모델 사용하기
_4.5 임베딩을 활용하여 분류 작업 수행하기
_4.6 생성 모델로 텍스트 분류하기
_4.7 요약

5장 텍스트 클러스터링과 토픽 모델링
_5.1 아카이브 논문: 계산 및 언어
_5.2 텍스트 클러스터링을 위한 파이프라인
_5.3 텍스트 클러스터링에서 토픽 모델링으로
_5.4 요약

6장 프롬프트 엔지니어링
_6.1 텍스트 생성 모델 사용하기
_6.2 프롬프트 엔지니어링 소개
_6.3 고급 프롬프트 엔지니어링
_6.4 생성 모델을 사용한 추론
_6.5 출력 검증
_6.6 요약

7장 고급 텍스트 생성 기술과 도구
_7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기
_7.2 체인: LLM의 능력 확장하기
_7.3 메모리: 대화를 기억하도록 LLM을 돕기
_7.4 에이전트: LLM 시스템 구축하기
_7.5 요약

8장 시맨틱 검색과 RAG
_8.1 시맨틱 검색과 RAG 소개
_8.2 언어 모델을 사용한 시맨틱 검색
_8.3 RAG
_8.4 요약

9장 멀티모달 대규모 언어 모델
_9.1 비전 트랜스포머
_9.2 멀티모달 임베딩 모델
_9.3 텍스트 생성 모델을 멀티모달로 만들기
_9.4 요약

3부 언어 모델 훈련 및 미세 튜닝

10장 텍스트 임베딩 모델 만들기
_10.1 임베딩 모델
_10.2 대조 학습이란?
_10.3 SBERT
_10.4 임베딩 모델 만들기
_10.5 임베딩 모델 미세 튜닝
_10.6 비지도 학습
_10.7 요약

11장 분류용 표현 모델 미세 튜닝하기
_11.1 지도 분류
_11.2 퓨샷 분류
_11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기
_11.4 개체명 인식
_11.5 요약

12장 생성 모델 미세 튜닝하기
_12.1 LLM 훈련의 세 단계: 사전 훈련, 지도 학습 미세 튜닝, 선호도 튜닝
_12.2 지도 학습 미세 튜닝
_12.3 QLoRA를 사용한 지시 기반 튜닝
_12.4 생성 모델 평가
_12.5 선호도 튜닝/정렬/RLHF
_12.6 보상 모델을 사용한 선호도 평가 자동화
_12.7 DPO를 사용한 선호도 튜닝
_12.8 요약

대규모 언어 모델(LLM)이 인류의 소통 방식을 근본적으로 바꾸고 있습니다. 기계가 인간의 언어를 이해하고 생성하는 능력은 AI 기술의 새 지평을 열었을 뿐 아니라, 산업 전반에 혁신의 바람을 불러일으키고 있습니다.

이 책은 시각적 접근법으로 복잡한 LLM의 세계를 명쾌하게 안내합니다. 딥러닝 이전 단순한 단어 표현 방식부터 최신 트랜스포머 아키텍처까지, LLM의 발전 과정을 한눈에 파악할 수 있습니다. 독자는 LLM의 내부 작동 원리를 이해하고, 그 구조와 훈련 방법, 다양한 미세 튜닝 기법을 직접 탐험하게 됩니다.

실용적인 응용에 중점을 둔 이 책은 텍스트 분류, 클러스터링, 토픽 모델링부터 챗봇과 검색 엔진 구축까지 다양한 LLM 응용 사례를 상세히 다룹니다. 직관적인 설명과 시각적 도해, 실전 코드가 조화롭게 어우러져 독자가 쉽게 이해할 수 있습니다.

AI와 언어 모델에 첫 발을 내딛는 입문자부터 더 깊은 이해를 추구하는 전문가까지, 흥미진진한 LLM의 세계로 여러분을 초대합니다. 이 책과 함께라면 누구나 LLM의 무한한 가능성을 직접 경험할 수 있을 것입니다.