한빛출판네트워크

인공지능(AI) 분야에서 대형 언어 모델(LLM, Large Language Models)의 인기와 활용성은 점점 더 커지고 있습니다. 

하지만, 최근 AI업계는 LLM의 '경량화'에 주목하고 있어요. AI 학습과 운용에 드는 시간과 비용을 절감시켜 스마트폰이나 PC 에 탑재가 가능하고, 보안이 중요한 기업서버에 설치할 수 있기 때문이죠.

경량화된 언어 모델(sLM, Small Language Models)은 기존 LLM의 장점을 유지하면서 더 빠르고 경제적으로 운영될 수 있는 솔루션을 제공해요. 이것이 성능이 떨어지는 것은 아닙니다. 매개변수를 줄이는 대신 학습 데이터의 질을 높이고 미세 조정(파인 튜닝)하는 방식으로 성능을 개선하죠! 자원이 제한된 환경이거나 작은 작업에는, sLM(small Language Model)을 사용하는 것이 더 효과적이기도 하고요.  

중요한 사실은  AI 개발자가 아니더라도 이러한 LLM의 경량화 트렌드를 이해하고 적용할 수 있어야 한다는 겁니다. 걱정하지 마세요! 이 강의와 함께라면 개발자들이 경량화 트렌드를 이해하고 실무에 기술을 적용해볼 수 있어요.

이 강의는 인공지능과 대형 언어 모델(LLM)의 기본 개념부터 LLM 경량화 전략 및 다양한 활용 사례를 체계적으로 학습하는 것을 목적으로 합니다. 파인튜닝, 저순위 적응(LoRA), 양자화, 지식증류 등의 경량화 기술과 온디바이스 AI 및 기업 맞춤형 LLM 개발 등을 다룹니다. 또한, Llama 3 구동, 한국어 감정 분석 모델 사용, 코드 생성기 사용 등의 실습을 통해 실제로 경량화된 모델을 사용해볼 수 있습니다.

1. LLM(Large Language Model) 소개 및 LLM 경량화의 필요성

LLM이 무엇인지, 어떻게 작동하는지에 대한 개요를 제공합니다. 자연어 처리(Natural Language Processing) 분야에서 LLM의 중요성과 발전 과정을 살펴봅니다. 또한 LLM은 매우 큰 모델이기 때문에 실제 배포 및 활용에 있어서 리소스 소비가 많습니다. 이에 따라 LLM을 경량화하는 필요성과 이점에 대해 알아봅니다.

2. LLM 경량화 기법 및 경량화 모델 활용 사례

LLM 경량화를 위한 다양한 기법에 대해 학습합니다. 프롬프트 러닝(Prompt Learning),

인간피드백 기반 강화학습(RLHF), 저순위 적응(LoRA) 등의 파인튜닝(Fine-Tuning)의 기법과 sLM에 대해 살펴보고 각각의 원리를 이해합니다. 또한 온디바이스(On-Device) AI와 같이 경량화 모델을 활용한 사례를 살펴봅니다.

3. 오픈 소스 sLM 활용 실습

학습한 내용을 바탕으로 실제 경량 LLM 모델을 사용해 보는 실습을 진행합니다. 올라마(Ollama), 허깅 페이스(Hugging Face)를 활용하여 다양한 오픈 소스 sLM을 사용해 보는 경험을 통해 최신 기술 동향을 파악하고 자신의 기술 스택을 향상시킬 수 있습니다.

인공지능 관련 업무를 수행하게 되는 AI 입문 개발자

대학생 및 대학원생으로서 AI 기술을 공부하고자 하는 학생들

sLM 기술을 활용한 새로운 서비스 또는 제품을 개발하고자 하는 회사의 개발자들

AI와 LLM의 기본 개념과 최신 동향을 이해할 수 있습니다.

LLM 경량화 전략 및 기술에 대한 체계적인 지식을 습득할 수 있습니다.

다양한 오픈 소스 sLM(Small LLM) 모델을 활용하여 실무에 적용해볼 수 있습니다.