Upstage와 함께 하는 글로벌 OpenLLM
리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning

  • 글로벌 AI 스타트업 UPSTAGE가
    알려주는 허깅페이스 오픈 LLM
    리더보드 글로벌 1위 달성 히스토리

  • 주요 LLM 논문 및 Ko-LLM
    상위 모델링 리뷰를 통한
    LLM 연구 동향 파악하기

  • UPSTAGE의 LLM 모델을
    구축하기 위한 파이프라인을 이해하고
    나만의 모델로 파인튜닝하기

코스 프로모션 배너 전용입니다.
0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

Chat GPT 등장 이후 더욱더 가속화되고 있는
글로벌 IT 기업들 간 대규모 언어모델 (LLM) 경쟁

대규모 언어모델 경쟁

AI 분야에서 LLM 의 중요성이 커짐에 따라
최근 등장하는 대부분의 AI 논문들이 LLM에 초점을 맞추고 있습니다.

LLM 논문


이렇게 수 많은 논문 속에서 LLM 의 트렌드를 파악하고
나만의 모델을 잘 개발하기 위해 어떤 논문들을 살펴보고 리뷰해야할까요?


글로벌 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’ 평가 점수에서 GPT-3.5를 넘어
글로벌 1위를 달성한 Upstage의 SOLAR 모델

허깅페이스 오픈 LLM 리더보드 세계 1위
업스테이지 Open LLM Leaderboard

AI 분야에서 선두를 달리고 있는 업스테이지에서
글로벌 리더보드에서 1위를 달성한 LLM 모델 히스토리와 함께 LLM 모델 제작 파이프라인 구축 노하우를 직접 알려줍니다.

글로벌 1위의 Upstage가 알려주는 LLM 개발 노하우

POINT 1

Upstage LLM 모델 SOLAR 개발 히스토리와
함께 들어보는 생생한 글로벌 1위 점령기
Upstage의 LLM인 SOLAR 모델의 제작 파이프라인을 이해하고,
글로벌 Huggingface OpenLLM 리더보드에서 1위를 할 수 있었던
비결을 직접 들어봅니다
업스테이지 솔라

도메인 특화와 최적화에 초점을 맞춘 Private LLM
글로벌 생성 AI 활용 플랫폼 ‘Poe’ 메인모델 선정

LLM 모델 제작 파이프라인 구축 이해
private-LLM 모델을 이해하고, 직접 LLM 모델을 구축하기 위한 파이프라인 살펴보기

LLM 파이프라인

POINT 2

핵심 LLM 논문 리뷰
& LLM 연구 동향 파악하기
전반적인 LLM 프로젝트의 Lifecycle에 대해 살펴보고,
최근 연구 되고 있는 주요 LLM 논문 선별 및 리뷰

Data 알아보기
대규모 원시 말뭉치의 필요성을 알고, 대표적으로 어떠한 데이터가 존재하는지 알 수 있습니다.
또한 대규모 원시 말뭉치의 전처리로써 Deduplication의 필요성과 그 방법을 익힙니다

대규모 원시 말뭉치 논문

Foundation Model 알아보기
Foundation model의 의미를 알고, Foundation model로
많이 활용되는 자연어 거대 생성 모델들의 기반 원리를 이해합니다.

LLM Foundation Model 논문

Model Customization 방법 알아보기
Foundation model을 Customization하기 위한 대표적 방법론인 Prompt Engineering과 PEFT를 이해합니다.
그리고 이를 바탕으로한 LLM의 대표적 응용 예시들을 알아봅니다.

LLM Model Customization 논문

Evaluation Metrics & Benchmark
자연어 생성모델을 평가하기 위한 평가지표인 Perplexity를 이해하고,
주요 활용되는 LLM Benchmark를 소개합니다.

POINT 3

LLM 모델 Fine-tuning
& 리더보드 실습
7B 등 모델을 바탕으로 LLM 모델 Fine-tuning을 통해
나만의 Model을 제작해보고, LLM 리더보드에 직접 올려봅니다.
Ko LLM 리더보드

“나만의 LLM Model 개발 & Finetuning 을 통한 LLM 리더보드 실습”

LLM 파인튜닝 실습

POINT 4

글로벌 AI 기업 Upstage 김성훈 대표와
LLM 전문가가 직접 알려주는 논문 리뷰와 노하우
글로벌 AI 기업 Upstage의 김성훈 대표와 LLM 전문가가
직접 알려주는 LLM 모델과 핵심 논문 리뷰 이야기
허깅페이스 LLM 리더보드 세계 1위

수많은 국내 엔지니어 분들이 LLM 기술에 대해 보다 더 잘 이해하고 엔지니어로서 한층 더 성장할 수 있는 발판을 만들고 싶어
LLM을 이해하고 기술을 발휘하는 노하우를 이 강의를 통해 직접 알려주고자 합니다.

어떤 분들이 수강하시면 좋을까요?

Question.1
필요한 선수지식
· 기본적인 NLP 지식 및 언어모델에 대한 이해가 필요합니다.
· Pytorch 프레임워크와 Hugging Face 사용법 이해가 필요합니다.
· Python 언어에 대한 이해가 필요합니다.
· LLM 기반 기술인 기계학습 기본개념, 알고리즘, 모델훈련
  및 평가 방법에 대한 이해가 필요합니다.
· 대규모 데이터 셋 다루고 분석하기 위해 데이터 과학 및 분석 개념과
  도구에 대한 이해가 필요합니다.
Question.2
개발환경
· Pytorch & Hugging Face
· Python
· Colab 및 Colab Pro

커리큘럼

Part 1. OpenLLM 1위, 모델 제작 히스토리 파헤치기

Part2. LLM 모델링 최신 트렌드 이해하기

Part3. LLM Fine-tuning 및 Ko-LLM 리더보드 실습

  • 상세 커리큘럼.
    자세한 커리큘럼 및 내용은 여기서 확인하세요!

    자세히 보기 »

이 강의도 추천해요.
패스트캠퍼스 LLM 강의