PyTorch를 활용한
자연어처리 심화
CAMP

NLP의 딥러닝 적용 핵심과
응용을 온전히 이해하고,
남들보다 먼저 자연어 생성(NLG)으로
나아갈 준비를 하세요!

#심화실전강의 #언어모델구현실습

#현업전문가와조교의밀착지도 #NLG학습

PyTorch를 활용한
자연어처리 심화
CAMP

NLP의 딥러닝 적용 핵심과 응용을 온전히 이해하고,
남들보다 먼저 자연어 생성(NLG)으로 나아갈 준비를 하세요!

#심화실전강의 #언어모델구현실습 #현업전문가와조교의밀착지도 #NLG학습

기간 & 일정

2019.11.16 ~ 2020.1.11
(12/14, 12/28 휴강)
매주 토요일 10:00 ~ 13:00
주 1회, 총 21시간

장소 & 준비물

패스트캠퍼스 강남 본원
개인 노트북

담당자 & 문의

02-501-9396
help-ds@fastcampus.co.kr

기본적인 Classification을 넘어
번역, 요약, 문장 생성에 필요한 알고리즘 이해를 시작으로,

언어 모델등을 구현하는 실습을 통해
상품화 가능한 수준의 자연어처리 역량을 길러가세요!

강의 개요.

Natural Language Processing (자연어처리)는 사람의 언어를 이해하고 처리할 수 있도록 해 줍니다. 즉, 컴퓨터와 사람 사이의 인터페이스를 연결해 주는 기술로서, 실제 필드에서 필요성이 높은 분야이기도 합니다. 하지만, 기본적인 Classification이 아닌 실제 서비스(번역, 요약, 챗봇 등)를 상용화하기 위해 필요한 딥러닝 알고리즘, 언어모델, 강화학습 등 심화된 내용에 대해 제대로 배울 수 있는 자료는 턱없이 부족합니다.

그래서 만들게된 본 강의는 NLP의 정점에 있는 최신 모델에 대한 깊이있는 커리큘럼 구성과 실무를 방불케하는 실습으로 구성되어 있습니다. 이 모든 내용은 기계번역, NLP의 분야의 전문가이신 현업 강사님이 진행하시기 때문에 직접 해보지 않으면 알 수 없는 생생한 노하우도 함께 얻어가실 수 있습니다.

# 매 강의는 이론 강의와 실습으로 구성됩니다.
# 중식은 패스트캠퍼스에서 제공합니다.

강의 특징.

icon_knowhow

Seq2Seq 모델 완벽 이해

자연어처리 분야의 핵심 딥러닝 기술인 Seque2Seq 모델과 관련된 이론에 대해 깊이있게 다룹니다. 또한 기계번역, NLP의 분야에서 전문가이신 강사님과 함께 실제 상품화가 가능한 수준의 실습(Machine Translation 또는 Summarization)을 통해 seq2seq의 실무 활용 방법에 대해 익힙니다.

icon_project

NLG의 근간, 언어모델 구현

language Modeling(언어모델)은 그 자체로서 활용도 뿐만 아니라, 기계번역과 음성인식, OCR, 그리고 Natural Language Generation (NLG)에 있어서도 매우 중요한 역할을 차지 합니다. 본 강의에서는 언어모델의 이론에 대해 깊이있게 이해하고, 직접 언어 모델링을 실습합니다.

icon_learningcurve

자연어 처리에 강화학습 적용

NLP를 실제 서비스에 적용하고 차별화 하기 위해서는, 성능을 보다 높이고 다양한 objective에 대해서 학습시켜야 할 필요성이 있습니다. 본 강의에서는 Non-differentiable objective function 이나 Adversarial learning 활용한 NLP 성능 향상과 관련된 강화학습에 대해 이론과 실습을 통해 가르쳐드립니다.

커리큘럼.

PART 1. 자연어처리 소개

1주차 : 자연어처리 소개 & 자연어처리 전처리

세션 1.
▶ 자연어처리의 흐름을 살펴보고 파이토치를 활용하여 간단히 실습을 해봅니다.
왜 자연어처리는 어려울까? : 전반적인 자연어처리의 어려움에 대해 다룹니다.
한국어 자연어처리는 왜 더 어려울까? : 한국어의 특성으로 인한 자연어처리의 어려움에 대해 다룹니다.
딥러닝을 활용하 자연어처리의 역사 :그동안의 자연어처리 연구에 대해 소개합니다.

세션 2.
▶ 자연어처리 실무에서 가장 중요한 전처리에 대해 다룹니다.
수집과 정제 : 코퍼스 수집과 정제에 대해 알아봅니다.
문장 분절과 단어 분절, BPE 분절 : 오픈 라이브러리를 활용한 분절 방법에 대해 소개합니다.
병렬 코퍼스 만들기 : 기계번역을 훈련하기 위한 병렬 코퍼스를 만드는 방법을 소개 합니다.

PART 2. 자연어 생성

2주차 : 언어모델에 대한 이해 & 기계번역을 통한 Seq2Seq 이해

세션 3.
▶ 자연어생성의 토대가 되는 언어모델에 대해 소개하고 그 개념을 자세히 들여다 봅니다.
언어모델 소개 : 언어모델의 기본 개념에 대해 소개합니다.
n-gram과 perplexity : 기존의 언어모델링 기법과 언어모델의 성능을 측정하는 방법을 알아봅니다.
희소성(sparsity) 해소를 위한 기법 소개 : 자연어의 특성으로 인한 한계 및 이를 해소하고자 하는 여러 기법을 소개합니다.
뉴럴네트워크 언어 모델링 : 딥러닝을 통해 기존의 어려움을 돌파하는 Neural Language Model에 대해 이야기 합니다.
활용 분야 소개 : 언어모델의 다양한 활용 방법을 소개합니다.

세션 4.
▶ 기계번역을 통해 자연어생성과 Sequence-to-Sequence를 이해합니다.
기계번역 소개 : 자연어처리의 꽃 기계번역을 소개합니다.
Sequence-to-Sequence 이해하기 : 자연어생성의 핵심 알고리즘 Seq2Seq를 소개 합니다.
Attention 깊게 제대로 이해하기 : 다양한 예와 설명을 통해 Attention을 깊이있게 이야기하고 이해합니다.
Auto-regressive 속성과 Teacher-forcing 이해하기 : 자연어생성의 속성에 대해 살펴보고, 이로 인한 한계를 논의해봅니다.

PART 3. 자연어 생성 심화

3주차 : 트랜스포머를 통한 성능 고도화 & 기계번역 심화 주제 학습

세션 5.
▶ 자연어처리에서 가장 뛰어난 성능을 보여주는 트랜스포머에 대해 배웁니다.
Multi-head Attention : Seq2seq의 attention에서 발전한 Multi-head attention을 이야기합니다.
Self-Attention과 Masking : Masking을 통해 auto-regressive속성을 다루는 방법에 대해 소개합니다.
Block을 쌓아 Encoder & Decoder 만들기 : 앞서 다룬 내용을 통해 만든 블럭을 쌓아 트랜스포머를 구성합니다.
Position Encoding : RNN과 달리 위치 정보를 추가적으로 인코딩 하는 방법을 이야기합니다.

세션 6.
▶ 기계번역의 성능을 향상시키기 위한 다양한 방법을 소개합니다.
추론 방법과 성능 평가 방법 : 자연어의 특성에 따른 기계번역 성능 평가 방법을 소개 합니다.
Mini-batch Parellelized Beam-search 이해하기 : 추론 성능과 속도 두마리 토끼를 잡기 위한 빔서치 방법을 소개 합니다.
Multilingual Machine Translation : 하나의 모델에 여러 언어를 넣는 방법을 이야기합니다.
Monolingual Corpora를 활용한 기계번역 성능 향상 : 단방향 코퍼스를 활용하여 기계번역의 성능을 향상시키는 방법을 소개합니다.

4주차 : 기계번역 실습

세션 7.
▶ 실전 수준의 기계번역 코드를 자세히 소개하고 실습 후 코드리뷰를 진행합니다.
Sequence-to-Sequence 코드 실습 : Encoder, Decoder, Attention 코드 line-by-line 리뷰
Transformer 코드 실습 : Transformer의 코드 line-by-line 리뷰
Mini-batch Parallelized Beam-search 코드 실습 : 실전 수준의 추론을 위한 beam-search 코드 리뷰

(세션 7의 실습은 5주차에도 일부 이어서 진행합니다)

PART 4. 자연어 생성 성능 고도화시키기

5주차 : 강화학습을 활용한 자연어 생성

세션 8.
▶ 강화학습을 통해 샘플링 기반의 자연어생성 학습 방법을 이해해 봅니다.
강화학습 소개 : 강화학습의 기본 개념을 이해하고, 다양한 방법들을 소개합니다.
폴리시 그래디언트(Policy Gradient) 소개 : 자연어생성에 사용될 강화학습 알고리즘의 개념을 자세히 이해합니다.
자연어생성에서의 강화학습의 특성 : 자연어의 속성에 따른 강화학습을 적용할 때 특성들을 소개합니다.
강화학습을 활용한 자연어 생성 성능 극대화 방법 소개 : 강화학습을 통해 자연어생성 및 기계번역의 성능을 극대화 하는 방법을 알아봅니다.

6주차 : 강화학습을 활용한 자연어 생성 실습 & 듀얼리티(Duality)를 활용한 자연어 생성

세션 9.
▶ 강화학습의 공식을 실제 코드로 옮겨보는 과정을 실습합니다.
Minimum Risk Training (MRT) 실습 : MRT를 기계번역에 적용한 코드를 line-by-line 리뷰 하고, 향상된 성능을 살펴봅니다.

세션 10.
▶ 강화학습의 비효율성을 보완한 듀얼리티의 활용법을 알아봅니다.
Duality 개념 소개 : 머신러닝에 존재하는 듀얼리티 개념을 소개합니다.
Dual Supervised Learning (DSL) 소개 : 기계번역에 듀얼리티를 적용하여 성능을 향상시키는 방법을 이야기합니다.
Dual Unsupervised Learning (DUL) 소개 : 단방향 코퍼스에 듀얼리티를 활용하여 기계번역의 성능을 향상시키는 방법을 소개합니다.
Back Translation의 재해석 : 듀얼리티 관점에서 기존의 back-translation을 재해석 해 봅니다.

7주차 : 듀얼리티(Duality)를 활용한 자연어 생성 실습 & 요약 및 정리

세션 11.
▶ 듀얼리티의 공식을 실제 코드로 옮겨보는 과정을 실습합니다.
Dual Supervised Learning 실습 : DSL을 기계번역에 적용한 코드를 line-by-line 리뷰 하고, 향상된 성능을 살펴봅니다.

세션 12.
▶ 7주동안 수고하셨습니다! 7주 동안의 강의에 대해 전체적으로 요약하고 정리해 봅니다.

강의에 대한 전반적인 소개를 한 눈에 보고 싶다면? 교육 과정 소개서를 확인해주세요!
* 본 소개서는 회사 제출용으로도 사용 가능합니다.

추천 대상.

– PyTorch를 활용한 자연어 처리 실무를 체계적으로 배우고 싶은 분
– 기존의 Text Classification을 넘어 Natural Language Generation에 관심을 가지고 있는 분
– 현업에서 딥러닝을 활용해 자연어처리를 하고 있으나 퍼포먼스가 좋지 않아, 성능을 향상하는 법을 배우고 싶은 분

필독! 수강 전 지식.

아래 내용에 2개 이상 해당하는 분들이 원활하게 들으실 수 있는 수업입니다.
자세한 상담을 원하시면 담당 매니저에게 연락해주세요.

PyTorch, TensorFlow, Keras 등의 딥러닝 프레임워크로 간단한 프로젝트를 해본 적이 있다. (e.g. 텍스트 분류)
기본적인 자연어처리(Word Embedding, Text Classification 등)에 대한 내용을 알고 있다.
LSTM과 GRU 사이의 차이점과 기존 RNN과의 차이점을 말할 수 있다.
연속 랜덤 변수와 이산 랜덤 변수의 차이를 말할 수 있다.
ⓔ 조건부 확률 분포와 주변 확률 분포(marginal probability distribution)에 대해 알고 있다.

강사 소개.

현재 MakinaRocks에서 NLP 딥러닝 연구/개발을 맡고 있습니다. 딥러닝 이전 밑바닥부터 다져온 NLP에 대한 핵심 경험들과 필요성에 대해 이야기하고, 딥러닝과 접목하여 다양한 사례에 적용 및 최신 기계번역을 연구/개발하며 얻은 노하우를 전달하고자 합니다.

김기현

강사 김기현

[약력]
– 現 마키나락스 수석연구원 (이상탐지 및 생성 모델 학습 연구/개발)
– 前 SK플래닛 머신인텔리전스랩 (신경망 기계번역 연구/개발 및 상용화 , SK플래닛 SUPEX 수상)
– 前 티켓몬스터 데이터랩 (추천시스템 및 자연어처리 시스템 개발 및 상용화)
– 前 한국전자통신연구원(ETRI) 자동 통역 연구실
(자동 통역(음성인식 및 언어모델) 연구/개발 및 상용화)
(특허기술상(특허청) 충무공상 : 자동통역시스템 발명)
– Qualcomm R&D Korea 인턴 및 표창
– Stony Brook University 컴퓨터공학과 학사/석사
– 한국정보올림피아드(KOI) 19회 동상, 20회 장려상
– 머신러닝 관련 다수 특허 등록

[강의 경험]
– 패스트캠퍼스 PyTorch를 활용한 자연어처리 심화 CAMP 강의
– 패스트캠퍼스 자연어처리를 위한 딥러닝 CAMP
– KT 및 KTDS 자연어처리 강의
– SK그룹 기계번역 강의
– 유튜브 모두의 딥러닝 시즌2 PyTorch 강의 참여

캡처

수강생 분들에게는 곧 출간될 강사님의 서적을
무료로 제공해 드립니다!

[김기현의 자연어 처리 딥러닝 캠프] 저자가 가르치는
강의를 놓치지 마세요!

학습조교 소개.

조교2

학습 조교 김광우

[ 약력 ]

– 現 GS SHOP AI센터 빅데이터 플랫폼, 검색 추천 및 분석환경 개발 운영
– SK C&C Data Platform팀 SK Hynix 실시간 분석 환경 구축 프로젝트
– Ticket monster DataLab 빅데이터 및 추천 시스템 운영 및 개발

수강생 후기.

심화를 수강하면서 느꼈던 점은 입문과는 달리, 자연어처리의 발전사를 지켜보며 실무에서 오랜기간 고민하셨던 노하우를 그대로 경험할 수 있다는 사실이었습니다. 수강생분들 중에도 현업의 많은 실무자분들이 참여하셨었는데요. 자연어처리의 기본적인 전처리 세부사항, 파이토치 기초, Language model부터 최신의 seq2seq, neural machine translation까지 실무가 바탕이 된 이론적인 내용을 숙지할 수 있었습니다. 또, 강사님이 실제 프로젝트에 사용하시던 코드들도 한 줄 한 줄 그 의미를 설명해주셔서 이해하는데 큰 도움이 되었습니다.

내 수준에 맞는 텍스트 분석 강의! 잘 모르겠다면?

아래의 관련 강의 정보 및 수강생 선수 지식을 확인해보세요!

학습 경험이 있는 머신러닝 알고리즘을 기반으로 단어/명사 추출, 품사 판별, 키워드 추출, 연관어 분석 등 텍스트 분석으로 확장하는 강의

 

강의 자세히 보기

딥러닝 기법을 익히고 RNN과 CNN을 활용하여 Sentiment Analysis, Language Detection, Topic Classification 등의 문서 분류를 구현하는 강의

 

강의 자세히 보기

주어진 텍스트 데이터로부터 문장을 생성하는 NLG(Natural Language Generation)를 기반으로 상품화가 가능한 수준의 자연어 처리 역량을 기르는 강의

 

강의 자세히 보기

머신러닝 알고리즘의 응용을 통해 데이터 특성에 맞는 알고리즘 개발. 즉, 자연어 처리를 위한 toolkit을 직접 개발할 수 있는 역량을 기르는 강의

 

강의 자세히 보기

{ FASTCAMPUS COMMUNITY MEMBERSHIP }

패스트캠퍼스 오프라인 강의를 수강하셨다면!
별도의 가입절차없이 패스트캠퍼스 커뮤니티 멤버쉽 회원이 됩니다.
커뮤니티 멤버쉽은 수강 후 1년 동안 유지되며,
오직 멤버들만을 위한 비공개 스터디클럽, 네트워킹행사, 세미나 등 비정기적 행사에 모실 예정입니다.

image_1@2x
image_3@2x
image_2@2x
image_4@2x
image_5@2x

수강료 안내.

정가 150만원

✓ 조기마감되었습니다.
다음 기수 출시알림을 신청해주세요!

강의장 안내.

학습 지원 프로젝트

공부도 하고! 학습지원금도 받고!

*학습지원금(제세공과금 22% 차감 후 지급)은 강의마다 개인마다 상이할 수 있습니다.

학습 목표. 학습노트 제출

매주 목요일 자정 24:00까지 [학습노트][데이터사이언스]_PyTorch를 활용한 자연어처리 심화 5기_N주차_성함 으로 메일제목을 설정하여 이메일로 과제를 제출합니다. 제출 시간을 엄수하지 못한 노트는 추후 환급에 불이익이 있습니다.

# 주차별 제출 기한
2주차 : 7월 25일(목) 자정
3주차 : 8월 15일(목) 자정
4주차 : 8월 22일(목) 자정
5주차 : 8월 29일(목) 자정
6주차 : 9월 5일(목) 자정
7주차 : 9월 12일(목) 자정

학습지원금을 받으려면?

미션을 모두 완료하면 신청페이지를 통해 신청 가능합니다.
다만, 강의 종료 후 30일 이내에 신청페이지를 통해서 신청해주셔야 합니다.
아래의 환급신청 링크로 신분증 사본 / 환급받을 통장사본을 제출 (반드시 본인 명의로만 가능)해 주세요.
결제한 수강료의 10% (환급 금액의 22% 제세공과금으로 차감) 를 드리며, 학습지원금은 개인마다 상이할 수 있습니다.

환불규정

* 학습지원금은 기수강생 및 얼리버드 할인과 중복 적용이 가능합니다. (기타 다른 이벤트와 중복 적용이 불가합니다.)
* 과제물이 허위로 작성되거나 표절일 경우 환급이 거절될 수 있습니다.
* 환불은 환불규정(https://www.fastcampus.co.kr/refund/)에 따라 진행됩니다. 규정에 의거하여 환불금액이 없을 수 있습니다.

자연어처리 심화 강의의 끝판왕!

전 기수 조기마감