PyTorch를 활용한
자연어처리 심화
CAMP.

Laptop Img 심화된 실전강의 Setting Img 언어모델 구현 실습 Mic Img 현업 전문가와 조교의 밀착지도
  • 기간

    2018년 10월 27일
    - 2018년 12월 15일
    총 7주
    휴강 1회 : 11월 10일

  • 일정

    매주 토요일
    10:00 -13:00
    매주 1회, 회당 3시간
    총 7회, 총 21시간

  • 장소

    패스트캠퍼스 강남강의장

  • 문의

    이샘 매니저
    02-518-4822
    help-ds
    @fastcampus.co.kr

강의 목표.

기본적인 Classification을 넘어 번역, 요약, 문장 생성에 필요한알고리즘을 이해하고, 언어 모델등을 구현하는 실습을 통해상품화 가능한 수준의 자연어처리 역량을 기르는 것.

강의 개요.

tural Language Processing (자연어처리)는 사람의 언어를 이해하고 처리할 수 있도록 해 줍니다. 즉, 컴퓨터와 사람 사이의 인터페이스를 연결해 주는 기술로서, 실제 필드에서 필요성이 높은 분야이기도 합니다. 하지만, 기본적인 Classification이 아닌 실제 서비스(번역, 요약, 챗봇 등)를 상용화하기 위해 필요한 딥러닝 알고리즘, 언어모델, 강화학습 등 심화된 내용에 대해 제대로 배울 수 있는 자료는 턱없이 부족합니다.

그래서 만들게된 본 강의는 NLP의 정점에 있는 최신 모델에 대한 깊이있는 커리큘럼 구성과 실무를 방불케하는 실습으로 구성되어 있습니다. 이 모든 내용은 기계번역, NLP의 분야의 전문가이신 현업 강사님이 진행하시기 때문에 직접 해보지 않으면 알 수 없는 생생한 노하우도 함께 얻어가실 수 있습니다.

# 매 강의는 이론 강의와 실습으로 구성됩니다.
# 중식은 패스트캠퍼스에서 제공합니다.

강의 특징.

icon_knowhow

Seq2Seq 모델 완벽 이해

자연어처리 분야의 핵심 딥러닝 기술인 Seque2Seq 모델과 관련된 이론에 대해 깊이있게 다룹니다. 또한 기계번역, NLP의 분야에서 전문가이신 강사님과 함께 실제 상품화가 가능한 수준의 실습(Machine Translation 또는 Summarization)을 통해 seq2seq의 실무 활용 방법에 대해 익힙니다.

icon_project

NLG의 근간, 언어모델 구현

language Modeling(언어모델)은 그 자체로서 활용도 뿐만 아니라, 기계번역과 음성인식, OCR, 그리고 Natural Language Generation (NLG)에 있어서도 매우 중요한 역할을 차지 합니다. 본 강의에서는 언어모델의 이론에 대해 깊이있게 이해하고, 직접 언어 모델링을 실습합니다.

icon_learningcurve

자연어 처리에 강화학습 적용

NLP를 실제 서비스에 적용하고 차별화 하기 위해서는, 성능을 보다 높이고 다양한 objective에 대해서 학습시켜야 할 필요성이 있습니다. 본 강의에서는 Non-differentiable objective function 이나 Adversarial learning 활용한 NLP 성능 향상과 관련된 강화학습에 대해 이론과 실습을 통해 가르쳐드립니다.

커리큘럼.

PART 1. Introduction to NLP

자연어처리 소개와 최근 동향을 살펴 봅니다.

자연어처리의 흐름을 살펴보고 파이토치를 활용하여 간단히 실습을 하여 봅니다.

1주차 
– Introduction to NLP with Deep Learning
– Hello, PyTorch

PART 2. 언어모델(Language Modeling)에 대한 이해

자연어생성(Natural Language Understanding)을 위한 초석, 언어모델

Language Modeling(언어모델)은 그 자체로서 활용도 뿐만 아니라, 기계번역과 음성인식, OCR, 그리고 Natural Language Generation (NLG)에 있어서도 매우 중요한 역할을 차지 합니다. 자연어처리에 필요한 전처리 방법과 함께 자연어생성의 근간이 되는 언어모델에 대해 배워봅시다.

2주차 
– 자연어처리에 필요한 전처리 방법, Preprocessing
– Language Modeling
– 딥러닝을 활용한 언어모델(Neural Language Model)

PART 3. NLP의 핵심 알고리즘, Sequence2Sequence

번역(Machine Translation) task에서의 실제 사례를 바탕으로, seq2seq 이해

Seq2seq를 통해 Natural Language Generation (NLG)에 대해 학습하고, 또한 실습을 통해 이와 같이 복잡한 architecture를 직접 구현하는 방법에 대해 실전 수준으로 학습하여 봅니다.

3주차

– 자연어생성의 핵심인 Sequence to Sequence에 대해 소개
– Attention에 대한 소개
– Seq2seq를 활용한 고급 NMT(Neural Machine Translation) 기법 소개

4주차

– Sequence to Sequence Exercise
– 실제 서비스 구현에 중요한 빔서치코드(Beam Search Exercise)를 살펴보기

PART 4. NLP의 성능향상, Dual Learning/ Reinforcement Learning 적용

성능 극대화를 위한 강화학습 적용

Non-differentiable objective function 이나 Adversarial learning을 통한 성능 향상을 하기 위해 RL의 이론과 실습을 통해 배웁니다.

5주차

– Reinforcement Learning Basics
– 자연어생성의 성능을 극대화 하기 위한 강화학습을 소개(Policy Gradients)
– 강화학습을 사용하여 번역의 성능을 향상시킨 방법들을 소개

 

Dual Learning on NLP

강화학습 이외의 또 다른 Duality라는 속성을 살펴보고 방법들을 소개합니다. 이를 기계번역에 적용한 코드를 학습합니다.

6주차

– 강화학습을 기계번역에 적용한 코드를 살펴보기Minimum Risk Training Exercise)
– Duality in Neural Machine Translation

7주차

– Dual Learning을 기계번역에 적용한 코드를 살펴보기(Dual Learning Exercise)
– Summary of Class

추천 대상.

– PyTorch를 활용한 자연어 처리 실무를 체계적으로 배우고 싶은 분
– 기존의 Text Classification을 넘어 Natural Language Generation에 관심을 가지고 있는 분
– 현업에서 딥러닝을 활용해 자연어처리를 하고 있으나 퍼포먼스가 좋지 않아, 성능을 향상하는 법을 배우고 싶은 분

사전 체크
리스트.

2개 이상 해당하시는 분들에게 적합한 강의입니다. 관련한 문의는 담당매니저에게 언제든 연락해주세요 🙂

ⓐ Objective function, Loss function, Gradient Descent, Cross-entropy, LSTM, GRU, Bi-directional LSTM 앞서 제시된 7개의 개념 중 4가지 이상 알고 있다.
ⓑ 기본적인 자연어처리(Word Embedding, Text Classification 등)에 대한 내용을 이해하고 코드를 돌려 본 경험이 있다.
ⓒ PyTorch, TensorFlow, Keras 등의 딥러닝 프레임워크 또는 NumPy를 사용해본 적이 있다.
ⓓ 리눅스 또는 맥의 터미널을 사용해보았다.

강사 소개.

김기현

강사 김기현

현재 MakinaRocks에서 NLP 딥러닝 연구/개발을 맡고 있습니다. 딥러닝 이전 밑바닥부터 다져온 NLP에 대한 핵심 경험들과 필요성에 대해 이야기하고, 딥러닝과 접목하여 다양한 사례에 적용 및 최신 기계번역을 연구/개발하며 얻은 노하우를 전달하고자 합니다.

[ 약력 ]

– 現 MakinaRocks Machine Learning Research Engineer
– 前 SKPlanet (기계번역 연구/개발)
– 前 Ticketmonster 근무(추천/NLP 연구/개발)
– 前 한국전자통신연구원(ETRI) 전문연구요원 복무(자동통역 연구/개발)
– 한국정보올림피아드(KOI) 수상

학습조교 소개.

nlp2

학습 조교 오상준

딥러닝을 통한 디지털 임상병리를 연구하고 있습니다.

[ 약력 ]

– 現 DeepBio 딥러닝 연구원 재직 중

수강생
후기.

심화를 수강하면서 느꼈던 점은 입문과는 달리, 자연어처리의 발전사를 지켜보며 실무에서 오랜기간 고민하셨던 노하우를 그대로 경험할 수 있다는 사실이었습니다. 수강생분들 중에도 현업의 많은 실무자분들이 참여하셨었는데요. 자연어처리의 기본적인 전처리 세부사항, 파이토치 기초, Language model부터 최신의 seq2seq, neural machine translation까지 실무가 바탕이 된 이론적인 내용을 숙지할 수 있었습니다. 또, 강사님이 실제 프로젝트에 사용하시던 코드들도 한 줄 한 줄 그 의미를 설명해주셔서 이해하는데 큰 도움이 되었습니다.

자주묻는
질      문.

심화말고, 자연어처리 관련 입문 강의는 없나요?

있습니다. 아래 내용을 확인해주세요.

1. 자연어 처리의 기본적인 개념과 머신러닝 알고리즘 활용 등 NLP 분야 입문을 위한 과정을 찾고 계신 분에게는 아래 강의를 추천합니다.
# 자연어 처리를 위한 머신러닝 CAMP : 머신러닝을 활용해 자연어 처리하는 방법을 배우는 10주 과정
강의 정보 확인하기 (click) >>

 

2. 자연어 처리의 기본적인 개념과 머신러닝 알고리즘 활용은 기본적으로 알고 있고, 딥러닝을 활용하는 기법이 궁금한 분에게는 아래 강의를 추천합니다.
# 자연어 처리를 위한 딥러닝 CAMP : 자연어 처리에 딥러닝을 적용하는 방법에 대해 기초부터 배우는 6주 과정
강의 정보 확인하기 (click) >>

수강료
안  내.

일반 등록가 : 150만 원

※ 할인가는 매주 목요일 자정에 변경됩니다.
※ 카드 12개월 무이자 할부 가능!

강의 장소.