PyTorch를 활용한 자연어처리 심화 CAMP

이번 기수는 모집이 마감되었습니다.
출시알림을 신청해주시면,
특별한 혜택과 함께 가장 먼저
다음 기수 모집 소식을 알려드리겠습니다. 감사합니다.

출시알림 신청하기

‘자연어처리X딥러닝’ 시작의 첫 걸음!
강의 듣고! 책도 받아 가자!

강사님 저서 <김기현의 자연어처리 딥러닝 캠프>가 출간되었습니다!
수강을 확정하신 분들께는 개강 첫날, 책 무료 제공이 있을 예정입니다.

강의목표.

기본적인 Classification을 넘어
번역, 요약, 문장 생성에 필요한 알고리즘 이해를 시작으로,

언어 모델등을 구현하는 실습을 통해
상품화 가능한 수준의 자연어처리 역량을 길러가세요!

강의 개요

Natural Language Processing (자연어처리)는 사람의 언어를 이해하고 처리할 수 있도록 해 줍니다. 즉, 컴퓨터와 사람 사이의 인터페이스를 연결해 주는 기술로서, 실제 필드에서 필요성이 높은 분야이기도 합니다. 하지만, 기본적인 Classification이 아닌 실제 서비스(번역, 요약, 챗봇 등)를 상용화하기 위해 필요한 딥러닝 알고리즘, 언어모델, 강화학습 등 심화된 내용에 대해 제대로 배울 수 있는 자료는 턱없이 부족합니다.

그래서 만들게된 본 강의는 NLP의 정점에 있는 최신 모델에 대한 깊이있는 커리큘럼 구성과 실무를 방불케하는 실습으로 구성되어 있습니다. 이 모든 내용은 기계번역, NLP의 분야의 전문가이신 현업 강사님이 진행하시기 때문에 직접 해보지 않으면 알 수 없는 생생한 노하우도 함께 얻어가실 수 있습니다.

강의 특징

Seq2Seq 모델 완벽 이해

자연어처리 분야의 핵심 딥러닝 기술인 Seque2Seq 모델과 관련된 이론에 대해 깊이있게 다룹니다. 또한 기계번역, NLP의 분야에서 전문가이신 강사님과 함께 실제 상품화가 가능한 수준의 실습(Machine Translation 또는 Summarization)을 통해 seq2seq의 실무 활용 방법에 대해 익힙니다.

NLG의 근간, 언어모델 구현

language Modeling(언어모델)은 그 자체로서 활용도 뿐만 아니라, 기계번역과 음성인식, OCR, 그리고 Natural Language Generation (NLG)에 있어서도 매우 중요한 역할을 차지 합니다. 본 강의에서는 언어모델의 이론에 대해 깊이있게 이해하고, 직접 언어 모델링을 실습합니다.

자연어 처리에 강화학습 적용

NLP를 실제 서비스에 적용하고 차별화 하기 위해서는, 성능을 보다 높이고 다양한 objective에 대해서 학습시켜야 할 필요성이 있습니다. 본 강의에서는 Non-differentiable objective function 이나 Adversarial learning 활용한 NLP 성능 향상과 관련된 강화학습에 대해 이론과 실습을 통해 가르쳐드립니다.

커리큘럼

Part 1. 자연어처리 소개

1주차 : 자연어처리 소개 & 자연어처리 전처리 세션 1.
▶ 자연어처리의 흐름을 살펴보고 파이토치를 활용하여 간단히 실습을 해봅니다.
왜 자연어처리는 어려울까? : 전반적인 자연어처리의 어려움에 대해 다룹니다.
한국어 자연어처리는 왜 더 어려울까? : 한국어의 특성으로 인한 자연어처리의 어려움에 대해 다룹니다.
딥러닝을 활용하 자연어처리의 역사 :그동안의 자연어처리 연구에 대해 소개합니다.

세션 2.
▶ 자연어처리 실무에서 가장 중요한 전처리에 대해 다룹니다.
수집과 정제 : 코퍼스 수집과 정제에 대해 알아봅니다.
문장 분절과 단어 분절, BPE 분절 : 오픈 라이브러리를 활용한 분절 방법에 대해 소개합니다.
병렬 코퍼스 만들기 : 기계번역을 훈련하기 위한 병렬 코퍼스를 만드는 방법을 소개 합니다.

Part 2. 자연어 생성

2주차 : 언어모델에 대한 이해 & 기계번역을 통한 Seq2Seq 이해 세션 3.
▶ 자연어생성의 토대가 되는 언어모델에 대해 소개하고 그 개념을 자세히 들여다 봅니다.
언어모델 소개 : 언어모델의 기본 개념에 대해 소개합니다.
n-gram과 perplexity : 기존의 언어모델링 기법과 언어모델의 성능을 측정하는 방법을 알아봅니다.
희소성(sparsity) 해소를 위한 기법 소개 : 자연어의 특성으로 인한 한계 및 이를 해소하고자 하는 여러 기법을 소개합니다.
뉴럴네트워크 언어 모델링 : 딥러닝을 통해 기존의 어려움을 돌파하는 Neural Language Model에 대해 이야기 합니다.
활용 분야 소개 : 언어모델의 다양한 활용 방법을 소개합니다.

세션 4.
▶ 기계번역을 통해 자연어생성과 Sequence-to-Sequence를 이해합니다.
기계번역 소개 : 자연어처리의 꽃 기계번역을 소개합니다.
Sequence-to-Sequence 이해하기 : 자연어생성의 핵심 알고리즘 Seq2Seq를 소개 합니다.
Attention 깊게 제대로 이해하기 : 다양한 예와 설명을 통해 Attention을 깊이있게 이야기하고 이해합니다.
Auto-regressive 속성과 Teacher-forcing 이해하기 : 자연어생성의 속성에 대해 살펴보고, 이로 인한 한계를 논의해봅니다.

Part 3. 자연어 생성 심화

3주차 : 트랜스포머를 통한 성능 고도화 & 기계번역 심화 주제 학습 세션 5.
▶ 자연어처리에서 가장 뛰어난 성능을 보여주는 트랜스포머에 대해 배웁니다.
Multi-head Attention : Seq2seq의 attention에서 발전한 Multi-head attention을 이야기합니다.
Self-Attention과 Masking : Masking을 통해 auto-regressive속성을 다루는 방법에 대해 소개합니다.
Block을 쌓아 Encoder & Decoder 만들기 : 앞서 다룬 내용을 통해 만든 블럭을 쌓아 트랜스포머를 구성합니다.
Position Encoding : RNN과 달리 위치 정보를 추가적으로 인코딩 하는 방법을 이야기합니다.

세션 6.
▶ 기계번역의 성능을 향상시키기 위한 다양한 방법을 소개합니다.
추론 방법과 성능 평가 방법 : 자연어의 특성에 따른 기계번역 성능 평가 방법을 소개 합니다.
Mini-batch Parellelized Beam-search 이해하기 : 추론 성능과 속도 두마리 토끼를 잡기 위한 빔서치 방법을 소개 합니다.
Multilingual Machine Translation : 하나의 모델에 여러 언어를 넣는 방법을 이야기합니다.
Monolingual Corpora를 활용한 기계번역 성능 향상 : 단방향 코퍼스를 활용하여 기계번역의 성능을 향상시키는 방법을 소개합니다.
Auto-regressive 속성과 Teacher-forcing 이해하기 : 자연어생성의 속성에 대해 살펴보고, 이로 인한 한계를 논의해봅니다.

4주차 : 기계번역 실습 세션 7.
▶ 실전 수준의 기계번역 코드를 자세히 소개하고 실습 후 코드리뷰를 진행합니다.
Sequence-to-Sequence 코드 실습 : Encoder, Decoder, Attention 코드 line-by-line 리뷰
Transformer 코드 실습 : Transformer의 코드 line-by-line 리뷰
Mini-batch Parallelized Beam-search 코드 실습 : 실전 수준의 추론을 위한 beam-search 코드 리뷰

(세션 7의 실습은 5주차에도 일부 이어서 진행합니다)

Part 4. 자연어 생성 성능 고도화시키기

5주차 : 강화학습을 활용한 자연어 생성 세션 8.
▶ 강화학습을 통해 샘플링 기반의 자연어생성 학습 방법을 이해해 봅니다.
강화학습 소개 : 강화학습의 기본 개념을 이해하고, 다양한 방법들을 소개합니다.
폴리시 그래디언트(Policy Gradient) 소개 : 자연어생성에 사용될 강화학습 알고리즘의 개념을 자세히 이해합니다.
자연어생성에서의 강화학습의 특성 : 자연어의 속성에 따른 강화학습을 적용할 때 특성들을 소개합니다.
강화학습을 활용한 자연어 생성 성능 극대화 방법 소개 : 강화학습을 통해 자연어생성 및 기계번역의 성능을 극대화 하는 방법을 알아봅니다.

6주차 : 강화학습을 활용한 자연어 생성 실습 & 듀얼리티(Duality)를 활용한 자연어 생성 세션 9.
▶ 강화학습의 공식을 실제 코드로 옮겨보는 과정을 실습합니다.
Minimum Risk Training (MRT) 실습 : MRT를 기계번역에 적용한 코드를 line-by-line 리뷰 하고, 향상된 성능을 살펴봅니다.

세션 10.
▶ 강화학습의 비효율성을 보완한 듀얼리티의 활용법을 알아봅니다.
Duality 개념 소개 : 머신러닝에 존재하는 듀얼리티 개념을 소개합니다.
Dual Supervised Learning (DSL) 소개 : 기계번역에 듀얼리티를 적용하여 성능을 향상시키는 방법을 이야기합니다.
Dual Unsupervised Learning (DUL) 소개 : 단방향 코퍼스에 듀얼리티를 활용하여 기계번역의 성능을 향상시키는 방법을 소개합니다.
Back Translation의 재해석 : 듀얼리티 관점에서 기존의 back-translation을 재해석 해 봅니다.

7주차 : 듀얼리티(Duality)를 활용한 자연어 생성 실습 & 요약 및 정리 세션 11.
▶ 듀얼리티의 공식을 실제 코드로 옮겨보는 과정을 실습합니다.
Dual Supervised Learning 실습 : DSL을 기계번역에 적용한 코드를 line-by-line 리뷰 하고, 향상된 성능을 살펴봅니다.

세션 12.
▶ 7주동안 수고하셨습니다! 7주 동안의 강의에 대해 전체적으로 요약하고 정리해 봅니다.

강의에 대한 전반적인 소개를 한 눈에 보고 싶다면? 교육 과정 소개서를 확인해주세요!

* 본 소개서는 회사 제출용으로도 사용 가능합니다.

교육과정 소개서 다운받기

강사 소개

김기현 강사님

현재 MakinaRocks에서 NLP 딥러닝 연구/개발을 맡고 있습니다. 딥러닝 이전 밑바닥부터 다져온 NLP에 대한 핵심 경험들과 필요성에 대해 이야기하고, 자연어처리에 필요한 딥러닝의 주요 모델부터 PYTORCH 활용법, 자연어처리의 기본 개념까지 이해하기 쉽게 가르쳐 드리겠습니다.

약력

– 現 마키나락스 수석연구원 (이상탐지 및 생성 모델 학습 연구/개발)
– 前 SK플래닛 머신인텔리전스랩 (신경망 기계번역 연구/개발 및 상용화 , SK플래닛 SUPEX 수상)
– 前 티켓몬스터 데이터랩 (추천시스템 및 자연어처리 시스템 개발 및 상용화)
– 前 한국전자통신연구원(ETRI) 자동 통역 연구실
(자동 통역(음성인식 및 언어모델) 연구/개발 및 상용화)
(특허기술상(특허청) 충무공상 : 자동통역시스템 발명)
– Qualcomm R&D Korea 인턴 및 표창
– Stony Brook University 컴퓨터공학과 학사/석사
– 한국정보올림피아드(KOI) 19회 동상, 20회 장려상
– 머신러닝 관련 다수 특허 등록

[강의 경험]
– 패스트캠퍼스 PyTorch를 활용한 자연어처리 심화 CAMP 강의
– 패스트캠퍼스 자연어처리를 위한 딥러닝 CAMP
– KT 및 KTDS 자연어처리 강의
– SK그룹 기계번역 강의
– 유튜브 모두의 딥러닝 시즌2 PyTorch 강의 참여

강사님 인터뷰 보기

수강 후기

심화 과정을 통해 자연어처리 실무에서 고민하며 쌓은 노하우를 배울 수 있어 좋았습니다.

심화를 수강하면서 느꼈던 점은 입문과는 달리, 자연어처리의 발전사를 지켜보며 실무에서 오랜기간 고민하셨던 노하우를 그대로 경험할 수 있다는 사실이었습니다. 수강생분들 중에도 현업의 많은 실무자분들이 참여하셨었는데요. 자연어처리의 기본적인 전처리 세부사항, 파이토치 기초, Language model부터 최신의 seq2seq, neural machine translation까지 실무가 바탕이 된 이론적인 내용을 숙지할 수 있었습니다. 또, 강사님이 실제 프로젝트에 사용하시던 코드들도 한 줄 한 줄 그 의미를 설명해주셔서 이해하는데 큰 도움이 되었습니다.

인터뷰 보러가기

강의장 안내

유의사항 및 환불 규정

유의사항 - 모든 패스트캠퍼스 오프라인 파트타임 교육은 개강 전일 18시에 모집이 마감됩니다.
- 상황에 따라 사전 공지 없이 모집이 조기 마감되거나 할인이 연장될 수 있습니다.
- 수강 인원 확인을 위하여, 즉시 결제가 어려운 경우에도 반드시 수강신청을 먼저 진행해주시기 바랍니다.
- 수강생의 결석이나 지각 등으로 발생한 손해에 대해서는 별도의 보상을 제공하지 않습니다.

환불규정 * 다음과 같은 사유 등으로 인해 강의가 폐강될 수 있으며, 폐강 시 학원법에 따라 반환 사유 발생일로부터 5 영업일 이내에 수강료를 환불해드립니다.
- 모집된 수강인원이 10명 이하일 경우
- 강사의 갑작스러운 사고 및 건강 상의 이유
- 천재지변 : 위의 사유로 강의가 폐강될 경우, 학원법 제 18조에 따라 오프라인 강의 취소/환불 정책을 준용하여 환불 처리되며, 모객 부진으로 폐강 시에는 최소 개강일로부터 7일 전에는 폐강 여부를 안내해드립니다.

* 총 수강기간 1개월 이내 기준 취소 및 환불 규정 안내
- 환불금액은 정가가 아닌 실제 결제금액을 기준으로 계산됩니다.
- 수업 시작 전 환불 신청 시 전액 환불됩니다.
- 수강 시작 후 환불 신청 시 하기 수업 시수를 기준으로 학원법 환불규정에 따라 환불 가능합니다.
: 환불요청일시 기준 수업시수 1/3 경과 전 : 수강료 2/3 환불
: 환불요청일시 기준 수업시수 1/2 경과 전 : 수강료 1/2 환불
: 환불요청일시 기준 수업시수 1/2 경과 후 : 환불금액 없음

* 기타 환불 관련 안내
- 환불 의사를 밝힌 다음날부터 계산하여 환불합니다.
- 환불금액은 수업시간을 기준(반올림)으로 산정합니다.
- 환불금액의 10원 미만은 절삭합니다.
- 반환 사유 발생 시 5 영업일 이내 환불됩니다.
: PG사와 카드사의 상황에 따라 환불이 지연될 수 있습니다
- 1개월 산정 기준은 민법 제 160조(역에 의한 계산)을 적용합니다.
: 실제 일수와 상관없이 수업시작일이 3월 7일인 경우, 1개월은 4월 6일까지 입니다.
: 단, 수업 시작일이 1월 31일인 경우, 1개월은 월의 말일인 2월 28일까지 입니다.

Fast Campus