어떤 분들이
수강하면 좋을까요?
올인원 패키지 : 논문 구현과 실습으로 배우는 NeRF
AI Paper
논문 구현과 실습으로 배우는
NeRF
-
3D 이미지 구현
적은 수의 2D 이미지만으로도 3D 이미지 구현이 가능한 NeRF
-
NeRF의 핵심 개념만 쏙쏙!
논문에서 핵심만 쏙쏙 리뷰하며 즉각적으로 코드 구현 및 실무 적용
-
Next level을 원하는 딥러너에게 필수!
실제 개발에 필요한 오픈소스 활용법부터 최신 알고리즘 이해를 통해 스킬 up
코스 프로모션 배너 전용입니다.
0일
0시간
0분
0초
코스 프로모션 배너 전용입니다.
(자동)
😎 NeRF로 구현 가능한 3D Vision World 😎
-
이탈리아 아비뇽 교황청 -
레고 피규어 -
가수 Benson Boone의 콘서트장 -
미국 뉴욕의 Soho 거리 -
스웨덴의 도시 말뫼의 도심 전경 -
스위스의 도시 바덴 -
영국 런던의 Minister Court
출처 : 트위터
“이 강의는 논문을 실무에 적용하며 어려움을 느낀 분들을 위한 강의입니다.”
실무에서 인공지능 프로덕트를 개발하며 문제를 겪고 있는
여러분을 위해 Empirical research paper의 내용을 기반으로 구성하였습니다.
논문 구현과 실습으로 인공지능 · 딥러닝 엔지니어들이 해결해야 하는
현업의 문제에 적용할 수 있게 논문을 리뷰하고 코드로 구현하는 콘텐츠를 제공해 드립니다.
핵심 트렌드와 논문의 아이디어를 통해
실제적인 연구 문제에 대한
다양한 해결방안을 제공합니다.
소스코드 템플릿까지 제공하여
손 쉽게 각자의 도메인에
핸즈온으로 적용이 가능합니다.
논문에 나오지 않은 실험까지 수행하여
논문에서 설명하고 있지 않는 부분에 대한
Key Insight와 학습 경험을 제공합니다.
컴퓨터 비전 현업 종사자들의 경력별 문제 상황
그러나 딥러닝 논문 코드 구현 공부를 하면?
이렇게 달라질 수 있습니다.
오픈소스를 현업에 적용하는 것 조차 어려운 주니어 엔지니어부터
최신 기술 동향을 빠르게 파악해야 하는 관리자 엔지니어까지
이 강의 하나로 다양한 컴퓨터 비전 논문을 구현해보세요!
이 강의는 Computer Vision 분야에서 3D View Synthesis에 관한
NeRF
논문을 리뷰하고 코드로 직접 구현합니다.
‘NeRF’ 란?
'Neural Radiance Fields'의 약자로 2D 이미지를 Implicit Function을 통해 3D 이미지로Reconstruction 하고, 새로운 카메라 각도에서 이미지를 렌더링 할 수 있는 방법론
‘NeRF’ 를 배워야 하는 이유?
적은 수의 2D 이미지 만으로도 3D Reconstruction이 가능하고, 새로운 카메라 각도에서 이미지를
렌더링하여 3D 이미지 구현 성능을 향상시킬 수 있는 중요한 기술이기 때문입니다.
기존 모델들에 비해 View Synthesis 측면에서
압도적인 성능을 보이고 있는 NeRF
NeRF는 다른 Scene 합성 방식들보다 훨씬 정교하게 구현한다는 장점이 있습니다.
NeRF는 이미지 생성 지표 측면(Diffuse PSNR, Synthetic SSIM, 360°C LPIPS)에서 가장 좋은 성능을 보였던 NV, SRN, LLFF
보다
압도적인 성능을 가진 3D Reconstruction, NVS(Novel View Synthesis)방식
으로써 좋은 결과를 보여주고 있습니다.
위 그래프를 통해 알 수 있는
NeRF의 기술 우수성 👉️
(클릭!)
·PSNR(Peak Signal-to-noise ratio)
압축된 이미지의 화질에 대한 손실 정보를 평가하기 위한 목적으로 고안 된 방법으로 두 영상 간의 피크 신호 대 잡음비를 뜻합니다.
압축되거나 복원된 영상 품질의 손실이 낮을수록 수치가 높게 나타납니다.
·SSIM(Structural Similarity Index Map)
시각적 화질 차이를 평가하기 위해 영상의 구조 정보를 측정하는 방식으로 Luminance(휘도), Contrast(대비), Structual(구조)
3가지로 시각 품질을 평가합니다.
수치가 높을수록 원본 영상과 유사하여 구조 변화가 적다는 뜻입니다.
·LPIPS(Learned Perceptual Image Patch Similarity)
인간이 인지하는 물체를 정확하게 반영하지 못하는 확률을 뜻하며,
수치가 낮을수록 생성된 이미지와 실제 이미지가 유사하다는 것을 의미합니다.
이렇듯 NeRF는 이전의 Scene 합성 방식들과 비교 시 가장 낮은 수치를 보이고 있습니다.
3 STEP으로 끝내는
NeRF!
핵심 논문 3개를
구현해봅니다.
NeRF
NeRF를 통한 3D 컴퓨터 비전에 대한 이해와 자세한 코드 레벨 분석을 통해 NeRF및 3D 딥러닝의 핵심 기술인
Implicit Neural Networks, Ray Tracing, Volume Rendering, Positional Encoding 등에 대해 학습합니다.
[1] Data Preparation
[2] Camera Parameters
[3] Ray Tracing and Importance Sampling
[4] Model Implementation and Volume Rendering
[5] Model Training
[6] Result Visualization, Evaluation & Analysis
[7] Training with User data
D-NeRF
Dynamic 3D 물체를 표현하는 D-NeRF에 대한 이해 및 코드 레벨 분석으로 기존 정지된 3D Object를 모델링하는 NeRF를 넘어
Dynamic scene을 표현하는 D-NeRF를 구현하고, 여기에 사용되는 Deformation Field, Canonical Space등에 대해 학습합니다.
[1] Data Preparation
[2] Model Implementation
[3] Training, Result Visualization, Evaluation & Analysis
NerFACE
동영상을 통한 3D Avatar 및 Neural Talking Head를 생성하여 유저가 입력값을 통해 조종할 수 있는
Controllable 3D NeRF에 대해 학습하고 NeRFACE를 구현하며 3D Avatar를 학습 및 생성합니다.
그리고 NeRFACE에
사용되는 3DMM Parameters, Static Background Technique, Ray Sampling Technique등에 대해 학습합니다.
[1] Data Preparation
[2] Model Implementation
[3] Training, Result visualization, Evaluation & Analysis
-
상세 커리큘럼
자세한 커리큘럼 및 내용은 여기서 확인하세요!
👇 강의 엿보기 👇
NeRF 전공 연구원님의 강의 & 질의 응답
수업 내용부터 실습까지 잘 모르는 내용이 있으면 Slack 질의응답 채널에 자유롭게 질문하세요.
NeRF 전공 연구원님께서 직접 답변해드립니다!
(교육 내용 범주 안에서 질의응답, 2022년 9월 26일 ~ 2024년 9월 26일까지 적용)
잠깐!
• 인공지능 분야에 종사하고 있는 주니어·시니어 딥러닝 엔지니어, 인공지능을 비즈니스적 관점에서 풀어 나가고 싶은 C-Level에게 추천합니다.
학습을 위한
사전 지식이 필요한가요?
사전 지식이 필요한가요?
• 기본적인 딥러닝·인공지능 개념과 이론 등에 대한 이해
• 딥러닝 프레임워크에 대한 이해 (ex. Python, Pytorch, etc..)
• Colab 사용 방법에 대한 이해
• 강의에서 진행 하고 있는 NeRF 논문에 대한 이해
• 딥러닝 프레임워크에 대한 이해 (ex. Python, Pytorch, etc..)
• Colab 사용 방법에 대한 이해
• 강의에서 진행 하고 있는 NeRF 논문에 대한 이해
실습은 어떤 환경에서
진행되나요?
진행되나요?
• Google Colab Pro 환경에서 실습합니다.
*실습 내용(예제, 실습) 및 클립시간, 개수는 추후 일부 수정될 수 있습니다.
형준하 강사님
[이력]
ㆍ현) KAIST AI 대학원 박사과정
ㆍ현) 카카오엔터프라이즈 Vision & Intelligence 리서치 연구원
ㆍ전) SKT AI Fellowship
ㆍ전) 마인즈랩 리서치 연구원
ㆍ전) 비주얼캠프 머신러닝 엔지니어
ㆍ전) 카카오 추천기술팀 머신러닝 엔지니어
[프로젝트 경력]
ㆍ카카오 - 추천 기술팀에서 Multimodla embedding 생성 및 CTR prediction 등으로 추천 시스템 고도화
ㆍ현대 & KAIST - Hyundai Roadsense project(Multimodal road type prediction) Qualcomm & KAIST - Kaggle Multimodal emotion recognition 1st prize(Multimodla video prediction)
ㆍ비주얼캠프 - Face recognition & Iris tracking 알고리즘 고도화(3D facial mesh extraction 모델 고도화, iris gaze tracking prediction model 개발
ㆍ마인즈랩 - Audio-driven neural talking head generation(GAN based 2D neural talking head 고도화, 3D NeRF based avatar 구현)
ㆍSKT - Multimodal sentiment analysis 모델 분석·고도화, CVPR 22 논문리뷰 강의 제작(NeRF 등의 3D 모델)
ㆍ카카오엔터프라이즈 - 3D controllable face & Body generation(NeRF 기반 3D controllable Avatar generation 연구[CVPR23 타겟])
ㆍKAIST - Large scale Multimodal generation(NAVER와 협업, Large scale diffusion based image generation model(Imagen) 재구현 및 이를 활용한 Story Board 및 video generation 연구)
ㆍKAIST - 3D Text driven face editing, 3D neural talking head(3D generative NeRF 모델을 활용한 local image editing 연구[ICLR23 타겟])
[이력]
ㆍ현) KAIST AI 대학원 박사과정
ㆍ현) 카카오엔터프라이즈 Vision & Intelligence 리서치 연구원
ㆍ전) SKT AI Fellowship
ㆍ전) 마인즈랩 리서치 연구원
ㆍ전) 비주얼캠프 머신러닝 엔지니어
ㆍ전) 카카오 추천기술팀 머신러닝 엔지니어
[프로젝트 경력]
ㆍ카카오 - 추천 기술팀에서 Multimodla embedding 생성 및 CTR prediction 등으로 추천 시스템 고도화
ㆍ현대 & KAIST - Hyundai Roadsense project(Multimodal road type prediction) Qualcomm & KAIST - Kaggle Multimodal emotion recognition 1st prize(Multimodla video prediction)
ㆍ비주얼캠프 - Face recognition & Iris tracking 알고리즘 고도화(3D facial mesh extraction 모델 고도화, iris gaze tracking prediction model 개발
ㆍ마인즈랩 - Audio-driven neural talking head generation(GAN based 2D neural talking head 고도화, 3D NeRF based avatar 구현)
ㆍSKT - Multimodal sentiment analysis 모델 분석·고도화, CVPR 22 논문리뷰 강의 제작(NeRF 등의 3D 모델)
ㆍ카카오엔터프라이즈 - 3D controllable face & Body generation(NeRF 기반 3D controllable Avatar generation 연구[CVPR23 타겟])
ㆍKAIST - Large scale Multimodal generation(NAVER와 협업, Large scale diffusion based image generation model(Imagen) 재구현 및 이를 활용한 Story Board 및 video generation 연구)
ㆍKAIST - 3D Text driven face editing, 3D neural talking head(3D generative NeRF 모델을 활용한 local image editing 연구[ICLR23 타겟])
코스 프로모션 배너 전용입니다.
0일
0시간
0분
0초
코스 프로모션 배너 전용입니다.
(자동)
커리큘럼
아래의 모든 강의를 올인원 패키지 하나로 모두 들을 수 있습니다.
지금 한 번만 결제하고 모든 강의를 평생 소장하세요!
Step 1. NeRF
Step 2. D-NeRF
Step 3. NeRFACE