초격차 패키지 : 한번에 끝내는 Kafka Ecosystem
초격차 패키지 Online.
한번에 끝내는
Kafka Ecosystem
-
01
Kafka의 모든 활용법을
5가지 커리큘럼으로 총.정.리.데이터 엔지니어링, 백엔드, 인프라 등 Kafka를 활용하는 모든 직무&상황을 5가지 파트로 풀커버
-
02
실시간 대용량 처리의 중심 Kafka,
34가지 기술스택과의 꿀조합 활용법.Kafka를 자유자재로 응용할 수 있도록 함께 조합하여 사용하는 34가지 기술스택까지 학습
-
03
Kakfa 실무 최전선에서 활약중인
강사진의 핵심 노하우 전수Kafka 강연 경험이 있는 분들로만 꾸려진 강사진! 전문성+강의력으로 흡입력 있는 강의 퀄리티 보장
Kafka의 개별 기능만을 이론으로 전달하는 강의가 아닙니다.
지금까지의 Kafka 강의들은 좁은 직무, 적은 활용 방법만을 담았습니다.
이 강의는 실무에 Kafka를 적용하고자 하는 엔지니어들에게 Kafka의 모든 활용법을 따라할 수 있게 하는 강의입니다!
-
타사의 Kafka 강의
∙ 데이터 엔지니어링 위주로 구성된 Kafka 강의
∙ 이론 위주의 강의
∙ DE 실습 강의 또한 한 가지 주제만을 초점화하여 좁게 다룸 -
패스트캠퍼스만의 Kafka 활용
∙ 데이터 엔지니어링 뿐만 아니라 플랫폼 개발, k8s 환경 세팅까지
∙ Kafka로 할 수 있는 모든 것을 담은 강의
∙ 심화 실습 위주의 넓고 깊은 Kafka 활용법 소개!
초.격.차
뻔한 이론 강의 대신 Kafka 실무 활용의 모든 것을 담았습니다!
Point 1
Kafka가 사용되는 필수 상황 5가지를
모두 담은 단 하나의 초격차 강의
Kafka의 기본 기능부터 아키텍처-파이프라인 구축, 데이터 분석 애플리케이션 개발, 컨테이너 환경에서의 운영방법까지.
50시간 분량의 강의를 통해 개발 실무에 필요한 모든 Kafka 활용법을 학습 할 수 있습니다.
5개의 영역에서 어떤 내용을 학습하는지 궁금하다면?
지금 바로 커리큘럼을 확인해보세요!
Point 2
실제 업무에 바로 활용하기 위해
인프라&백엔드 관련 34개 기술스택과 함께 배우는 Kafka!
Kafka는 프로젝트에서 단독으로 사용되는 경우가 없습니다.
실제로 Kafka를 활용하기 위해서는 관련 백엔드와 인프라 기술스택과 연계한 사용법을 아는 것이 중요합니다!
자유자재로 Kafka를 활용하기 위한 필수 기술 스택 꿀조합!
기본적인 Kafka의 사용법이 아닌 관련된 기술 스택과의 조합으로 실제 엔지니어의 업무에 Kafka를 “응용”하는 방법을 배워가세요.
책으로 배우는 이론보다는 직접 체득한 운영경험이 중요하고,
이 경험은 오직 "실전"에서만 얻을 수 있습니다.
Point 3
이 파트만 잘 들어도 부족함이 없을
이벤트 기반 Kafka 백엔드 실습 3가지
짧은 시간 안에 쏟아지는 데이터를 처리하기 위한 해결사로 등장한 Event 기반 아키텍처.
본 아키텍처의 핵심기술 Kafka를 다양한 예제로 실습하며 메시징큐부터 EDA까지 완벽이해할 수 있게 됩니다.
Project 1 | 나만의 이벤트 기반 아키텍처 [ Kafka를 활용한 콘텐츠 플랫폼 구축하기 ]
UGC(User Generate Content) 플랫폼 전체를 Kafka를 이용한 Event Driven Architecture 형태로 설계하고 직접 구현.
-
콘텐츠 자동검수 시스템 구축하기 | MySQL
❶ POST API 구축
❷ API로 전달받은 데이터를 원천 DB (MySQL)에 적재
❸ Kafka 메시지로 Produce
MySQL을 사용하는 이유? 펼쳐보기
보편적으로 쓰이는 RDB로, Normalized된 데이터를 엄격한 스키마와 분리된 테이블에 담는 데에 쓰이므로 주로 원천 데이터를 관리하기에 적합합니다.
-
캐싱에 실시간성 부여하여 개선하기 | Redis
❶ Consumer 생성
❷ Kafka 메시지로 전달받은 데이터를 Write-Through 패턴으로 Redis에 캐싱
❸ 캐싱에 실시간성이 부여되어 시스템 개선
Redis를 사용하는 이유? 펼쳐보기
Read 처리량이 많은 검색 서비스에 캐싱을 적용해 대용량 서빙을 처리합니다.
대표적으로 사용하는 캐시 중 하나로,반복적인 Read로 인해 DB에 부하가 갈 수 있는 로직에 많이 활용됩니다.
-
콘텐츠 구독 서비스 만들기 | Mongo DB
❶ Consumer 생성
❷ Kafka 메시지로 전달받은 데이터(검수를 거친 데이터)에 대한 구독자 목록을 리스팅
❸ 구독 DB(MongoDB)에 적재
MongoDB를 사용하는 이유? 펼쳐보기
NoSQL 계열의 DB로, Denormalized된 데이터를 Document 단위로 다루기 적합하여 서비스 노출용 데이터를 다루기에 최적입니다.
-
실시간으로 검색시스템에 색인하기 | Elasticsearch
❶ Consumer 생성
❷ Kafka 메시지로 전달 받은 데이터(검수를 거친 데이터)를 ElasticSearch에 색인 (원본 데이터를 검색어 토큰들로 변환)
elasticsearch를 사용하는 이유? 펼쳐보기
데이터가 검색될 수 있는 구조로 변경하기 위해 원본 문서를 검색어 토큰들로 변환하여 저장합니다. 데이터를 색인해서 간단하게 검색 시스템을 구축하는 데에 사용됩니다.
★ 강사님의 한 마디
하나의 콘텐츠가 발행되면 백엔드 시스템에서는 그 데이터를 다양하게 처리해야 하는데요. 그러한 관심사가 적절히
애플리케이션 단위로 분리되고 비동기적으로 데이터가 연동되어 마침내 소비까지에 이르는, 하나의 온전한 사이클을 경험해보실 수 있어요.
여기서 끝나면 초격차가 아닙니다.
타사에서 개별로 구매할 정도로 큰 규모의 백엔드 프로젝트까지 모두 담았습니다!
-
| 실습 내용
특정 시간에 선착순 이벤트를 오픈해서, 쿠폰을 발행하는 이벤트 상황을 가정하고 실습해보는 프로젝트입니다.
| 학습 내용
대량의 트래픽이 짧은 순간에 쏟아져 들어올 때 SPOF(Single Point Of Failure)가 발생되지 않도록 Kafka를 사용합니다.
★ 주요 학습 Point
❶ 대용량 트래픽을 고려하지 않고 구현해보기
❷ Kafka를 활용해 로직 분리하기
❸ Redis를 활용해 트래픽 대응 보완하기 -
| 실습 내용
Kafka를 활용해서 로그를 실시간으로 수집하는 파이프라인을 구축해보는 프로젝트입니다.
| 학습 내용
로그 적재를 위해 Kafka를 사용하고, Elastic Stack으로 적재된 로그를 활용하는 파이프라인을 구축하는 방법을 학습합니다.
★ 주요 학습 Point
❶ Logstash로 ES에 로그 적재하기
❷ ES에 쿼리해서 로그 확인해보기
❸ Kibana 활용해서 로그 시각화하기
Kafka나 DB 역시 운영 환경의 단순화 및 일관성을 위해 Kubernetes로 옮겨 가고 있습니다.
문제는 세팅값을 설정하고 맞닥뜨리는 문제를
해결해가며 운영하는 게 어렵죠.
패캠이 많은 분들이 궁금해 하셨던 내용만을 꾹꾹 눌러담아 kubernetes 환경 위에서의 Kafka 운영 교육을 준비했습니다!
Point 4
k8s 위에서 Kafka 100% 활용을 위한
실무 반영 시나리오 기반 학습
인프라/플랫폼에서 카프카를 구축해야 할 때, 기존 카프카 클러스터를 k8s 환경으로 이관해야 할 때 등
혼자 공부하기 막막하셨다면 강사님과 함께 실습을 경험하며 Kafka 전문가로 껑충 뛰어 오르세요.
k8s 환경에서 카프카 클러스터 구축
| 학습 내용
∙ Kubernetes에 클러스터 구축에 대해 이해
∙ Helm 도구를 이용하여 AWS EKS에 사용자 설정으로 카프카 클러스터 구축
∙ 데모 Producer 배포
∙ 데모 Consumer 배포
콘솔 도구를 이용하여 카프카 클러스터를 운영, 업그레이드
| 학습 내용
∙ CLI 도구를 이용하여 토픽 관리(생성, 조회, 수정, 삭제)
∙ CLI 도구를 이용하여 컨슈머 그룹 정보 조회
∙ 컨슈머 랙 확인
∙ 무중단 업그레이드 (패치 버전, 마이너 버전, 메이저 버전)
카프카 클러스터에 보안 설정 구성
| 학습 내용
∙ 보안 설정의 필요성
∙ Kafka 인증/인가 구조의 이해
∙ Kafka 인증/인가 설정
∙ Kafka 사용량 제한 설정
카프카 클러스터 상태 모니터링 환경 구축
| 학습 내용
∙ Prometheus로 메트릭 수집
∙ Grafana로 수집 데이터 시각화
∙ burrow로 컨슈머 랙 모니터링
∙ kafka-ui로 Web 운영 환경 구성
고급 운영 기법 및 장애 상황 대응
| 학습 내용
∙ 운영중 파티션 개수 증가 시 대응 방법
∙ 파티션 리밸런싱
∙ preferred leader 변경 및 leader election
∙ 토픽 replication factor 변경
∙ 잦은 컨슈머 그룹 리밸런싱, 디스크 full
∙ 클러스터 확장/축소
부록
하지만 Kubernetes 환경에 아직 익숙하지 않다면?
10분만에 k8s 환경을 구축할 수 있는
Terraform 설치 팩까지 무료제공해드립니다!
Point 5 | Facam ONLY
빠르게 진화하는 KRaft mode를
앞서 배울 수 있는 단 하나의 강의
KRaft의 아버지라 할 수 있는, Confluent Lead Engineer 강사님의 유일무이한 직강.
기존 Kafka의 코디네이터 기술 Zookeeper를 대체할 수 있는 떠오르는 스택, KRaft에 대한 모든 내용까지 Update 완료!
사진 출처: Confluent Developer | https://developer.confluent.io/learn/kraft/
★ 최초공개 : “ZK 모드에서 KRaft 모드로 전환 방법”이 2024년 4월 업데이트 예정입니다.
[영상] KRaft Deep Dive
무.조.건 솔깃하는 KRaft 업데이트 가이드
5+α 가지 커리큘럼 자세히 보기
[문서] Kafka Quick Start - Docker 기반의 KRaft 모드로 로컬 Kafka Cluster 쉽게 구동하기
[문서] Confluent Platform 매뉴얼 설치 가이드
[문서] Confluent Platform CP-Ansible 설치 가이드
[문서] Open Source 및 Confluent Community에서 Confluent Enterprise로 전환하기
[문서] ZK 모드에서 KRaft 모드로 전환하기
Point 6
Kafka를 주제로 연사 경험이 있는 분들로만 꾸려진 강사진!
진짜 Kafka 전문가, 진짜 Kafka 실무진들만 모셨습니다.
국내 IT 대기업 Tech Lead부터, Kafka 솔루션 컴퍼니 CTO, Confluent 리드 엔지니어까지
강사님들의 Kafka 강연이 궁금하시다면 링크를 눌러보세요.
김현수 님
전) Red hat Associate Pincipla Solution Architect, Korea AppDev & MW SSA Team Lead, 상무
전) Oracle Principal Sales Consultant, 부장
∙ 교육 | 패스트캠퍼스 ‘Kafka 완전정복’ part.1 강사
∙ 멘토 | 한국 클라우드컴퓨팅연구조합 CCCR 혁신성장 청년인재 집중양성 프로젝트 멘토
본 강의는 Apache Kafka의 기초부터 시작해서 심화내용까지 자세히 다루고 있기 때문에, Kafka를 처음 배우는 분들은 처음부터 차근차근 학습하시는 것을 권장드리며, 이해가 되지 않는 부분은 과감하게 넘어가고 전체 내용을 다 학습하신 후 한번 더 학습하여 부족한 부분을 다시 이해하는 것을 권장드립니다. 이미 Kafka에 대해서 어느 정도 아시는 분들은, 참고서 처럼, 관심 있는 내용을 선택해서 배우는 것을 권장드립니다.
한현상 님
전) 네이버 software engineer
∙ 발표 | NAVER 2022 Engineering Day - "피지(PGSQL) 해변의 카프카(Kafka) 몽고(MongoDB)로 가다"
∙ 교육 | NAVER 공채 신입사원 Soft Skill 교육 강사
'네이버쇼핑'과 '당근'이라는 국내 최대 트래픽 규모의 서비스를 만들며, 데이터의 신규 구축부터 정제, 연동, 색인 등 백엔드 개발자로서 데이터를 서빙하기 위한 라이프 사이클 A to Z를 경험해왔고 그 과정에서 대용량 데이터를 안정적으로 다루기 위해 Kafka는 필수적인 기술이었습니다. 이번 강의를 통해 다양한 형태의 유즈 케이스를 간접경험하고 실무에서 Kafka를 적극 활용해보세요!
안창현 님
전) SK Hynix Cloud팀 & 개발팀 Tech Leader
∙ 교육 | 패스트캠퍼스 10개 프로젝트로 완성하는 백엔드 웹개발(Java/Spring) Part.10 강사
반갑습니다. Kafka와 그 생태계를 경험하고 싶은 수강자분들 환영합니다.
여러분이 Kafka 만 사용할 것이 아니라 ECO를 같이 활용하여 Kafka 생태계를 활용하는것에 도전한다면 규모가 큰 Cluster와 Multi Cluster를 관리하고 개선해 나가는 능력을 갖추게 될 것입니다.
단순히 메세지의 이동 방법만 알려주는 Kafka 강의는 이제그만! 이 강의를 통해 Kafka를 충분히 활용하여 탄탄한 Event 공유 platform을 만들어보시기 바랍니다.
박혜미 님
전) 삼성생명 Data Administrator
전) Oracle Technical Consultant
∙ 강연 | Do Flink on Web with FLOW
∙ SK TECH SUMMIT 2022 | 지하철 혼잡도: 실시간 데이터 수집부터 분석까지
Apache Kafka와 Apache Flink는 실시간 데이터 처리 애플리케이션을 개발하기 위해 가장 선호되는 기술 조합 중에 하나입니다. 이번 강의를 통해 Kafka + Flink 기반의 실시간 데이터 처리 애플리케이션 개발을 경험해볼 수 있습니다. 본 과정에서 현업에서 자주 사용되는 대표적인 케이스를 구현하고, 구현한 애플리케이션을 모니터링하기 위한 대시보드를 구축해볼 수 있기 때문에 실무에서 필요한 실용적인 지식을 얻을 수 있습니다. 꼭 실습을 따라해보시길 권장드립니다.
송정욱 님
전) 브릭앤(주) CTO
전) KIST 영상미디어센터 포스닥
전) 건국대학교 컴퓨터공학과 연구교수
∙ 강연 | 카프카 KRU 밋업 발표, 오픈인프라 커뮤니티 데이2023 세션 발표
∙ 교육 | 호서대 특강
애플리케이션의 구동환경이 쿠버네티스로 점점 옮겨감에 따라 kafka나 데이터베이스도 운영 환경의 단순화 및 일관성을 위해 쿠버네티스로 옮겨 가고 있습니다. 운영 환경은 필요에 따라 베어메탈, VM, 컨테이너를 적절하게 선택하면 되지만 운영 업무의 효율을 높이기 위해 쿠버네티스 단일 플랫폼으로 통합하는 경우도 많습니다. 이에 따라 쿠버네티스 환경에서 카프카를 구축하고 운영하는 기술을 배우는 것이 필요합니다.
Point 7
Kafka를 만든 멘토에게 직접 질문할 수 있는
강사 디스코드 커뮤니티 운영
프로젝트를 진행하다 막히는 부분이 생기면 화면에서 만나 뵈었던 강사님께 직접 질문할 수 있습니다.
이렇게 이용하면 활용도 200%
✓ 강의를 듣는 중 이해가 안가는 부분이 생기면 바로 질문
* 본 커뮤니티는 디스코드를 통해 2023.12.18 ~ 2026.11.19 동안 운영 됩니다.
** 강사님이 채널에 입장하시는 커뮤니티 형식의 공간입니다.
** * 강사님이 현업 중 답변하시기에 답변까지 영업일 기준 7일 내외 시간이 소요될 수 있습니다.
데이터 관련 업무를 수행하는 엔지니어
∙ Java/Spring 기반의 웹 개발 지식이 있으나 Kafka 실무에 내던져진
1~5년차 백엔드 개발자(주니어급)
∙ 기초 지식을 쏙 빼고 운영자 교육이 필요한 고연차 엔지니어
∙ 대용량 데이터 혹은 실시간 트래픽 처리 등 데이터에 관심이 많은 백엔드 개발자
∙ 대용량 데이터를 분석하고 가공해야 하는 데이터 엔지니어
∙ Kafka를 실무에서 깊게 다루지만 쿠버네티스 환경에서 Kafka 를 운영해야하는 데브옵스 엔지니어
타사 어디에서도 찾아볼 수 없는
Kafka 활용법 패키지를 평생소장 & 무제한 학습하세요!
타사의 강의는 데이터 엔지니어의 눈높이에 맞추어 Kafka의 일부분을 다루는 경우가 많습니다.
이번 강의는 Kafka 와 타 기술 스택 학습, 그리고 각종 부가 혜택을 모두 포함해 비교불가한 가성비로 제공됩니다!
상세 커리큘럼.
아래의 모든 강의를 초격차 패키지 하나로 모두 들을 수 있습니다.
지금 한 번만 결제하고 모든 강의를 평생 소장하세요!
Part 1. Kafka 톺아보기
Part 2. 백엔드 개발자의 메시징큐
Part 3. Event Driven Architecture 실습
Part 4. Kafka 생태계와 Eco System (Connect + Ksql + Registry)
Part 5. Kafka + Flink 로 실시간 데이터 분석 애플리케이션 만들기
Part 6. K8S 환경에 카프카 구축을 위한 기본 개념
part 7. KRaft 주요 업데이트 및 가이드