파이썬을 활용한 실전 웹크롤링과 자동화 CAMP

본 강의는 모집이 마감되었습니다.
다음 기수 출시알림을 신청해주시면, 특별 할인혜택과 함께 가장 먼저 소식을 알려드리겠습니다.

출시알림 신청하기

⚠ 코로나 관련 '비대면 원격 강의' 전환 안내 ⚠

코로나 19와 관련한 정부의 사회적 거리두기 2단계 후속 강화조치에 따라
이번 기수의 파이썬을 활용한 실전 웹크롤링과 자동화 CAMP 강의는 '비대면 원격 강의'로 변경되었습니다.
강의 시간과 커리큘럼은 변동이 없으며 변경 사항 및 온라인 강의 안내는 하단의 주의사항 참고 바랍니다.
본 기수의 수강생을 대상으로 종강 후 패스트캠퍼스 온라인 강의 중 원하시는
데이터 사이언스 카테고리 강의를 수강할 수 있는 수강권을 함께 제공해 드립니다.

수강생 특별혜택.

이번 기수부터 특별히 준비된 수강생 특별혜택 입니다!

파이썬 기초 영상 36개 무료 제공

파이썬이 두려운 초보자분들을 위해 데이터사이언스 스쿨 현장강의 영상 총 36개 클립을 무료로 제공합니다.

온라인 Slack 채널로 실시간 1:1 피드백

API로 데이터를 주고 받는 json 포맷과, 웹페이지 화면을 구성하는 HTML 포맷에서의 데이터 크롤링 방법을 학습합니다.

원하는 사이트 커리큘럼에 반영

크롤링을 원하시는 사이트가 있다면 말씀해주세요. 커리큘럼에 추가하여 강의시간에 진행합니다.

무한복습 가능 화면녹화 강의영상 제공

집에 가서도 꼼꼼히 강의를 복습하고 싶은 수강생분들을 위해 화면녹화 강의영상을 제공합니다.

Q : 잠깐! 진짜 원하는 사이트 크롤링 하는 방법을 강의에서 다뤄주나요?
A : 네! 신청전에 원하시는 사이트를 설문지 폼에 입력해 주세요. 사전에 취합하여 커리큘럼내에 반영할 예정입니다.

크롤링 원하는 사이트 정보 제출하기 GO ▶

잠깐!

혹시 나에게 해당되지 않나요?

SNS/카페/블로그, 각종 포털사이트의 뉴스 키워드, DART/주식금융/교육청 등
데이터 오류 없이 모으고 계신가요? 쉽지 않은 웹크롤링, 웹 구조 이해와 크롤링 훈련이 필요합니다.

연합 뉴스의 [연예]카테고리, [사람들]카테고리 안의 [인터뷰]영역을 크롤링하고 싶어요.

한국학술정보원에서 4차 산업혁명이 언급된 주제의 논문정보 및 이와 관련된 실시간 페이스북 댓글 반응이 필요해요.

특정판례를 검색한 결과물 전체를 “판결제목 및 번호”, “사건제목 및 번호”, “판시사항” 등 판례요소별 크롤링을 하고 싶어요.

포털사이트에서 검색하고 싶은 상품을 입력해 나온 상품리스트, 리뷰리스트를 모으고 싶어요.

그런데, 말처럼 쉽지 않죠?

수강대상.

“인터넷에서 찾은 예제,
코드 조각들로 크롤러를 만들었는데
자꾸 오류가 나네요.”

“분명 크롤링되던 사이트였는데,
어느날 갑자기 안됩니다.
왜 그런거죠?”

“텍스트 크롤링도 시간이 많이 걸리는데,
이미지/동영상 수집은 어떻게 하죠?”

“반복적인 크롤링을 매번 처음부터
시작하려니 너무 번거로워요.”

코스특징.

01

파이썬 문법 리뷰 및 웹 서비스 이해

본격적인 크롤링에 앞서, 파이썬 기본문법을 빠르게 리뷰하고, 실제 웹 페이지를 살펴보며 체계적으로 웹구조를 머릿속에 그려봅니다.

02

웹 페이지 분석 후, 원하는 데이터 크롤링

API로 데이터를 주고 받는 json 포맷과, 웹페이지 화면을 구성하는 HTML 포맷에서의 데이터 크롤링 방법을 학습합니다.

03

브라우저 제어 후, 이미지/파일 데이터 크롤링

Requests 패키지를 활용해 크롤링이 안되는 웹 페이지를 크롤링해보고, 로그인이 필요한 사이트, 이미지/영상 크롤링 방법도 익혀봅니다.

04

크롤링 자동화 /서버 활용법 마스터

크롤링 후 데이터 저장 및 개인PC없이 서버를 이용해 크롤링하는 방법, 주기적으로 크롤링하는 자동화 방법에 대해 학습합니다.

실습예제.

수강 이후 어떤 웹사이트를 만나도
마음껏 크롤링이 가능한 응용력 200% 향상시킬 다양한 실습 예제와 커리큘럼

🖐🏻잠깐 주목! 완강 후에 생기는 내가 만든 챗봇!
강의를 듣기만 하고 끝낼 순 없겠죠? 번역 챗봇 실습까지 함께하세요!

국민은행 예금 크롤링

네이버 검색트렌드 크롤링

G마켓 상품데이터 이미지 크롤링

카카오톡 메시지 크롤링

실습특별 혜택.

여기서 끝이 아닙니다!
매주 제공되는 크롤링 퀴즈와 복습 관리까지, 익숙해질 때까지 반복해서 훈련 제공

네이버증권, 영화페이지 데이터 프레임 퀴즈

테드 영상 속 이미지 수집 퀴즈

커리큘럼.

Part 1. 막막한 데이터 분석, 어떻게 진행해야 할까?

1회차.
Python 문법 리뷰

[이론]
- Jupyter Notebook 사용법
- 컴퓨터 구조 및 프로그램 동작 원리
- Python 문법 리뷰 : 변수선언, 자료형, 연산자, 조건문, 반복문, 함수, 클래스, 모듈과 패키지, 예외처리, 입출력, 정규표현식

[실습]
- 윤년 계산, 로또 번호 출력 프로그램
- 스타크래프트 마린 매딕 객체 만들기
- 문자열에서 전화번호 및 이메일 패턴으로 찾아내기

2회차.
Pandas 패키지 학습/웹 서비스와 웹 페이지 구조 이해

[이론]
- 데이터 프레임 생성
- groupby, merge
- pivot

[실습]
- 타이타닉 테이블 데이터 처리

Part 2. 웹페이지 분석과 데이터 크롤링부터 시작해볼까요?

3회차.
API로 데이터를 주고 받는 Json 포맷의 크롤링

[이론]
- 웹 서비스 기초
- 크롬 개발자도구 사용법
- GET, POST 방식
- 서버에 데이터 요청시 설정되는 header를 변경하여 크롤링

[실습]
- JSON 포멧의 네이버, 다음 주가 데이터 크롤링 밎 시각화

4회차.
웹 페이지 화면을 구성하는 HTML 포맷의 크롤링

[이론]
- HTML
- CSS-Selector
- 이미지 데이터 수집

[실습]
- 네이버 영화 평점 데이터 크롤링
- 네이버 연관검색어 수집
- 뉴스 기사 데이터 수집
- G마켓 상품 데이터 및 이미지 수집

Part 3. 이미지/영상 자료 수집이 가능해지는 브라우저 제어 데이터 크롤링으로 한 단계 더 올라가세요!

5회차.
서비스의 API를 이용한 데이터 수집 및 자동화

[이론]
- 서비스 API의 사용법
- Oauth 개념

[실습]
- 네이버 번역 API 사용
- 카카오 주소를 위도 경도로 변경하는 API 사용
- 카카오톡으로 메시지 보내기
- DART(기업공시) 데이터 크롤링

6회차.
Selenium을 이용한 브라우져 자동화

[이론]
- 웹페이지에서 원하는 데이터를 선택하는 방법인 xpath 학습
- 멀티 태스크를 이용한 빠른 크롤링
- 자동으로 빠르게 웹 크롤링을 해주는 scrapy 프레임워크의 사용 방법

[실습]
- selenium 설치
- 국민은행 금융상품 데이터 크롤링

Part 4. 업무효율 200% 늘리는 크롤링 자동화/서버 활용법으로 실전 웹크롤링 마스터!

7회차.
아마존 클라우드 서비스(AWS)를 활용한 데이터 수집 및 저장

[이론]
- 클라우드 서버 컴퓨터 AWS EC2의 사용법
- crontab 스케쥴러의 사용
- Mongodb 데이베이스 학습
- AWS의 Cloud Watch, Lambda 서비스의 사용법

[실습]
- AWS EC2 클라우드 서버 만들기
- 뉴스 기사 데이터를 크롤링 후 mongodb에 저장

8회차.
개인 PC없이 서버에서 크롤링 자동화

[이론]
- slack의 incoming webhook, outgoing webhook 학습
- 웹 서버 프레임워크 flask 학습
- 이메일 전송 SMTP 서버의 이해

[실습]
- AWS EC2 클라우드 서버 만들기
- PC 없이 서버에서 crontab 스케쥴러를 이용한 파이썬 코드의 실행
- 번역 챗봇 만들기
- 뉴스 기사를 크롤링한 데이터를 csv 파일로 저장 후 파일첨부로 이메일로 전송

교육과정 소개서 자세히 보기 GO ▶

강의를 듣게 되면 가져갈 크롤링 프로그램

1. 네이버 기사 데이터, 네이버 다음 주가 및 환율 데이터, 네이버 연관 검색어
2. 국민은행 예금 상품 데이터, G 마켓 베스트 상품 및 이미지 데이터
3. 네이버 파파고 API, 카카오 번역 API, DART(기업공시 데이터) API
4. 카카오톡 메시지 보내기, G메일로 이메일 보내기
5. AWS(아마존 클라우드 서버), Mongodb(몽고디비)를 활용한 크롤링 자동화
6. 슬랙 메신져를 이용한 간단한 챗봇 만들기

강사소개.

박두진

단순 크롤링 방법을 가르쳐 드리기보단, 수집하고자 하는 특정 웹 사이트 혹은 데이터가 있을 때 디테일한 접근 방법을 가르쳐 드리려고 합니다. 피드백을 통해 실무에서 문제가 발생하더라도 스스로 원인을 찾을 수 있도록 안내해 드릴 계획입니다.

이력 사항

시지온 웹서비스개발팀 팀장
소셜 댓글 라이브리 개발
국민은행 소셜 댓글 서비스 개발
댓글 통계 관리 서비스 개발

JLK-INSPECTION 인공지능팀 과장
스마트 팩토리 모니터링 서비스 개발
분류 AI 개발 및 서비스화
KOTRA K-Global 발표

N3N 웹 서비스팀 선임연구원
사물인터넷(IoT) 데이터 시각화
솔루션 위즈아이(Wizeye) 개발

베라노스 책임연구원
GBI(Goal-based Investment) 기반의 금융 솔루션 개발
삼성자산운용 GBI 시뮬레이터 개발

패스트캠퍼스
데이터 사이언스 스쿨 7기, 8기, Plus 프로그래밍 파트 강의 (540시간)

강사님 인터뷰 보기

수강후기.

4기 수강생 P님

중간에 수강생들의 필요에 맞춰, 강의 계획과 내용을 유연하게 바꿔주셔서 좋았습니다

4기 수강생 K님

실질적으로 가장 필요했던 것을 알게 되어 좋았고, 매번 친절한 답변에 감사합니다.

4기 수강생 J님

강사님께서 커리큘럼에 대해 많은 고민을 하신 흔적이 보이고 상당히 짜임새가 있었다고 생각이 듭니다.

인터뷰 보기 >

4기 수강생 K님

물론, 간단한 사이트는 독학만으로도 곧잘 긁어오곤 했습니다. 하지만 웹 구조 자체를 이해하지 못하다 보니, 구조가 조금이라도 바뀌어도 금새 막히기 일쑤였습니다. 수강 후엔 어떤 사이트든 이 코스를 듣기 전에는 엄두도 못냈던 사이트들까지 포함해 전부 막힘없이 저장할 수 있게 됐습니다. 페이지에 첨부되어 있는 첨부파일까지요! 만약 파이썬 기본기가 갖춰져 있고, 크롤링를 자유자재로 하고자 하는 동기가 확실하다면, 이 코스를 추천합니다. 코드만 따라 하던 수준을 넘어 웹 구조부터 제대로 이해하고, 독학으로는 알 수 없는 전문가의 노하우까지 빠르게 얻어 갈 수 있을 겁니다.

인터뷰 보기 >

수강대상.

나에게 필요한 강의인지 모르겠다면, 이런 분들에게 추천드립니다!

웹사이트에 대한 이해가 전혀 없어 크롤링에 어려움을 겪는 분

사이트가 바뀔 때마다 새로운 크롤링 방법을 배워야 하는지 고민이신 분

반복이 아닌, 크롤링을 통해 내 시간을 효율적으로 활용하고 싶은 분

웹 사이트에서 내가 원하는 정보만 효율적으로 수집하고 싶은 실무자

✅ 수강신청 전, 퀴즈를 풀어보고 이 수업이 나랑 맞는지 Check! Check!

퀴즈 다운 받고 점검 GO ▶

정답 확인 GO ▶

2문제 이상 정답을 맞췄다면, 본 강의를 무리 없이 수강 하실 수 있습니다.
2문제를 맞추지 못했더라도 걱정마세요! 파이썬 기초를 조금 더 공부한 후에 다시 만나요✋✋

강의장 안내.

유의사항 및 환불규정.

유의사항 - 모든 패스트캠퍼스 오프라인 파트타임 교육은 개강 전일 18시에 모집이 마감됩니다.
- 상황에 따라 사전 공지 없이 모집이 조기 마감되거나 할인이 연장될 수 있습니다.
- 수강 인원 확인을 위하여, 즉시 결제가 어려운 경우에도 반드시 수강신청을 먼저 진행해주시기 바랍니다.
- 수강생의 결석이나 지각 등으로 발생한 손해에 대해서는 별도의 보상을 제공하지 않습니다.

환불규정 * 다음과 같은 사유 등으로 인해 강의가 폐강될 수 있으며, 폐강 시 학원법에 따라 반환 사유 발생일로부터 5 영업일 이내에 수강료를 환불해드립니다.
- 모집된 수강인원이 10명 이하일 경우
- 강사의 갑작스러운 사고 및 건강 상의 이유
- 천재지변 : 위의 사유로 강의가 폐강될 경우, 학원법 제 18조에 따라 오프라인 강의 취소/환불 정책을 준용하여 환불 처리되며, 모객 부진으로 폐강 시에는 최소 개강일로부터 7일 전에는 폐강 여부를 안내해드립니다.

* 총 수강기간 1개월 이내 기준 취소 및 환불 규정 안내
- 환불금액은 정가가 아닌 실제 결제금액을 기준으로 계산됩니다.
- 수업 시작 전 환불 신청 시 전액 환불됩니다.
- 수강 시작 후 환불 신청 시 하기 수업 시수를 기준으로 학원법 환불규정에 따라 환불 가능합니다.
: 환불요청일시 기준 수업시수 1/3 경과 전 : 수강료 2/3 환불
: 환불요청일시 기준 수업시수 1/2 경과 전 : 수강료 1/2 환불
: 환불요청일시 기준 수업시수 1/2 경과 후 : 환불금액 없음

* 기타 환불 관련 안내
- 환불 의사를 밝힌 다음날부터 계산하여 환불합니다.
- 환불금액은 수업시간을 기준(반올림)으로 산정합니다.
- 환불금액의 10원 미만은 절삭합니다.
- 반환 사유 발생 시 5 영업일 이내 환불됩니다.
: PG사와 카드사의 상황에 따라 환불이 지연될 수 있습니다
- 1개월 산정 기준은 민법 제 160조(역에 의한 계산)을 적용합니다.
: 실제 일수와 상관없이 수업시작일이 3월 7일인 경우, 1개월은 4월 6일까지 입니다.
: 단, 수업 시작일이 1월 31일인 경우, 1개월은 월의 말일인 2월 28일까지 입니다.

비대면 원격 강의 안내 본 강의는 전 차시 원격 강의(ZOOM 라이브)로 진행 됩니다.

- 온라인 강의장에 접속할 수 있는 링크와 ID, 암호는 개강 일주일 전 전달되는 개강안내 메일/문자를 통해 안내됩니다.
- 녹화본이 따로 제공되지 않기 때문에, 안내된 라이브 강의 일정에 필수적으로 참석해주셔야 합니다. (출석하지 못한 주차의 강의는 사전 신청을 통해 다음 기수에서만 무료로 재수강할 수 있습니다.)
- 1회차 비대면 원격 강의 수강 후 3일 이내 환불 의사를 밝혀주신 분에 한해서 강의료 전액 환불이 가능합니다.

온라인 강의 제공 안내 파이썬을 활용한 실전 웹크롤링과 자동화 CAMP을 완강해주신 수강생분들께, 데이터 사이언스 카테고리 온라인 무료 수강권을 1매 전달드립니다.

- 본 쿠폰의 발급일은 11월 8일 오후 6시입니다. 별도의 쿠폰번호 입력과정없이 사용하실 수 있도록 계정에 등록 후 다시 한 번 문자 안내드릴 예정입니다.
- 쿠폰의 유효기간은 1개월로, 12월 8일 자정까지 사용가능하오니 유효기간내에 사용 부탁드립니다. (기간내 사용하지 않아 소멸된 쿠폰은 복구드리지 않습니다.)
- 쿠폰으로 구매하신 온라인 강의는 평생소장입니다.
- [온라인 - 데이터 사이언스] 카테고리 내에서 [전체 오픈]된 강의에만 사용이 가능합니다. (타 카테고리의 강의, 사전예약, N차 오픈에는 사용 불가)

강의 보강 안내 - 차 기수 강의는 일정, 강사, 또는 커리큘럼의 변경이 있을 수 있습니다. 이 때, 강사가 변경될 경우, 강의 수강이 어려울 수 있는 점 양해 부탁드립니다.
- 환불이 가능한 기한은 결제하신 기수의 종강일(11월 7일)까지입니다.
- 수강 연기는 바로 다음 기수에만 유효합니다.
- 차기수 일정은 아직 확정되지 않았으며, 일정 안내를 위해 상세페이지에서 출시알림 신청을 부탁드립니다.
- 보강신청은 메일로만 접수받고 있습니다. 문의는 help-gathering으로 부탁드립니다.

root layout

파이썬을 활용한 실전 웹크롤링과 자동화 10기