파이썬을 활용한
실전 웹크롤링과
자동화 CAMP

실전에서 오류원인을 빠르게 찾기위한
웹 이해, 이미지/영상 데이터 크롤링과 서버자동화 훈련!

#뉴스/SNS크롤링#실시간데이터수집#문제해결력강화

파이썬을 활용한
실전 웹크롤링과
자동화 CAMP

실전에서 오류원인을 빠르게 찾기위한
웹 이해, 이미지/영상 데이터 크롤링과 서버자동화 훈련!

#뉴스/SNS크롤링 #실시간데이터수집
#문제해결력강화

기간 & 일정

2019.11.18 – 12.10
매주 월/화요일 19:30 – 22:30
주 2회, 총 24시간

장소&준비물

패스트캠퍼스 강남 본원
개인 노트북

담당자 & 문의

이샘 매니저
02-501-9396
help-ds@fastcampus.co.kr

※ 대학생/대학원생/동반수강 할인에 해당되시는 분은 반드시 수강신청 시
[소속]란에 3가지 중 하나를 기재해주세요. 담당 매니저가 확인 후 연락 드립니다.

SNS/카페/블로그, 각종 포털사이트의 뉴스키워드, DART/주식금융/교육청 등..
데이터 오류없이 모으고 계신가요?
쉽지 않은 웹크롤링, 웹 구조 이해와 크롤링 훈련이 필요합니다.

연합 뉴스의 [연예]카테고리, [사람들]카테고리 안의 [인터뷰]영역을 크롤링하고 싶어요.

한국학술정보원에서 4차 산업혁명이 언급된 주제의 논문정보 및 이와 관련된 실시간 페이스북 댓글 반응이 필요해요.

특정판례를 검색한 결과물 전체를 “판결제목 및 번호”, “사건제목 및 번호”, “판시사항” 등 판례요소별 크롤링을 하고 싶어요.

포털사이트에서 검색하고 싶은 상품을 입력해 나온 상품리스트, 리뷰리스트를 모으고 싶어요.

연합 뉴스의 [연예]카테고리, [사람들]카테고리 안의 [인터뷰]영역을 크롤링하고 싶어요.
한국학술정보원에서 4차 산업혁명이 언급된 주제의 논문정보 및 이와 관련된 실시간 페이스북 댓글 반응이 필요해요.
특정판례를 검색한 결과물 전체를 “판결제목 및 번호”, “사건제목 및 번호”, “판시사항” 등 판례요소별 크롤링을 하고 싶어요.
포털사이트에서 검색하고 싶은 상품을 입력해 나온 상품리스트, 리뷰리스트를 모으고 싶어요.

그런데, 말처럼 쉽지 않죠?

“인터넷에서 찾은 예제,
코드 조각들로
크롤러를 만들었는데
자꾸 오류가 나네요.”

“분명 크롤링되던
사이트였는데,
어느날 갑자기 안됩니다..
왜 그런거죠?”

“텍스트 크롤링도
시간이 많이 걸리는데,
이미지/동영상 수집은
어떻게 하죠?”

“반복적인 크롤링을
매번 처음부터
시작하려니
너무 번거로워요.”

책에서는 배울 수 없었던 웹구조 이해부터
매주 2~3개의 사이트 크롤링 훈련복습을 위한 퀴즈까지.

이제는 오류 없이 자유자재로 데이터를 뽑아내고
효율적으로 업무에 활용해 보세요.

코스 특징.

01

파이썬 문법 리뷰
및 웹 서비스 이해

본격적인 크롤링에 앞서, 파이썬 기본문법을 빠르게 리뷰하고, 실제 웹 페이지를 살펴보며 체계적으로 웹구조를 머릿속에 그려봅니다.

02

웹 페이지 분석 후,
원하는 데이터 크롤링

API로 데이터를 주고 받는 json 포맷과, 웹페이지 화면을 구성하는 HTML 포맷에서의 데이터 크롤링 방법을 학습합니다.

03

브라우저 제어 후,
이미지/파일 데이터 크롤링

Requests 패키지를 활용해 크롤링이 안되는 웹 페이지를 크롤링해보고, 로그인이 필요한 사이트, 이미지/영상 크롤링 방법도 익혀봅니다.

04

크롤링 자동화
/서버 활용법 마스터

크롤링 후 데이터 저장 및 개인PC없이 서버를 이용해 크롤링하는 방법, 주기적으로 크롤링하는 자동화 방법에 대해 학습합니다.

공부도 하고!
학습지원금도 받고!

결제액의 10%를 학습지원금으로 드립니다.

패스트캠퍼스의 수강의지를 강화하기 위한 지원금 제도를 운영합니다
패캠이 제안하는 학습 목표를 달성하고 커리어 이상의 성취감을 얻어가길 바랍니다.

*학습지원금은 제세공과금(22%)을 제하고 드립니다.

과제

100% 제출

출석

100% 참석

스터디그룹

100% 참여

실습 예제.

수강 이후 어떤 웹사이트를 만나도 마음껏 크롤링이 가능한
응용력 200% 향상시킬 다양한 실습 예제와 커리큘럼.

코스피 주가 데이터 크롤링

테드 영상 제목 및 영상 링크 크롤링

유튜브 영상, 이미지로 크롤링 

직방 동별 매물 데이터 크롤링 후
구글 스프레드시트 저장하기

여기서 끝이 아닙니다!

매주 제공되는 크롤링 퀴즈와 복습 관리까지,
익숙해질 때까지 반복해서 훈련 제공.

퀴즈퀴즈

네이버증권,영화페이지 데이터 프레임 퀴즈

퀴즈21

테드 영상 속 이미지 수집 퀴즈

커리큘럼.

Part 1. 막막한 데이터 분석, 어떻게 진행해야 할까?

1회차. 파이썬 문법 퀵리뷰(Quick-Review) / Pandas 패키지

강의 내용 자세히보기

[이론]
– Python 문법 리뷰
– 정규표현식(Regex) 이해
– Python 데이터 분석 패키지 Pandas

[실습]
✔ 중고나라에서 입력된 전화번호 숫자로 변환
✔ 타이타닉 데이터 전처리
✔ pandas의 Dataframe 객체 csv, excel 파일로 저장하기

2회차. 웹서비스 기본 개념 이해/실제 구조 파악

강의 내용 자세히보기

[이론]
– 웹 서비스에 대한 이해
– HTML, CSS, Chrome 브라우져
– 크롤링의 기초 이해

[실습]
✔ 네이버 웹 페이지 코드 분석
✔ 직방 웹 페이지 코드 분석

Part 2. 웹페이지 분석과 데이터 크롤링부터 시작해볼까요?

3회차. API로 데이터를 주고 받는 Json 포맷의 크롤링

강의 내용 자세히보기

[이론]
– Requests를 이용한 json 포맷 크롤링

[실습]
✔ 주식 시세 데이터 크롤링
✔ DarkSky API에서 날씨 정보 크롤링
✔ 직방 매물 정보 크롤링

4회차. 웹 페이지 화면을 구성하는 HTML 포맷의 크롤링

강의 내용 자세히보기

[이론]
– Requests를 이용한 HTML 포멧 크롤링
– fake useragnet 사용하기

[실습]
✔ 네이버, 다음 실시간 검색어 순위 크롤링
✔ playnomore 쇼핑몰 페이지 크롤링

Part 3. 이미지/영상 자료 수집이 가능해지는 브라우저 제어 데이터 크롤링으로 한 단계 더 올라가세요!

5회차. Requests 패키지로 크롤링 안되는 웹 페이지 크롤링

강의 내용 자세히보기

[이론]
– Selenium을 이용한 크롤링

[실습]
✔ Selenium 설치
✔ Ted 사이트에서 한국어 자료 크롤링
✔ KOSIS 국가통계포털 데이터 크롤링

6회차. 웹 페이지의 이미지와 동영상 파일 크롤링

강의 내용 자세히보기

[이론]
– 이미지 및 파일 크롤링

[실습]
✔ 유튜브 영상에서 이미지 크롤링
✔ 유튜브 영상파일 크롤링
✔ 쇼핑몰 상품 데이터 및 이미지 크롤링

Part 4. 업무효율 200% 늘리는 크롤링 자동화/서버 활용법으로 실전 웹크롤링 마스터!

7회차. 크롤링한 데이터 처리

강의 내용 자세히보기

[이론]
– slack 메신저로 메시지 보내기
– python으로 이메일 보내기
– 구글 스프레드 시트 컨트롤

[실습]
✔ 크롤링 완료 후 크롤링 정보 메신저로 메시지 보내기
✔ 크롤링한 csv파일을 이메일로 전송하기
✔ 크롤링한 데이터 구글 스프레드 시트에 저장

8회차. 개인 PC없이 서버에서 크롤링 자동화

강의 내용 자세히보기

[이론]
– AWS EC2 서버를 이용하여 크롤링하기
– crontab의 사용방법

[실습]
✔ 서버에서 특정시간에 데이터를 크롤링하고 csv 파일로 저장하기

강사 소개.

djPark

박두진 강사님

웹 서비스 개발, 데이터 시각화 및 분석 프로그래밍, 딥러닝을 이용한 3D MRI 이미지 분류, 웹 서비스 자동화 등 다양한 업무와 강의 경험을 보유한 개발자 입니다. 현재는 패스트캠퍼스에서의 강의와 웹과 데이터에 관련된 다양한 프로젝트 및 파이썬 관련 저서 집필중에 있습니다.

[약력]

광운대학교 전자통신학과 석사
-센서 네트워크 및 무선 개인 영역 통신(WPAN) 프로토콜 연구
-네트워크 관련 논문 8편 게재

시지온 웹서비스개발팀 팀장
-소셜 댓글 라이브리 개발
-국민은행 소셜 댓글 서비스 개발
-댓글 통계 관리 서비스 개발

JLK-INSPECTION 인공지능팀 과장
-스마트 팩토리 모니터링 서비스 개발
-뇌 MRI 3D 이미지 분류 AI 개발 및 서비스화
-KOTRA K-Global 발표

N3N 웹 서비스팀 선임연구원
-사물인터넷(IoT) 데이터 시각화 솔루션 위즈아이(Wizeye) 개발

베라노스 책임연구원
-GBI(Goal-based Investment) 기반의 금융 솔루션 개발
-삼성자산운용 GBI 시뮬레이터 개발

패스트 캠퍼스
-데이터 사이언스 스쿨 7기, 8기, Plus 프로그래밍 파트 강의 (540시간)

수강 후기.

실질적으로 가장 필요했던 것을 알게 되어 좋았고, 매번 친절한 답변에 감사합니다. -4기 수강생 K님-

중간에 수강생들의 필요에 맞춰, 강의 계획과 내용을 유연하게 바꿔주셔서 좋았습니다. -4기 수강생 P님-

강사님께서 커리큘럼에 대해 많은 고민을 하신 흔적이 보이고 상당히 짜임새가 있었다고 생각이 듭니다. -4기 수강생 J님-

pwc_4_thum

물론, 간단한 사이트는 독학만으로도 곧잘 긁어오곤 했습니다. 하지만 웹 구조 자체를 이해하지 못하다 보니, 구조가 조금이라도 바뀌어도 금새 막히기 일쑤였습니다. 수강 후엔 어떤 사이트든ㅡ이 코스를 듣기 전에는 엄두도 못냈던 사이트들까지 포함해ㅡ 전부 막힘없이 저장할 수 있게 됐습니다. 페이지에 첨부되어 있는 첨부파일까지요! 만약 파이썬 기본기가 갖춰져 있고, 크롤링를 자유자재로 하고자 하는 동기가 확실하다면, 이 코스를 추천합니다. 코드만 따라 하던 수준을 넘어 웹 구조부터 제대로 이해하고, 독학으로는 알 수 없는 전문가의 노하우까지 빠르게 얻어 갈 수 있을 겁니다.

나에게 필요한 강의인지 모르겠다면,
이런 분들에게 추천드립니다!

icon_man4_3_oh

웹사이트에 대한
이해가 전혀 없어
크롤링에 어려움을 겪는 분

icon_woman3_1_normal

사이트가 바뀔 때마다
새로운 크롤링 방법을
배워야 하는지 고민이신 분

icon_woman1_3_oh

CTRL+C, CTRL+V 반복이 아닌,
크롤링을 통해 내 시간을
효율적으로 활용하고 싶은 분

icon_man4_3_oh

웹 사이트에서
내가 원하는 정보만 효율적으로
수집하고 싶은 실무자

수강신청 전, 퀴즈를 풀어보고
이 수업이 나랑 맞는지 Check! Check!

2문제 이상 정답을 맞췄다면, 본 강의를 무리 없이 수강 하실 수 있습니다.
2문제를 맞추지 못했더라도 걱정마세요! 파이썬 기초를 조금 더 공부한 후에 다시 만나요✋✋

{ FASTCAMPUS COMMUNITY MEMBERSHIP }

패스트캠퍼스 오프라인 강의를 수강하셨다면!
별도의 가입절차없이 패스트캠퍼스 커뮤니티 멤버쉽 회원이 됩니다.
커뮤니티 멤버쉽은 수강 후 1년 동안 유지되며,
오직 멤버들만을 위한 비공개 스터디클럽, 네트워킹행사, 세미나 등 비정기적 행사에 모실 예정입니다.


잠깐! 2억원 환급금 받아가세요! (~7/17 까지)
7월 한달간, 출석을 인증하고 후기를 작성하신 분 200분께, 50만원~100만원 상당의 수강쿠폰을 드립니다.

· 쿠폰은 10/1에 지급되며, 10월 한달 간 사용 가능합니다.
· 출석인증: 매주 수업 시 출석여부를 확인할 수 있는 강의장 문앞 강의명 안내표 인증사진을 #패스트캠퍼스 #공부하고100만원받고 #자기계발 태그를 붙여 인스타그램 개인 계정에 게시해야합니다.
· 후기작성: 종강 후 수강한 강의의 상세 후기를 네이버 블로그에 작성하고 공개해주셔야 합니다.

수강료안내.

강의 정보, 한 번 더 확인!

기 간 : 2019.11. 18 – 12. 10
일 정 : 매주 월/화요일 19:30 – 22:30 (총 3시간)
준비물 : 개인 노트북
장 소 : 패스트캠퍼스 강의장


할인가 56만원 정가 80만원

지금 결제하면 30% 할인!
10월 24일까지 할인
회원가입 이벤트 쿠폰이 적용된 한정 할인가입니다. 

✓ 본 강의는 결제 순으로 마감되는 강의입니다.
✓ 매주 목요일마다 가격이 소폭 상승합니다.

이번에는 시간이 안되신다고요??

출시알림을 신청해주세요

최저가로 강의를 수강할 수 있게, 다음 기수 개강 시 가장 먼저 메일을 보내드립니다.

강의장안내.

학습 지원 프로젝트

공부도 하고! 학습지원금도 받고!

*학습지원금(제세공과금 22% 차감 후 지급)은 강의마다 개인마다 상이할 수 있습니다.

학습 목표. 과제 100% 제출

*제출 시간을 엄수하지 못한 노트는 추후 환급에 불이익이 있습니다.
-매주 목요일 자정 24:00까지 아래와 같이 메일제목을 설정하여 이메일로 과제를 제출합니다.[과제제출][데이터사이언스]_파이썬을 활용한 실전 웹크롤링 7기_N주차_성함으로 매주 목요일 자정까지 제출합니다.

학습지원금을 받으려면?

미션을 모두 완료하면 신청페이지를 통해 신청 가능합니다.
다만, 강의 종료 후 30일 이내에 신청페이지를 통해서 신청해주셔야 합니다.
아래의 환급신청 링크로 신분증 사본 / 환급받을 통장사본을 제출 (반드시 본인 명의로만 가능)해 주세요.
결제한 수강료의 10% (환급 금액의 22% 제세공과금으로 차감) 를 드리며, 학습지원금은 개인마다 상이할 수 있습니다.

환불규정

* 학습지원금은 기수강생 및 얼리버드 할인과 중복 적용이 가능합니다. (기타 다른 이벤트와 중복 적용이 불가합니다.)
* 과제물이 허위로 작성되거나 표절일 경우 환급이 거절될 수 있습니다.
* 환불은 환불규정(https://www.fastcampus.co.kr/refund/)에 따라 진행됩니다. 규정에 의거하여 환불금액이 없을 수 있습니다.

파이썬으로 웹 크롤링과 자동화의 정석을 다지는 강의!

할인마감 → D-