학습목표를 끝까지 달성하고
결제액의 최대 20% 학습지원금을 받아가세요!

텍스트부터 이미지/동영상까지

파이썬을 활용한
실전 웹크롤링 CAMP

데이터 사이언티스트가 되는 첫 걸음
체계 잡힌 실전 크롤링의 AtoZ를 만나보세요.

#크롤링체계#문제해결력
#실습형강의

텍스트부터 이미지/동영상까지

파이썬을 활용한
실전 웹크롤링 CAMP

데이터 사이언티스트가 되는 첫 걸음
체계 잡힌 실전 크롤링의 AtoZ를 만나보세요.

#크롤링체계#문제해결력#실습형강의

기간 & 일정

2019.05.18 – 07.13
매주 토요일 10:00 – 13:00
주 1회, 총 24시간
*6/15 휴강

장소 & 준비물

패스트캠퍼스 강남강의장
강남역 4번 출구, 미왕빌딩
개인노트북

담당자 & 문의

이샘 매니저
02-518-4822
help-ds@fastcampus.co.kr

데이터 수집, 대체 어떻게 해야 하나요?

데이터 분석의 첫 관문, ‘웹 크롤링’.


“SNS 댓글을 모아야 하는데…”
“인스타그램이나 유튜브의 이미지, 동영상 데이터까지
자유자재로 수집하려면 어떻게 해야 하죠?”

내게 딱 맞는 크롤링 해설 찾기는 하늘의 별따기,
간신히 찾아 따라하다보면 어김없이 등장하는 에러 메시지.

데이터 분석은 아직 시작하지도 못했는데 –
웹크롤링 실전 환경은 냉혹하기만 합니다.

인터넷 상의 예제나 코드 조각들로 크롤러를 만들었는데 자꾸 오류가 납니다.

분명 크롤링되던 사이트인데, 어느날 갑자기 안됩니다. 왜 그런거죠?

텍스트 크롤링도 시간이 많이 걸리는데, 이미지/동영상 수집은 어떻게 하죠?

반복적인 크롤링을 매번 처음부터 시작하려니 너무 번거로워요.

인터넷 상의 예제나 코드 조각들로 크롤러를 만들었는데, 자꾸만 오류가 납니다.

분명 크롤링되던 사이트인데, 어느날 갑자기 안됩니다. 왜 그런거죠?

사이트마다 다 제각각… A사이트에선 돌아가던 크롤러가 B사이트에선 또 안됩니다.

우여곡절 끝에 크롤링한 데이터가 너무 엉망진창이라 쓸 수가 없습니다. 어쩌죠?

인터넷 검색, 시중 교재만 잘 찾아보면 될 거라고요?
……
정리 안 되는 웹자료’, ‘불만족스런 종이책’으로

자료 조사만 하다가 포기하는 실수반복하실 건가요?

나만의 목적에 맞는 크롤링 방법을 찾는 가장 효율적인 방법은
직접 전문 코치과 1:1로 훈련하는 것뿐입니다.

웹 서비스 개발 부문에서 실력을 인정받은 실무 전문 강사님과
당신의 웹크롤링 스킬의 체계를 바로 세우세요!

 1 

꼭 필요한 기본지식 다잡기

본격적인 크롤링에 앞서, 파이썬 기본문법의 빠른 리뷰와 웹 서비스의 기본 구조를 살펴봅니다.

 2 

웹의 이해와 데이터 크롤링

API로 데이터를 주고 받는 json 포맷과, 웹페이지 화면을 구성하는 HTML 포맷에서의 데이터 크롤링 기법을 배웁니다.

 3 

이미지/파일 데이터 크롤링

Requests 패키지와 웹페이지 내 이미지 및 파일을 크롤링하는 법을 배웁니다.

 4 

크롤링 자동화/서버 활용법

크롤링 데이터 처리법과 서버 자동화 방법을 배웁니다.

수강 이후 어떤 웹페이지를 만나도 마음껏 크롤링하시라고-
응용력 200% 향상시킬 다양한 실습 예제
여러분의 크롤링에도 날개를 달아보세요

실습 예시

코스피 주가 데이터 크롤링

테드 영상 제목 및 영상 링크 크롤링

유튜브 영상, 이미지로 크롤링

직방 동별 매물 데이터 크롤링 후
구글 스프레드시트 저장하기

공부도 하고!
학습지원금도 받고!

결제액의 10%를 학습지원금으로 드립니다.

패스트캠퍼스의 수강의지를 강화하기 위한 지원금 제도를 운영합니다
패캠이 제안하는 학습 목표를 달성하고 커리어 이상의 성취감을 얻어가길 바랍니다.

*학습지원금은 제세공과금(22%)을 제하고 드립니다.

출석

100% 참석

과제/학습노트

100% 제출

수강생 한 줄평

더 자세한 수강 후기를 확인하세요!

물론, 간단한 사이트는 독학만으로도 곧잘 긁어오곤 했습니다. 하지만 웹 구조 자체를 이해하지 못하다 보니, 구조가 조금이라도 바뀌어도 금새 막히기 일쑤였습니다. 수강 후엔 어떤 사이트든ㅡ이 코스를 듣기 전에는 엄두도 못냈던 사이트들까지 포함해ㅡ 전부 막힘없이 저장할 수 있게 됐습니다. 페이지에 첨부되어 있는 첨부파일까지요! 만약 파이썬 기본기가 갖춰져 있고, 크롤링를 자유자재로 하고자 하는 동기가 확실하다면, 이 코스를 추천합니다. 코드만 따라 하던 수준을 넘어 웹 구조부터 제대로 이해하고, 독학으로는 알 수 없는 전문가의 노하우까지 빠르게 얻어 갈 수 있을 겁니다.

“아, 내가 찾던 그 강의다!” 싶다면,

수강대상

웹사이트에 대한 이해가 전혀 없어 크롤링에 어려움을 겪는 파이썬 유저
(파이썬의 기초 : 객체, 변수 등이 무엇인지 알고, for문을 보았을 때 설명없이 코딩을 이해하는 정도)

웹사이트에서 내가 원하는 정보를 더 적은 노력으로, 빠르게 수집하고 싶은 실무자

사이트가 바뀔 때마다 크롤링 방법을 새로 배우는 것에 진절머리가 난 자

Ctrl+C, Ctrl+V의 노가다는 이제 그만, 크롤링을 통해 내 시간을 효율적으로 활용하고 싶은 자 (feat.칼퇴)

데이터의 홍수 속에서 내가 원하는 데이터만 효율적으로 수집하고 싶은 자

자주묻는 질문

Q. 파이썬, 얼마나 알고 있어야 이 코스를 원만히 소화할 수 있을까요?

본 캠프는 파이썬의 기초 문법 정도는 알고 계신 분들에게 적합합니다. 수강신청에 앞서 다음 항목 중 2가지 이상에 해당되는지 자가진단해보세요! 자세한 강의 난이도가 궁금하신 분은 언제든 담당 매니저에게 문의주시면 친절히 상담해 드립니다.

✓ 파이썬을 활용하여 코드를 돌려본 경험이 있다.

✓ 파이썬에서  for문, while문 등 반복문 코드를 보고 이해할 수 있다.

✓ 파이썬에서 list, tuple, dictionary가 무슨 의미인지 알고 있다.

커리큘럼

Part 1. 파이썬 문법 리뷰 및 웹 서비스의 이해 : 크롤링에 앞서 꼭 필요한 파이썬/웹서비스의 기초지식 이해

1회차 | 파이썬 문법 퀵리뷰(Quick-Review) / Pandas 패키지

이론

  • Python 문법 리뷰
  • 정규표현식(Regex) 이해
  • Python 데이터 분석 패키지 Pandas 

실습

  • 중고나라에서 입력된 전화번호 숫자로 변환
  • 타이타닉 데이터 전처리
  • pandas의 Dataframe 객체 csv, excel 파일로 저장하기

2회차 |  웹서비스 기본 개념 이해 / 실제 구조 파악

이론

  • 웹 서비스에 대한 이해
  • HTML, CSS, Chrome 브라우져
  • 크롤링의 기초 이해

실습

  • 네이버 웹 페이지 코드 분석
  • 직방 웹 페이지 코드 분석

Part 2. 웹페이지 분석과 데이터 크롤링 : Requests 패키지로 문자열 데이터 크롤링하기

3회차 | API로 데이터를 주고 받는 Json 포맷의 크롤링

이론

  • Requests를 이용한 json 포맷 크롤링

실습

  • 주식 시세 데이터 크롤링
  • DarkSky API에서 날씨 정보 크롤링
  • 직방 매물 정보 크롤링

4회차 | 웹 페이지 화면을 구성하는 HTML 포맷의 크롤링

이론

  • Requests를 이용한 HTML 포멧 크롤링
  • fake useragnet 사용하기

실습

  • 네이버, 다음 실시간 검색어 순위 크롤링
  • playnomore 쇼핑몰 페이지 크롤링

Part 3. 브라우저 제어를 통한 이미지/파일 데이터의 크롤링 : Selenium 패키지 – 로그인 필요한 사이트, 이미지와 영상 자료 수집이 가능해지는 브라우저 제어 데이터 크롤링

5회차 | Requests 패키지로 크롤링 안되는 웹 페이지 크롤링

이론

  • Selenium을 이용한 크롤링

실습

  • Selenium 설치
  • Ted 사이트에서 한국어 자료 크롤링
  • KOSIS 국가통계포털 데이터 크롤링

6회차 | 웹 페이지의 이미지와 동영상 파일 크롤링

이론

  • 이미지 및 파일 크롤링

실습

  • 유튜브 영상에서 이미지 크롤링
  • 유튜브 영상파일 크롤링
  • 쇼핑몰 상품 데이터 및 이미지 크롤링

Part 4. 업무효율 200% 늘리는 크롤링 자동화/서버 활용법 : 크롤링 후 데이터 저장 방법, 서버를 이용한 개인 PC 없는 크롤링 방법, 주기적으로 자동 크롤링하는 법

7회차 | 크롤링한 데이터 처리

이론

  • slack 메신저로 메시지 보내기
  • python으로 이메일 보내기
  • 구글 스프레드 시트 컨트롤

실습

  • 크롤링 완료 후 크롤링 정보 메신저로 메시지 보내기
  • 크롤링한 csv파일을 이메일로 전송하기
  • 크롤링한 데이터 구글 스프레드 시트에 저장

8회차 | 개인 PC없이 서버에서 크롤링 자동화

이론

  • AWS EC2 서버를 이용하여 크롤링하기
  • crontab의 사용방법

실습

  • 서버에서 특정시간에 데이터를 크롤링하고 csv 파일로 저장하기

강의에 대한 전반적인 소개를 한 눈에 보고 싶다면? 교육 과정 소개서를 확인해주세요!
* 본 소개서는 회사 제출용으로도 사용 가능합니다.

강사 소개

djPark

박두진 강사님

안녕하세요, 박두진입니다. 웹서비스 개발, 데이터 시각화 및 분석 프로그래밍, 딥러닝을 이용한 3D MRI 이미지 분류, 웹 서비스 자동화 등 부문에서의 업무 경험과 강의 경험을 갖추고 있고 있습니다. 현재 패스트캠퍼스에서 강의를 하고 있고요, 웹/데이터에 관련된 다양한 프로젝트 수행 및 파이썬 관련 저서를 집필 중에 있습니다.

강사님 주요 약력 더 보기

  • 광운대학교 전자통신학과 석사
  • 센서 네트워크 및 무선 개인 영역 통신(WPAN) 프로토콜 연구
  • 네트워크 관련 논문 8편 게재

 

  • 시지온 웹서비스개발팀 팀장
  • 소셜 댓글 라이브리 개발
  • 국민은행 소셜 댓글 서비스 개발
  • 댓글 통계 관리 서비스 개발

 

  • JLK-INSPECTION 인공지능팀 과장
  • 스마트 팩토리 모니터링 서비스 개발
  • 뇌 MRI 3D 이미지 분류 AI 개발 및 서비스화
  • KOTRA K-Global 발표

 

  • N3N 웹 서비스팀 선임연구원
  • 사물인터넷(IoT) 데이터 시각화 솔루션 위즈아이(Wizeye) 개발

 

  • 베라노스 책임연구원
  • GBI(Goal-based Investment) 기반의 금융 솔루션 개발
  • 삼성자산운용 GBI 시뮬레이터 개발

 

  • 패스트캠퍼스
  • 데이터 사이언스 스쿨 7기, 8기, Plus 프로그래밍 파트 강의 (540시간)

{ FASTCAMPUS COMMUNITY MEMBERSHIP }

패스트캠퍼스 오프라인 강의를 수강하셨다면!
별도의 가입절차없이 패스트캠퍼스 커뮤니티 멤버쉽 회원이 됩니다.
커뮤니티 멤버쉽은 수강 후 1년 동안 유지되며,
오직 멤버들만을 위한 비공개 스터디클럽, 네트워킹행사, 세미나 등 비정기적 행사에 모실 예정입니다.

수강료

일반등록가 80만원

학습 지원 프로젝트

공부도 하고! 학습지원금도 받고!

*학습지원금(제세공과금 22% 차감 후 지급)은 강의마다 개인마다 상이할 수 있습니다.

학습 목표 1. 과제 및 학습노트 제출

매주 목요일 자정 24:00까지 아래의 제목 양식에 맞춰 이메일로 과제를 제출해 주세요.
[과제제출][데이터사이언스]_파이썬을 활용한 실전 웹크롤링 6기_N주차_성함
제출 시간을 엄수해 주세요! 기한을 넘겨 과제를 제출할 경우, 환급 시 불이익이 따릅니다.

 

# 주차별 제출 기한

1주차 : 5월 23일(목) 자정
2주차 : 5월 30일(목) 자정
3주차 : 6월 6일(목) 자정
4주차 : 6월 13일(목) 자정
5주차 : 6월 27일(목) 자정
6주차 : 7월 4일(목) 자정
7주차 : 7월 11일(목) 자정
8주차 : 7월 18일(목) 자정

학습지원금을 받으려면?

미션을 모두 완료하면 신청페이지를 통해 신청 가능합니다.
다만, 강의 종료 후 2주 이내에 신청페이지를 통해 신청해주셔야 합니다. 환급은 2주 동안 환급 신청을 받은 후, 익월 말일에 일괄 진행합니다.
아래의 환급신청 링크로 신분증 사본 / 환급받을 통장사본을 제출 (반드시 본인 명의로만 가능)해 주세요.
결제한 수강료의 10% (환급 금액의 22% 제세공과금으로 차감) 를 드리며, 학습지원금은 개인마다 상이할 수 있습니다.

환불규정

* 학습지원금은 기수강생 할인만 중복 적용이 가능합니다. (기타 다른 이벤트와 중복 적용이 불가합니다.)
* 과제물이 허위로 작성되거나 표절일 경우 환급이 거절될 수 있습니다.
* 환불은 환불규정(https://www.fastcampus.co.kr/refund/)에 따라 진행됩니다. 규정에 의거하여 환불금액이 없을 수 있습니다.