메뉴 바로가기 검색 및 카테고리 바로가기 본문 바로가기

한빛출판네트워크

웹 데이터 수집의 기술

데이터와 크롤링을 몰라도 엑셀 및 구글 스프레드시트로 쉽게 할 수 있는

한빛미디어

번역서

절판

  • 저자 : 타쿠로 사사키
  • 번역 : 김경록
  • 출간 : 2017-08-15
  • 페이지 : 252 쪽
  • ISBN : 9788968489990
  • 물류코드 :2999
  • 초급 초중급 중급 중고급 고급
4점 (2명)
좋아요 : 31

프로그램에 대한 배경 지식이 ‘1’도 없는 사람일지라도

엑셀, 구글 스프레드시트로 쉽게 할 수 있는 데이터 수집 방법!

 

웹에는 방대한 데이터가 모인다. 대형 정보관리체계로 유명한 Dell EMC 사의 통계에 따르면 2000년에 6.2엑사바이트였던 데이터가 해마다 증가해 2020년에는 35제타바이트에 달할 것으로 예상하고 있다. 제타바이트는 엑사바이트의 1,000배이므로 약 20년간 5,000배 이상의 데이터가 증가할 것이며, 이렇게 생성된 데이터의 약 94%는 디지털 형태로 구성되어있다. 이는 새로 생성된 데이터 대부분이 디지털 형태로 탄생하고 있다는 의미이다. 디지털화된 모든 데이터의 정보가 웹에 존재하는 것은 아니지만, 대다수의 디지털 데이터가 웹을 통해 공유되는 만큼 웹 데이터의 활용이 정보 수집 및 의사 결정에 도움이 된다는 것은 부정할 수 없는 현실이다.

이 책은 그러한 ‘디지털 데이터’를 ‘되도록 쉽게, 그리고 효율적으로 웹에서 수집하는 방법’을 설명하고 있다. 데이터 수집의 효율을 극대화하기 위해 프로그램을 개발하기도 하지만 이 책은 웬만하면 많은 사람이 사용할 수 있도록 엑셀과 구글 스프레드시트 같이 구하기 쉽고, 특별한 프로그램 환경 구축이 필요치 않은 애플리케이션을 이용하고 있다. 프로그래밍 경험이 없는 사람이라도 쉽게 따라할 수 있도록 모든 절차를 자세히 설명하고 있으므로 누구든 안심하고 데이터 수집의 자동화 세계에 입문할 수 있다.

 

Web_data_733px.jpg

 

타쿠로 사사키 저자

타쿠로 사사키

대학 졸업 이후 지금까지 웹 시스템 개발에 종사했으며, 기획부터 디자인 개발, 운영에 이르는 모든 분야의 전문가이다. 웹의 대상 영역을 IoT 및 머신러닝 등으로 넓혀 가고 있으며, 실리콘밸리 근무 시절에는 오픈 소스 R&D 및 해외 제품의 수입 등에도 관여하였다. 최근에는 AWS 사업 추진 및 모바일 앱을 개발하면서 어떻게 하면 편한 삶을 살 수 있는지를 찾기 위해 더욱 바쁘게 일하고 있 다. 주요 저서로는 『RUBY로 만드는 크롤러 제작 기술』, 『AmazonWebServices 패턴별 구축 및 운영 가이드』, 『AmazonWebServices 클라우드 네이티브 애플리케이션 개발 기술』(SB크리에이티브) 등이 있다.

 

김경록 역자

김경록

현재 개발자로 웹 프론트엔드, 백엔드 개발을 주로 하고 있다. 최근에는 React+Webpack을 이용한 웹 프론트 엔드를 개발 및 운영했으며(2016), 현재는 Spring Data JPA를 이용한 백엔드를 개발하고 있다(2017). ‘경록김의 뷰티플 프로그래밍’ 블로그를 통해 ‘Udemy 스프링’과 ‘EXCEL VBA(엄마도 따라 할 수 있는 EXCEL VBA)’ 강좌를 하고 있으며, 패스트캠퍼스에서 프로그래밍 강사로 활동하고 있다. 

http://krksap.tistory.com/

Chapter 1 웹 데이터를 수집하기 위해 알아야 하는 것들

1-1 인터넷에는 데이터가 많죠? 

_ 웹 데이터의 종류 

[여기서 잠깐] 이 책에서 대상으로 하는 데이터 

1-2 효율적인 데이터 수집을 위해 해야 할 일 

_ 데이터 수집 3단계 

1-3 어떻게 자동화 할 수 있을까? 

_ 스크래핑과 크롤러 

_ 반자동화 프로그램 

_ 완전 자동화 프로그램 

[여기서 잠깐] 이 책의 진행 방식 

1-4 웹에서 데이터를 수집할 때의 주의사항 

_ 수집 데이터의 처리와 저작권 

_ 웹 사이트의 리소스 압박과 업무 방해 

_ 크롤러와 API 

 

Chapter 2 엑셀을 이용한 웹 데이터 수집의 기술

2-1 엑셀 VBA로 웹 데이터 수집하기 

_ 엑셀로 데이터 수집하기 

_ 엑셀에서 VBA를 사용하기 위한 메뉴 설정하기 

_ 데이터 수집에 필요한 프로그램 작성하기 

2-2 VBA에서 인터넷 익스플로러를 조작하는 방법 

_ 맨 윗줄, 어떤 것을 할지 선언하는 부분 

_ VBA 함수 선언 

_ 인터넷 익스플로러 작업 

2-3 웹 페이지에서 원하는 값을 추출하는 방법 

_ HTML이란? 

_ HTML에서 class로 데이터를 추출하는 프로그램 

[여기서 잠깐] 검색어 변경하는 방법 

2-4 XPath를 이용해 데이터 추출하기 

_ 크롬에서 XPath를 추출하는 방법 

_ 파이어폭스에서 XPath를 추출하는 방법 

2-5 엑셀 함수를 이용한 데이터 수집 

_ WEBSERVICE 함수를 이용한 데이터 수집 

_ FILTERXML 함수를 이용한 데이터 수집 

 

Chapter 3 구글 스프레드시트를 이용한 웹 데이터 수집의 기술

3-1 구글 스프레드시트와 구글 앱스 스크립트 준비하기 

_ 구글 스프레드시트 

_ 구글 앱스 스크립트 

_ GoogleFinance 함수를 이용하여 주식 데이터 바로 가져오기 

_ 구글 스프레드시트로 스크래핑하기 

3-2 ImportXML 함수를 이용하여 웹 데이터 수집하기 

_ ImportXML 함수의 개요 

_ 주가 데이터 수집 방법 

_ 데이터 가지고 오기 

[여기서 잠깐] ImportXML에서 다른 데이터 검색하기 

3-3 구글 앱스 스크립트를 이용하여 데이터 수집하기 

_ 구글 앱스 스크립트 사용 방법 

_ 구글 앱스 스크립트를 이용한 스크래핑 

[여기서 잠깐] 다른 페이지에서 데이터 가져오기 

3-4 지정한 시간에 정기적으로 데이터 수집하기 

_ 구글 앱스 스크립트 트리거 

_ 트리거 설정 방법 

 

Chapter 4 스크래핑 전용 서비스를 이용하여 웹에서 데이터 수집하기

4-1 import.io를 사용하여 웹 데이터 수집하기 

_ import.io 서비스의 개요 

4-2 import.io에서 스크래핑 실행하기 

_ import.io 회원 가입하기 

_ 데이터 자동 추출하기 

_ 저장한 데이터 불러오기 

_ API 이용해 데이터 불러오기 

4-3 수집한 데이터를 구글 스프레드시트로 불러오기 

_ 구글 스프레드시트와 연동

_ 구글 앱스 스크립트에서 API 호출하기

 

Chapter 5 앱을 이용하여 페이스북에서 데이터 수집하기

5-1 앱을 이용하여 데이터를 수집하고 알림 받기 

_ 알림을 받기 위한 애플리케이션

_ IFTTT 소개 

_ 슬랙(Slack) 소개 

5-2 IFTTT를 이용해 페이스북에 글 올리면 이메일로 알림 받기

_ IFTTT 회원 가입하기

_ 모바일 앱 설치하기 

_ 페이스북에 포스트를 올리면 알림이 오는 기능 만들기 

5-3 슬랙을 이용하여 신문기사(RSS)가 등록될 때 알림 받기 …140

슬랙 회원 가입 …140

RSS 피드 수집 …144

신문 기사가 새로 등록될 때마다 모바일로 실시간 알림 받기 …150

 

Chapter 6

다양한 데이터 수집하기

6-1 회사·상품에 관련된 정보 수집하기 …156

키워드 수집의 목적 …156

수집, 저장, 알림 방법 …157

[여기서 잠깐] 키워드 검색 연산자 …170

6-2 웹에서 특정 키워드가 새롭게 검색될 때마다 해당 정보 수집하기 …158

구글 알리미 설정 …158

IFTTT 설정 …162

[여기서 잠깐] 키워드 검색 연산자 …170

6-3 트위터에서 특정 키워드를 포함한 트윗을 수집하고 저장하기 …171

IFTTT에서 애플릿 만들기 …171

6-4 앱스토어에서 iOS 앱 랭킹 수집하기 …179

랭킹 RSS 피드 …179

랭킹 수집 …182

[여기서 잠깐] RSS를 변경하여 다른 사이트의 정보를 받아오는 방법 …185

앱스토어의 순위 정보 결과를 날짜별로 시트에 저장하기 …186

매일 지정된 시간에 실행하기 …192

0_도입부(p1-15).indd 14 2017-07-31 오후 2:48:10

6-5 구글 플레이에서 안드로이드 앱 순위 얻기 …195

Import.io를 사용한 데이터 수집 …196

구글 스프레드시트에 결과 저장하기 …199

한국 랭킹 받아오기 …200

[여기서 잠깐] 다른 랭킹 가져오기 …203

6-6 고객 리뷰 수집하기 …204

Import.io를 이용한 수집 방법 …204

구글 앱스 스크립트를 이용한 수집 방법 …207

6-7 상장 기업의 시가 총액 수집하기 …216

종목 코드 목록 검색 …216

주가 정보 수집 …218

[여기서 잠깐] GoogleFinance 함수 사용법 찾기 …222

시간순으로 주식 데이터 수집하기 …225

6-8 여러 페이지 크롤링하기 …228

엑셀 VBA로 페이지 크롤링하기 …231

6-9 구글맵 활용해서 데이터 시각화하기 …241

표와 그래프 …241

구글 내 지도를 이용한 지도 데이터 연동 …243

위도, 경도 알아내기 …248

# 데이터와 크롤링을 몰라도 엑셀 및 구글 스프레드시트로 쉽게 할 수 있다

지금까지 데이터를 수집하는 방법을 설명한 책은 파이썬, 루비 등과 같은 프로그램 언어를 이용하여 사용자가 직접 크롤러를 만드는 기술을 설명한 책이 전부다. 그러나 데이터 수집은 IT 개발자가 아닌 마케터도 제품 및 서비스에 대한 고객 반응을 분석하기 위해 필요하고, 컨설턴트가 특정 기업의 매출 추이 및 인터넷에 노출된 정보의 다양한 상관관계를 분석하기 위해서도 필요하다. 하다못해 수시로 기획안 및 제안서를 작성하는 회사원들도 근거 있는 한 줄 내용을 쓰기 위해 다양한 데이터가 필요하다. 

이 책은 그러한 마케터와 컨설턴트 등 일반 직장인들에게 데이터를 수집하는 방법을 알려주고자 의도적으로 집필된 책으로, 프로그래밍 없이 데이터를 수집하는 방법과 엑셀, 구글 스프레드시트의 셀 함수 등을 사용하고, 부득이하게 프로그래밍이 필요한 경우에도 엑셀의 VBA와 구글 앱스 스크립트 등 별도의 프로그래밍 환경을 구축할 필요가 없는 방법에 대해 다루고 있다. 그렇기 때문에 그 동안 데이터 수집이 필요했지만 어려운 전문 용어 때문에 관련 도서를 한 페이지도 넘기기 힘들었던 독자들은 이 책의 내용을 매우 쉽게 읽어 내려갈 수 있을 것이다.

 

# 이 책은 텍스트 데이터의 효율적인 수집을 목적으로 한다

텍스트 데이터에는 다양한 종류가 있다. 논문이나 뉴스, 페이스북이나 트위터와 같은 SNS에 올라오는 글, 회사 및 상품 정보, 고객 리뷰 등 자연어에 가까운 데이터에서부터 주식 정보, 각종 순위 같은 수치 데이터까지 다양하다. 이 책에서 데이터 수집의 목적은 ‘독자 개인을 위해’ 혹은 ‘비즈니스에서의’ 활용에 있으며, 구체적인 목표를 설정하고 몇 가지의 활용 사례를 통해 기술들을 응용하여 다양한 데이터를 수집함으로써 자연어와 수치 데이터 양쪽 모두 활용할 수 있도록 하고 있다. 

 

# 웹에서 데이터를 효율적으로 수집하기 위한 핵심은 자동화에 있다

웹에서 데이터를 효율적으로 수집하기 위한 핵심은 자동화에 있다. 자동화를 해놓으면 내가 자는 시간에도 데이터를 수집할 수 있다. 이 책에서 다루는 자동화의 유형은 2가지가 있다. 하나는 일부 작업을 수동으로 하는 반자동화가 있고, 다른 하나는 수작업은 완전히 배제하고 컴퓨터에서 자동 혹은 정기적으로 데이터를 검색하는 완전 자동화가 있다. 이 책에서는 각각의 장단점을 소개하고 있으므로 이를 활용하여 장기간 데이터를 축적해 기초 분석 데이터로 이용할지, 실시간으로 수집한 자료를 분석해 현재 시점의 의사 결정에 도움이 되도록 할지를 선택적으로 활용해 보자.

 

대한민국에서 데이터 과학의 많은 기술들은 이상 새로움과 신선함을 주는 분야는 아니다.

관련 분야를 종사하지 않고, 전공하지 않았더라도 한번쯤은 머신러닝이나 딥러닝(또는 알파고)이라는 단어를 접해봤고, 인공지능이라는 단어는 더욱 친숙하다. 설령 그것이 정확히 어떻게 구현되어 무슨 기능을 하는지는 몰라도 말이다. 그만큼 사회적인 붐이 일고 있다는 것이다.

전세계적으로 기술 트렌드를 이끌고 있는 분야 하나인 데이터 과학에 대해서 많은 이들의 관심과 이목이 집중된다는 것은 물론, 명과 암이 있겠지만 대체로 반가운 현상이라고 있겠다.

 

데이터 과학은 실제로는 굉장히 폭이 넓고 깊이가 깊은 분야를 총칭한다. 그래서 그것이 무엇이며 어떠한 과정으로 이루어지는지를 애둘러 말하기는 다소 무리가 있지만 그래도 어느 정도 일반화된 방법론들이 있다. 중에서 데이터를 모으는 행위, 흔히 데이터 수집이라고 일컫는 과정은 모든 파생분야의 공통분모와도 같은 초기 접근 단계이다. 모아져 있는 데이터를 이용하여 진행하는 프로젝트라고 하더라도 데이터의 추가적인 수집은 발생할 수밖에 없는 절차인데 하물며 직접 문제를 정의하고 시작하는 프로젝트라면 데이터의 수집은 어떤 건축물을 세우기 위한 공사에서 지반을 다지는 것만큼의 중요한 공정이다.

 

' 데이터 수집의 기술 (지은이 : 타쿠로 사사키, 옮긴이 : 김경록, 펴낸곳 : 한빛미디어㈜' 웹에서의 많은 데이터를 수집하는 과정을 우리에게 너무도 친숙한 도구들(마이크로소프트 엑셀, 구글 스프레드시트 ) 이용하여 설명한다.

지은이의 글을 통해 타쿠로 사사키 작가는 누구나 쉽게 배우고 쉽게 따라할 있게 하기 위해 책을 집필했음을 강조하고 있다. 그래서 책은 , 스크래핑과 크롤링, 프로그래밍 언어에 대한 깊은 지식이 없어도 엑셀과 같은 스프레드 시트 프로그램을 써본 사용자라면 쉽게 개념을 잡고 따라해볼 있다. , 데이터를 수집해 있다.

 

6개의 챕터로 구성되어 있다.

Chapter 1. 데이터를 수집하기 위해 알아야 하는 것들

Chapter 2. 엑셀을 이용한 데이터 수집의 기술

Chapter 3. 구글 스프레드시트를 이용한 데이터 수집의 기술

Chapter 4. 스크래핑 전용 서비스를 이용하여 웹에서 데이터 수집하기

Chapter 5. 앱을 이용하여 페이스북에서 데이터 수집하기

Chapter 6. 다양한 데이터 수집하기

 

챕터의 면면을 살펴보면 친숙한 프로그램들이 곳곳에 포진되어 있다. 필자가 학부에서 상경계열을 전공하고, 컴퓨터는 학습과 업무용으로 사용하며 프로그래밍 언어는 접해본 경험이 거의 없는 수준임에도 그렇다. 것이 책의 가장 장점이라고 생각된다. 익숙한 도구를 이용한다는 것은 장점이다. 매일 먹던 음식도 다른 나에게 익숙한 수저가 아닌 생소한 도구로 먹으려면 힘들고 어렵다. 짜증난다. 그런데 생소한 음식도 나에게 익숙한 수저로 먹기 시작한다면 음식의 맛이 있고 없고를 떠나서 이질감이 감소한다. 조금 앞에 놓여진 음식에만 집중할 있다.

 

쉬운 마음으로 접할 있다 보니 유의해야 것이 있다. 눈으로 보는 책이 아니다. 손으로 보는 책이다.

반드시 책에서 알려주는 순서대로 차분하게 따라해 보아야 한다. 쪽당 글자 수는 적고 실제 프로그램의 캡처 사진이 많다. 그러다보니 눈으로만 책을 보게 되면 책장이 술술 넘어간다. 그리고 마지막 책장을 덮을 때쯤에는 머리속에는 남는 것이 없을 것이다. 그러니 가급적이면 이동수단에서 읽기 보다는 컴퓨터가 있는 곳에서 책을 보면서 천천히 따라해보기를 권한다.

 

재미있는 겉핥기

아마도 책의 지은이의 가장 고민은 '어디까지 설명해야 하는가' 아니었을까 싶다.

마음먹고 깊이 파고들면 끝도 없이 깊어질 분야들을 엮었기 때문이다.

책을 읽고 나서 " 데이터 수집"이라는 꽤나 유용한 기술을 익숙한 가지 도구를 통해서 직접 해보면서 재미 또는 흥미를 느끼고, 본인의 판단에 적합한 도구로 책에 소개되지 않은 데이터 수집을 해보면서 공부를 이어나가게 된다면 책의 값어치는 충분히 해냈다고 생각된다.

처음 가보는 뷔페 음식점에서 종류별로 한두개씩 맛보면서 빠르게 한바퀴를 돈다고 생각해도 좋을 같다. 무슨 줄인지도 모른채 어떤 코너의 줄에 서고 십여분을 서있다가 맛도 없고 질기기만한 고기 한덩어리를 받아오는 우를 범하기 전에 우선은 전체를 빠르게 탐색, 관찰해 보는 것이다.

 

읽으시는 분들도 예상하겠지만 책에 소개된 내용만으로 모든 데이터를 수집할 없다.

책에 소개된 쉽고 빠른 방법들도 원리를 이해하기 위한 모든 설명을 하지는 않았다. 그랬다가는 책의 핵심 집필의도를 어기고 어려워지기 때문일 것이다.

천리 여행길을 떠나기 위해서 전체 여행코스를 슬쩍 있고 발을 내딛기 위한 방향을 소개한다고 생각하고 편안하게 페이지를 열어보자. 그리고 조금씩 조금씩 데이터를 모아보자. 시작이 반이다.

 

 

프로그램에 대한 배경 지식이 '1'도 없는 사람일지라도
엑셀, 구글 스프레드시트로 쉽게 할 수 있는 데이터 수집 방법!

웹에는 방대한 데이터가 모인다. 대형 정보관리체계로 유명한 Dell EMC 사의 통계에 따르면 2000년에 6.2엑사바이트였던 데이터가 해마다 증가해 2020년에는 35제타바이트에 달할 것으로 예상하고 있다. 제타바이트는 엑사바이트의 1,000배이므로 약 20년간 5,000배 이상의 데이터가 증가할 것이며, 이렇게 생성된 데이터의 약 94%는 디지털 형태로 구성되어있다. 이는 새로 생성된 데이터 대부분이 디지털 형태로 탄생하고 있다는 의미이다. 디지털화된 모든 데이터의 정보가 웹에 존재하는 것은 아니지만, 대다수의 디지털 데이터가 웹을 통해 공유되는 만큼 웹 데이터의 활용이 정보 수집 및 의사 결정에 도움이 된다는 것은 부정할 수 없는 현실이다.

이 책은 그러한 '디지털 데이터'를 '되도록 쉽게, 그리고 효율적으로 웹에서 수집하는 방법'을 설명하고 있다. 데이터 수집의 효율을 극대화하기 위해 프로그램을 개발하기도 하지만 이 책은 웬만하면 많은 사람이 사용할 수 있도록 엑셀과 구글 스프레드시트 같이 구하기 쉽고, 특별한 프로그램 환경 구축이 필요치 않은 애플리케이션을 이용하고 있다. 프로그래밍 경험이 없는 사람이라도 쉽게 따라할 수 있도록 모든 절차를 자세히 설명하고 있으므로 누구든 안심하고 데이터 수집의 자동화 세계에 입문할 수 있다./

# 데이터와 크롤링을 몰라도 엑셀 및 구글 스프레드시트로 쉽게 할 수 있다
지금까지 데이터를 수집하는 방법을 설명한 책은 파이썬, 루비 등과 같은 프로그램 언어를 이용하여 사용자가 직접 크롤러를 만드는 기술을 설명한 책이 전부다. 그러나 데이터 수집은 IT 개발자가 아닌 마케터도 제품 및 서비스에 대한 고객 반응을 분석하기 위해 필요하고, 컨설턴트가 특정 기업의 매출 추이 및 인터넷에 노출된 정보의 다양한 상관관계를 분석하기 위해서도 필요하다. 하다못해 수시로 기획안 및 제안서를 작성하는 회사원들도 근거 있는 한 줄 내용을 쓰기 위해 다양한 데이터가 필요하다.


이 책은 그러한 마케터와 컨설턴트 등 일반 직장인들에게 데이터를 수집하는 방법을 알려주고자 의도적으로 집필된 책으로, 프로그래밍 없이 데이터를 수집하는 방법과 엑셀, 구글 스프레드시트의 셀 함수 등을 사용하고, 부득이하게 프로그래밍이 필요한 경우에도 엑셀의 VBA와 구글 앱스 스크립트 등 별도의 프로그래밍 환경을 구축할 필요가 없는 방법에 대해 다루고 있다. 그렇기 때문에 그 동안 데이터 수집이 필요했지만 어려운 전문 용어 때문에 관련 도서를 한 페이지도 넘기기 힘들었던 독자들은 이 책의 내용을 매우 쉽게 읽어 내려갈 수 있을 것이다./

# 이 책은 텍스트 데이터의 효율적인 수집을 목적으로 한다
텍스트 데이터에는 다양한 종류가 있다. 논문이나 뉴스, 페이스북이나 트위터와 같은 SNS에 올라오는 글, 회사 및 상품 정보, 고객 리뷰 등 자연어에 가까운 데이터에서부터 주식 정보, 각종 순위 같은 수치 데이터까지 다양하다. 이 책에서 데이터 수집의 목적은 '독자 개인을 위해' 혹은 '비즈니스에서의' 활용에 있으며, 구체적인 목표를 설정하고 몇 가지의 활용 사례를 통해 기술들을 응용하여 다양한 데이터를 수집함으로써 자연어와 수치 데이터 양쪽 모두 활용할 수 있도록 하고 있다./ 

# 웹에서 데이터를 효율적으로 수집하기 위한 핵심은 자동화에 있다
웹에서 데이터를 효율적으로 수집하기 위한 핵심은 자동화에 있다. 자동화를 해놓으면 내가 자는 시간에도 데이터를 수집할 수 있다. 이 책에서 다루는 자동화의 유형은 2가지가 있다. 하나는 일부 작업을 수동으로 하는 반자동화가 있고, 다른 하나는 수작업은 완전히 배제하고 컴퓨터에서 자동 혹은 정기적으로 데이터를 검색하는 완전 자동화가 있다. 이 책에서는 각각의 장단점을 소개하고 있으므로 이를 활용하여 장기간 데이터를 축적해 기초 분석 데이터로 이용할지, 실시간으로 수집한 자료를 분석해 현재 시점의 의사 결정에 도움이 되도록 할지를 선택적으로 활용해 보자. (출판사 책소개)

 

Chapter 1 웹 데이터를 수집하기 위해 알아야 하는 것들
1-1 인터넷에는 데이터가 많죠? 
_ 웹 데이터의 종류 
[여기서 잠깐] 이 책에서 대상으로 하는 데이터 
1-2 효율적인 데이터 수집을 위해 해야 할 일 
_ 데이터 수집 3단계 
1-3 어떻게 자동화 할 수 있을까? 
_ 스크래핑과 크롤러 
_ 반자동화 프로그램 
_ 완전 자동화 프로그램 
[여기서 잠깐] 이 책의 진행 방식 
1-4 웹에서 데이터를 수집할 때의 주의사항 
_ 수집 데이터의 처리와 저작권 
_ 웹 사이트의 리소스 압박과 업무 방해 
_ 크롤러와 API 

Chapter 2 엑셀을 이용한 웹 데이터 수집의 기술
2-1 엑셀 VBA로 웹 데이터 수집하기 
_ 엑셀로 데이터 수집하기 
_ 엑셀에서 VBA를 사용하기 위한 메뉴 설정하기 
_ 데이터 수집에 필요한 프로그램 작성하기 
2-2 VBA에서 인터넷 익스플로러를 조작하는 방법 
_ 맨 윗줄, 어떤 것을 할지 선언하는 부분 
_ VBA 함수 선언 
_ 인터넷 익스플로러 작업 
2-3 웹 페이지에서 원하는 값을 추출하는 방법 
_ HTML이란? 
_ HTML에서 class로 데이터를 추출하는 프로그램 
[여기서 잠깐] 검색어 변경하는 방법 
2-4 XPath를 이용해 데이터 추출하기 
_ 크롬에서 XPath를 추출하는 방법 
_ 파이어폭스에서 XPath를 추출하는 방법 
2-5 엑셀 함수를 이용한 데이터 수집 
_ WEBSERVICE 함수를 이용한 데이터 수집 
_ FILTERXML 함수를 이용한 데이터 수집 

Chapter 3 구글 스프레드시트를 이용한 웹 데이터 수집의 기술
3-1 구글 스프레드시트와 구글 앱스 스크립트 준비하기 
_ 구글 스프레드시트 
_ 구글 앱스 스크립트 
_ GoogleFinance 함수를 이용하여 주식 데이터 바로 가져오기 
_ 구글 스프레드시트로 스크래핑하기 
3-2 ImportXML 함수를 이용하여 웹 데이터 수집하기 
_ ImportXML 함수의 개요 
_ 주가 데이터 수집 방법 
_ 데이터 가지고 오기 
[여기서 잠깐] ImportXML에서 다른 데이터 검색하기 
3-3 구글 앱스 스크립트를 이용하여 데이터 수집하기 
_ 구글 앱스 스크립트 사용 방법 
_ 구글 앱스 스크립트를 이용한 스크래핑 
[여기서 잠깐] 다른 페이지에서 데이터 가져오기 
3-4 지정한 시간에 정기적으로 데이터 수집하기 
_ 구글 앱스 스크립트 트리거 
_ 트리거 설정 방법 

Chapter 4 스크래핑 전용 서비스를 이용하여 웹에서 데이터 수집하기
4-1 import.io를 사용하여 웹 데이터 수집하기 
_ import.io 서비스의 개요 
4-2 import.io에서 스크래핑 실행하기 
_ import.io 회원 가입하기 
_ 데이터 자동 추출하기 
_ 저장한 데이터 불러오기 
_ API 이용해 데이터 불러오기 
4-3 수집한 데이터를 구글 스프레드시트로 불러오기 
_ 구글 스프레드시트와 연동
_ 구글 앱스 스크립트에서 API 호출하기

Chapter 5 앱을 이용하여 페이스북에서 데이터 수집하기
5-1 앱을 이용하여 데이터를 수집하고 알림 받기 
_ 알림을 받기 위한 애플리케이션
_ IFTTT 소개 
_ 슬랙(Slack) 소개 
5-2 IFTTT를 이용해 페이스북에 글 올리면 이메일로 알림 받기
_ IFTTT 회원 가입하기
_ 모바일 앱 설치하기 
_ 페이스북에 포스트를 올리면 알림이 오는 기능 만들기 
5-3 슬랙을 이용하여 신문기사(RSS)가 등록될 때 알림 받기 …140
슬랙 회원 가입 …140
RSS 피드 수집 …144
신문 기사가 새로 등록될 때마다 모바일로 실시간 알림 받기 …150

Chapter 6 다양한 데이터 수집하기
6-1 회사·상품에 관련된 정보 수집하기 …156
키워드 수집의 목적 …156
수집, 저장, 알림 방법 …157
[여기서 잠깐] 키워드 검색 연산자 …170
6-2 웹에서 특정 키워드가 새롭게 검색될 때마다 해당 정보 수집하기 …158
구글 알리미 설정 …158
IFTTT 설정 …162
[여기서 잠깐] 키워드 검색 연산자 …170
6-3 트위터에서 특정 키워드를 포함한 트윗을 수집하고 저장하기 …171
IFTTT에서 애플릿 만들기 …171
6-4 앱스토어에서 iOS 앱 랭킹 수집하기 …179
랭킹 RSS 피드 …179
랭킹 수집 …182
[여기서 잠깐] RSS를 변경하여 다른 사이트의 정보를 받아오는 방법 …185
앱스토어의 순위 정보 결과를 날짜별로 시트에 저장하기 …186
매일 지정된 시간에 실행하기 …192
0_도입부(p1-15).indd 14 2017-07-31 오후 2:48:10
6-5 구글 플레이에서 안드로이드 앱 순위 얻기 …195
Import.io를 사용한 데이터 수집 …196
구글 스프레드시트에 결과 저장하기 …199
한국 랭킹 받아오기 …200
[여기서 잠깐] 다른 랭킹 가져오기 …203
6-6 고객 리뷰 수집하기 …204
Import.io를 이용한 수집 방법 …204
구글 앱스 스크립트를 이용한 수집 방법 …207
6-7 상장 기업의 시가 총액 수집하기 …216
종목 코드 목록 검색 …216
주가 정보 수집 …218
[여기서 잠깐] GoogleFinance 함수 사용법 찾기 …222
시간순으로 주식 데이터 수집하기 …225
6-8 여러 페이지 크롤링하기 …228
엑셀 VBA로 페이지 크롤링하기 …231
6-9 구글맵 활용해서 데이터 시각화하기 …241
표와 그래프 …241
구글 내 지도를 이용한 지도 데이터 연동 …243
위도, 경도 알아내기 …248/



출처: http://javacom.tistory.com/admin/entry/post/preview.php [I'm Pragmatic Programmer]

결제하기
• 문화비 소득공제 가능
• 배송료 : 2,000원배송료란?

배송료 안내

  • 20,000원 이상 구매시 도서 배송 무료
  • 브론즈, 실버, 골드회원이 주문하신 경우 무료배송

무료배송 상품을 포함하여 주문하신 경우에는 구매금액에 관계없이 무료로 배송해 드립니다.

닫기

리뷰쓰기

닫기
* 도서명 :
웹 데이터 수집의 기술
* 제목 :
* 별점평가
* 내용 :

* 리뷰 작성시 유의사항

글이나 이미지/사진 저작권 등 다른 사람의 권리를 침해하거나 명예를 훼손하는 게시물은 이용약관 및 관련법률에 의해 제재를 받을 수 있습니다.

1. 특히 뉴스/언론사 기사를 전문 또는 부분적으로 '허락없이' 갖고 와서는 안됩니다 (출처를 밝히는 경우에도 안됨).
2. 저작권자의 허락을 받지 않은 콘텐츠의 무단 사용은 저작권자의 권리를 침해하는 행위로, 이에 대한 법적 책임을 지게 될 수 있습니다.

오탈자 등록

닫기
* 도서명 :
웹 데이터 수집의 기술
* 구분 :
* 상품 버전
종이책 PDF ePub
* 페이지 :
* 위치정보 :
* 내용 :

도서 인증

닫기
도서명*
웹 데이터 수집의 기술
구입처*
구입일*
부가기호*
부가기호 안내

* 온라인 또는 오프라인 서점에서 구입한 도서를 인증하면 마일리지 500점을 드립니다.

* 도서인증은 일 3권, 월 10권, 년 50권으로 제한되며 절판도서, eBook 등 일부 도서는 인증이 제한됩니다.

* 구입하지 않고, 허위로 도서 인증을 한 것으로 판단되면 웹사이트 이용이 제한될 수 있습니다.

닫기

해당 상품을 장바구니에 담았습니다.이미 장바구니에 추가된 상품입니다.
장바구니로 이동하시겠습니까?

자료실