파이썬으로 웹 크롤러 만들기(3판)

qorskawls***l2025-03-26

처음 이 책을 펼쳤을 때는 그냥 파이썬으로 데이터를 긁어오는 방법만 간단히 알려주는 줄 알았다. 그런데 막상 읽어보니 꽤 체계적으로 구성되어 있어서 놀랐다. 책은 크게 두 파트로 나뉘는데, 앞부분은 웹이 어떻게 작동하는지, HTML이 뭔지, 웹에서 데이터를 가져올 때 어떤 식으로 접근해야 하는지를 친절하게 설명해준다. 특히, 스크레이핑이 불법인가요? 같은 질문에 대한 윤리적인 이야기까지 담겨 있어서 흥미로웠다.

중간부터는 본격적으로 코드를 짜면서 웹 페이지에서 필요한 데이터를 추출하는 실습이 이어진다. 예를 들어, BeautifulSoup을 써서 뉴스 기사 제목을 가져오거나, 셀레니움을 활용해서 자바스크립트로 만들어진 페이지에서 데이터를 긁어오는 식이다. 뒤로 갈수록 API를 통한 데이터 수집, 이미지에서 글자 인식하기(OCR), 크롤링 방지 우회 같은 고급 주제까지 다뤄서 꽤 실전적이다.

나는 웹 크롤링을 처음 공부해보는 입장이었는데, 이 책은 기초부터 차근차근 쌓아가게 도와줘서 입문자에게 좋다고 느꼈다. 특히 ‘코드를 그냥 따라 치는 게 아니라, 왜 이렇게 쓰는지’를 설명해줘서 이해하는 데 도움이 됐다.

물론 파이썬 기초는 어느 정도 알고 있어야 따라가기 수월하고, 셀레니움이나 API 부분은 처음 보면 조금 헷갈릴 수도 있다. 하지만 예제가 워낙 잘 돼 있어서 몇 번 돌려보면 감이 온다.

개인적으로는 그냥 웹 페이지를 보기만 했던 내가, 그 안에서 데이터를 직접 가져오고 자동화까지 할 수 있게 된 게 신기했다. 실제 졸업작품이나 데이터 수집할 때도 쓸 수 있을 것 같아서 꽤 유용했다.

ted1***l2025-03-24

웹 크롤링을 차근차근 배워가고 싶다면!

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

코딩을 처음 배울 때 보통 html 혹은 파이썬으로 나뉘고는 한다. 필자는 프론트엔드 쪽으로 갈만큼 html과 css를 더 좋아했어서 그런지, 파이썬을 배우다 보면 ’이걸 어디에 써먹을 수 있을까?’란 생각이 들고는 했다. 하지만 괜히 인기있는 언어가 아니듯, 파이썬으로 할 수 있는 건 굉장히 많다. 그 중에서도 가장 대표적인 것 중 하나이 바로 '웹 크롤링'이다. 웹에서 원하는 정보를 자동으로 수집하고 뉴스 기사, 쇼핑몰 정보, 게시판 글 등 흩어져 있는 데이터를 한데 모아보는 건, 꽤나 흥미롭고 강력하다.

하지만 웹 크롤링이 처음인 사람들이라면 어디서부터 어떻게 시작해야할 지 막막할 거다. <파이썬으로 웹 크롤러 만들기>는 어느정도 파이썬을 알고 있으나 웹 크롤링을 전혀 모르고 있던 입문자를 위해 차근차근 길을 안내해준다.

"

웹 스크레이퍼가 이와 비슷한 상황을 피하려면 어떤 교훈을 얻을 수 있을까요?

아마도 가장 좋은 출발점은 남에게 피해 주는 행동은 하지 말자는 것이겠죠.

<파이썬으로 웹 크롤러 만들기> p.62

"

책은 웹 스크레이핑으로 들어가기 전에 인터넷 작동 원리부터 시작한다. 네트워킹이 어떤 계층이 있는지, HTML과 CSS, 자바스크립트는 뭔지, 개발자 도구는 어떻게 사용하는 건지 등 기본적인 내용들을 알려준다. 여기에 추가로 해당 작업은 데이터를 무작위로 수집하는 것이기에 우리가 침해해야 하지 말아야할 것들 또한 말해준다. 웹 스크레이핑 윤리와 관련된 법적 공방 사례를 말하며 반드시 이 부분을 주의하라고 거듭 말하기도 한다.

어느정도 필요한 조언을 주고 나서는 본격적으로 웹 스크레이핑을 위한 내용으로 넘어간다. 주피터 노트북을 설치하는 것부터 스크레이핑에 필요한 라이브러리, 그 라이브러리를 어떻게 코드에 적용하고 실행하면 되는 지 등등 상세하게 스텝을 나누어 진행된다. 심지어 코드 작성에 필요한 정규 표현식 등도 잘 정리 되어 있다.(감동)

여기에 더 나아가 웹 크롤링을 위한 스크립트는 어떤 패턴을 가지고 있는지, 그 패턴에서 어떻게 점점 확장해나갈 수 있는지를 말한다. 초반에는 간단한 예제로 크롤링의 기본 원리를 익히고, 이후에는 점점 더 실전적인 내용으로 나아가는 것이다. 책은 당연히 여기에서 끝나지 않는다. 파이썬 웹 크롤링 프레임 워크 중 '스크레이피(scrapy)'를 활용하여 스크레이퍼 작성하는 방법을 가르쳐준다.

이외에도 ‘고급 스크레이핑’이라는 이름으로 판다스를 활용해 데이터를 정리하는 방법, API를 이용한 크롤링 등 더 다양한 내용이 담겨 있다. 웹 개발 경험이 있는 사람들에게도 충분히 흥미로운 내용들이 많기 때문에 크롤링에 관심 있는 개발자라면 한 번쯤 읽어볼 만하다.

하지만 무엇보다 이 책을 특히 추천하고 싶은 독자는 파이썬을 어느정도 배웠으나 어떻게 활용해야할 지 감이 오지 않는 독자, 자신만의 웹 크롤러를 차근차근 만들어 가고 싶은 크롤링 입문자에게 이 책을 추천한다. 책을 읽다보면 단 몇 줄의 URL과 내가 쓴 코드만으로 데이터를 쌓는 짜릿한 경험을 통해, 내이를 어떻게 만들고 어떻게 활용할 수 있을지 자연스럽게 감을 잡게 될 것이다.

enm0***l2025-03-24

웹 데이터 수집의 정석

이 책은 데이터 수집에 대해 전반적으로 공부할 수 있는 책입니다! 특히

웹 데이터 수집에 대해 처음인 입문자부터 어느정도 지식이 있는 숙련자까지 모두 커버 가능합니다

하지만 파이썬(python) 언어를 전혀 모른다면 예제 코드를 이해하는 데 어려울 수 있으므로 파이썬(python) 언어에 대해 어느정도 지식이 있는 사람들에게 추천합니다

특히 실제 프로젝트를 진행하며 웹 상에서 데이터 수집이 필요한 경우 혹은 수집하는 과정에서 난관을 만난 경우 강추합니다!

이 책의 일구 구절인데욥

"인터넷의 어디에서든, 어떤 형식이든, 어떤 타입의 데이터라도 가져올 수 있는 도구를 갖게 될 겁니다."

이 책을 통해 웹 상에서 원하는 정보를 가져오는 마법과 같은 능력을 경험하면 좋겠습니다!

ejk1***l2025-03-21

웹 크롤링 처음부터 완성하기

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."