소득공제
PDF
eBook
파이썬으로 웹 크롤러 만들기
자동화된 나만의 웹 크롤러로 원하는 데이터 끌어오기
스마트한 PDF 필기 기능을 사용해 보세요!
- PDF 안내
-
이 상품은 구매 후 지원 기기에서 예스24 eBook앱 설치 후 바로 이용 가능한 상품입니다.
상세 이미지
소개
목차
|
[PART 1 웹 스크레이퍼 제작]CHAPTER 1 인터넷 작동 원리_1.1 네트워킹__1.1.1 물리 계층__1.1.2 데이터 링크 계층__1.1.3 네트워크 계층__1.1.4 전송 계층__1.1.5 세션 계층__1.1.6 표현 계층__1.1.7 응용 계층_1.2 HTML_1.3 CSS_1.4 자바스크립트_1.5 개발자 도구로 웹사이트 검사하기CHAPTER 2 웹 스크레이핑의 합법성과 윤리_2.1 상표? 저작권? 특허?__2.1.1 저작권법_2.2 동산 침해_2.3 컴퓨터 사기와 악용에 관한 법률_2.4 robots.txt와 이용 약관_2.5 세 가지 웹 스크레이퍼 사례__2.5.1 이베이 vs. 비더스 에지: 동산 침해__2.5.2 미국 vs. 오언하이머: 컴퓨터 사기와 악용에 관한 법률__2.5.3 필드 vs. 구글: 저작권과 robots.txtCHAPTER 3 웹 스크레이핑 활용 분야_3.1 프로젝트 분류하기_3.2 이커머스__3.2.1 마케팅_3.3 학술 연구_3.4 제품 개발_3.5 여행_3.6 영업_3.7 SERP 스크레이핑CHAPTER 4 첫 번째 웹 스크레이퍼_4.1 주피터 노트북 설치 및 실행_4.2 연결_4.3 BeautifulSoup 소개__4.3.1 BeautifulSoup 설치__4.3.2 BeautifulSoup 실행__4.3.3 신뢰할 수 있는 연결과 예외 처리CHAPTER 5 고급 HTML 분석_5.1 다시 BeautifulSoup__5.1.1 find()와 find_all()__5.1.2 기타 BeautifulSoup 객체__5.1.3 트리 이동_5.2 정규 표현식_5.3 정규 표현식과 BeautifulSoup_5.4 속성에 접근하기_5.5 람다 표현식_5.6 닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다CHAPTER 6 크롤링 시작하기_6.1 단일 도메인 내의 이동_6.2 전체 사이트 크롤링__6.2.1 전체 사이트에서 데이터 수집_6.3 인터넷 크롤링CHAPTER 7 웹 크롤링 모델_7.1 객체 계획 및 정의_7.2 다양한 웹사이트 레이아웃 다루기_7.3 크롤러 구성__7.3.1 검색을 통한 사이트 크롤링__7.3.2 링크를 통한 사이트 크롤링__7.3.3 여러 페이지 유형 크롤링_7.4 웹 크롤러 모델에 대한 생각CHAPTER 8 스크레이피_8.1 스크레이피 설치__8.1.1 새 스파이더 초기화_8.2 간단한 스크레이퍼 작성하기_8.3 규칙에 의한 스파이더링_8.4 항목 만들기_8.5 항목 출력하기_8.6 파이프라인_8.7 스크레이피 로깅_8.8 마치며CHAPTER 9 데이터 저장_9.1 미디어 파일_9.2 데이터를 CSV로 저장_9.3 MySQL__9.3.1 MySQL 설치__9.3.2 기본 명령어__9.3.3 파이썬과 통합__9.3.4 데이터베이스 테크닉과 모범 사례__9.3.5 여섯 다리와 MySQL_9.4 이메일[PART 2 고급 스크레이핑]CHAPTER 10 문서 읽기_10.1 문서 인코딩_10.2 텍스트__10.2.1 텍스트 인코딩과 인터넷_10.3 CSV__10.3.1 CSV 파일 읽기_10.4 PDF_10.5 마이크로소프트 워드와 .docxCHAPTER 11 지저분한 데이터 다루기_11.1 텍스트 정리하기_11.2 정규화된 텍스트 다루기_11.3 판다스로 데이터 정리하기__11.3.1 정리__11.3.2 인덱싱, 정렬, 필터링__11.3.3 판다스에 대해 더 알아보기CHAPTER 12 자연어 읽고 쓰기_12.1 데이터 요약_12.2 마르코프 모델__12.2.1 케빈 베이컨의 여섯 다리: 결론_12.3 자연어 툴킷__12.3.1 설치__12.3.2 NLTK를 사용한 통계적 분석__12.3.3 NLTK를 사용한 사전적 분석_12.4 마치며CHAPTER 13 폼과 로그인 뚫기_13.1 파이썬 requests 라이브러리_13.2 기본적인 폼 전송_13.3 라디오 버튼, 체크박스, 기타 필드_13.4 파일과 이미지 전송_13.5 로그인과 쿠키 처리__13.5.1 HTTP 기본 접근 인증_13.6 기타 폼 문제CHAPTER 14 자바스크립트 스크레이핑_14.1 자바스크립트에 관한 간단한 소개__14.1.1 널리 쓰이는 자바스크립트 라이브러리_14.2 Ajax와 DHTML_14.3 셀레니움으로 파이썬에서 자바스크립트 실행__14.3.1 셀레니움 설치 및 실행__14.3.2 셀레니움 선택자__14.3.3 페이지 로딩 대기__14.3.4 XPath_14.4 그 밖의 셀레니움 웹드라이버_14.5 리다이렉트 처리_14.6 자바스크립트에 대한 마지막 노트CHAPTER 15 API를 통한 크롤링_15.1 API에 대한 간단한 소개__15.1.1 HTTP 메서드와 API__15.1.2 API 응답에 대해_15.2 JSON 파싱_15.3 문서화되지 않은 API__15.3.1 문서화되지 않은 API 찾기__15.3.2 문서화되지 않은 API 문서화하기_15.4 API와 다른 데이터 소스의 결합_15.5 마치며CHAPTER 16 이미지 처리와 텍스트 인식_16.1 라이브러리 개관__16.1.1 필로__16.1.2 테서랙트__16.1.3 넘파이_16.2 형식이 일정한 텍스트 처리__16.2.1 이미지 자동 조정__16.2.2 웹사이트 이미지에서 텍스트 스크레이핑하기_16.3 CAPTCHA 읽기와 테서랙트 훈련__16.3.1 테서랙트 훈련_16.4 CAPTCHA 가져오기와 답 보내기CHAPTER 17 스크레이핑 함정 피하기_17.1 스크레이핑의 윤리에 관해_17.2 사람처럼 보이기__17.2.1 헤더를 수정하십시오__17.2.2 쿠키 처리__17.2.3 TLS 핑거프린팅__17.2.4 타이밍이 가장 중요합니다_17.3 널리 쓰이는 폼 보안 기능__17.3.1 숨긴 필드 값__17.3.2 허니팟 피하기_17.4 사람처럼 보이기 위한 체크리스트CHAPTER 18 스크레이퍼로 웹사이트 테스트하기_18.1 테스트 입문__18.1.1 단위 테스트란?_18.2 파이썬 unittest__18.2.1 위키백과 테스트_18.3 셀레니움을 사용한 테스트__18.3.1 사이트 조작CHAPTER 19 병렬 웹 스크레이핑_19.1 프로세스 vs. 스레드_19.2 멀티스레드 크롤링__19.2.1 경쟁 상태와 큐__19.2.2 threading 모듈_19.3 멀티 프로세스__19.3.1 멀티프로세스 크롤링__19.3.2 프로세스 간 통신_19.4 멀티프로세스 크롤링의 다른 접근법CHAPTER 20 웹 스크레이핑 프록시_20.1 원격 서버를 쓰는 이유__20.1.1 IP 주소 차단 방지__20.1.2 이동성과 확장성_20.2 토르__20.2.1 파이삭스_20.3 원격 호스팅__20.3.1 웹사이트 호스팅 계정에서 실행__20.3.2 클라우드에서 실행__20.3.3 미래를 향해_20.4 웹 스크레이핑 프록시__20.4.1 스크레이핑비__20.4.2 스크레이퍼API__20.4.3 옥시랩스__20.4.4 자이트_20.5 마치며
|
저자 소개2
Ryan Mitchell
웹 크롤링, 보안, 데이터 과학에 관심이 많은 개발자. 현재 거슨 레만 그룹에서 수석 소프트웨어 엔지니어로 근무하고 있다. 프랭클린 W. 올린 공과대학교를 졸업했고 하버드 대학교에서 소프트웨어 엔지니어링 석사 과정을 밟았다. 어바인에서 웹 크롤러와 봇을 만들었고, 링크 드라이브에서는 API 및 데이터 분석 도구를 만들었다. 금융업 및 유통업 분야에서 웹 크롤링 프로젝트 컨설팅을 하고 있고, 교육과 강연 활동도 활발하게 펼치고 있다. 저서로 『파이썬으로 웹 크롤러 만들기』 『Instant Web Scraping with Java』(Packt, 2013) 등이 있다.
SK텔레콤에서 통신 및 플랫폼 인프라 등 다양한 시스템을 운영했으며 현재는 개발 업무를 담당하고 있다. 옮긴 책으로는 『풀스택 테스트』(한빛미디어, 2023), 『처음 시작하는 마이크로서비스』(한빛미디어, 2021), 『쿠버네티스를 활용한 클라우드 네이티브 데브옵스』(한빛미디어, 2019) 등이 있다.
최경현의 다른 상품
품목정보
- 발행일
- 2025년 02월 03일
- 지원기기
- 크레마, PC(윈도우 - 4K 모니터 미지원), 아이폰, 아이패드, 안드로이드폰, 안드로이드패드, 전자책단말기(저사양 기기 사용 불가), PC(Mac)
- 파일/용량
- PDF(DRM) | 4.20MB ?
- 글자 수/ 페이지 수
- 약 413쪽 ?
- ISBN13
- 9791169218986
출판사 리뷰
|
HTML 기본 개념부터 AI 기반 데이터 추출까지, 높아진 웹의 장벽을 뛰어넘을 수 있는 최신 웹 크롤링 가이드점점 더 다양하고 복잡해지는 방대한 정보의 바다에서 원하는 데이터를 얻으려면 어떻게 해야 할까요? 흩어진 데이터를 의미 있는 정보로 만들 수 있는 효과적인 도구가 있을까요? 『파이썬으로 웹 크롤러 만들기(3판)』는 이러한 질문들에 완벽한 답을 제공합니다.1부에서는 웹 크롤링에 대한 기본적인 개념과 함께 파이썬과 BeautifulSoup 및 스크레이피와 같은 인기 라이브러리를 사용하는 비교적 간단한 웹 크롤러를 소개합니다. 그 후 MySQL의 데이터 저장, API 처리, CSV, PDF, 워드와 같은 형식의 문서 분석과 같은 핵심 기술을 이해하며 웹을 탐색하는 기본기를 배우게 됩니다. 2부에서는 1부에서 배운 기본기를 토대로 보다 복잡한 웹 환경을 분석하고 처리하기 위한 고급 기술을 다룹니다. 셀레니움을 활용하여 동적 자바스크립트 기반 페이지를 스크랩하고, 판다스와 같은 도구를 사용하여 지저분한 데이터를 정리하는 방법을 알아봅니다. 또한, 텍스트 데이터에서 의미를 추출할 수 있는 NLTK를 활용한 자연어 처리를 설명하며, 이미지에서 텍스트를 추출하여 CAPTCHA를 우회할 수 있는 테서랙트와 필로 같은 도구들도 함께 소개합니다. 변화하는 최신 웹 환경에 적절히 대응할 수 있도록 개정된 3판에서는 2판보다 이해하기 편한 구성으로 내용을 재배치하였고, 전반적으로 코드를 업데이트했습니다. 웹 크롤링을 처음 시작하는 초급자는 물론, 기존에 웹 크롤링을 업무에 활용하고 있던 중급자 이상의 분들에게도 만족감을 드릴 수 있는 도서라 자부합니다. 대상 독자● 웹 크롤링을 시작하고 싶은 모든 개발자● 이미 업무에 웹 크롤링을 활용하고 있는 개발자● 파이썬을 이용하여 웹 데이터를 모으고 싶은 개발자 주요 내용● 복잡한 HTML 파싱● 자연어 읽고 쓰기● 폼 및 로그인 크롤링● 스크레이피 프레임워크로 크롤러 만들기● 수집한 데이터를 저장하는 다양한 방법● 자바스크립트 수집 및 API 이용● 문서에서 데이터를 읽고 추출하기● 봇 차단을 피하는 법● 지저분한 데이터 형식 정돈하기● 크롤러를 이용한 웹사이트 테스팅
|
