|
프롤로그. 복사와 붙여넣기 사이에서 데이터가 망가지는 순간
1장. 수집 전에 만드는 한 장짜리 계약 1절. 모으고 싶은 것과 결정에 필요한 것 2절. 최소 필드와 제외 범위 3절. 성공·중단·보관 기준 2장. 화면 뒤에 숨은 페이지 구조 1절. 목록 페이지와 상세 페이지의 역할 2절. HTML·DOM·렌더링의 차이 3절. 표·카드·구조화 데이터의 위치 4절. 동적 로딩과 예외 페이지의 신호 3장. 열 이름이 수집 품질을 결정한다 1절. 필드명·자료형·필수값의 경계 2절. 원문값과 정제값의 이중 보관 3절. 출처·수집시각·고유키 4절. 누락·불확실·해당 없음의 구분 4장. 가장 쉬운 경로부터 고르는 수집 사다리 1절. 다운로드·공식 API·피드 우선 원칙 2절. 브라우저 추출과 노코드의 적정 범위 3절. 정적 페이지와 동적 페이지의 선택 4절. 자동화하지 말아야 할 신호 5장. AI에게 맡길 일과 맡기지 말아야 할 일 1절. 페이지에서 필드 후보를 찾는 역할 2절. 스키마에 맞춘 구조화 출력 3절. 누락과 추론을 구분하는 지시 4절. 페이지 속 지시문을 데이터로만 취급하기 6장. 지저분한 값을 비교 가능한 데이터로 1절. 가격·통화·할인·배송비의 분리 2절. 날짜·기간·상탯값의 표준화 3절. 리뷰 텍스트·평점·옵션의 정리 4절. 원본 보존과 정제 이력 7장. 중복 한 줄이 통계를 두 번 흔드는 이유 1절. 같은 URL과 같은 대상의 차이 2절. 상품·공고·리뷰별 고유키 3절. 정규화·해시·유사 중복 4절. 합치기·남기기·보류하기 8장. 페이지 변경을 견디는 수집 설계 1절. 긴 경로보다 의미 있는 앵커 2절. 레이아웃 변형과 예외 페이지 3절. 스키마 드리프트와 실패 감지 4절. 대체 경로·롤백·수동 전환 9장. AI 결과를 믿지 않는 검증 규칙 1절. 필수값·자료형·건수 검사 2절. 범위·상호관계·이상치 검사 3절. 원문 대조와 출처 추적 4절. 표본 검수와 승인 기준 10장. 한 번의 성공을 반복 가능한 운영으로 1절. 일정·빈도·증분 수집 2절. 요청 간격·캐시·조건부 요청 3절. 로그·재시도·실패 알림 4절. 버전·보관·폐기 11장. 수집 가능과 사용 가능은 다르다 1절. 이용약관·robots·접근 권한 2절. 개인정보·민감정보·식별자의 최소화 3절. 저작권·데이터베이스·재이용 범위 4절. 승인 기록·보유 기간·삭제 대응 12장. 가격·공고·리뷰 세 가지 완주 예제 1절. 옵션까지 분리한 가격 관찰표 2절. 마감 변경을 놓치지 않는 공고표 3절. 개인정보를 덜 모으는 리뷰 분석표 4절. 세 사례의 공통 검수표 에필로그. 멈출 줄 아는 수집 시스템 |
|
웹 데이터 수집에서 가장 위험한 순간은 코드가 멈출 때가 아니라 잘못된 값이 조용히 표 안으로 들어올 때다. 화면에 보이는 숫자를 가져오는 데 성공했는데 통화가 섞이고, 같은 상품이 두 번 집계되고, 공고의 마감 변경을 놓치고, AI가 빈칸을 그럴듯하게 채운다면 자동화는 오류를 더 빠르게 증식시키는 장치가 된다.
이 책은 수집 기술을 도구 목록이 아니라 검증 가능한 운영 과정으로 바꾼다. 먼저 필요한 열과 자료형, 원문값과 정제값, 출처와 수집시각을 고정한다. 그다음 페이지 구조를 읽고 가장 쉬운 수집 경로부터 선택한다. AI에게는 페이지 분석과 구조화 같은 강점을 맡기되 누락과 추론을 구분하게 하고, 페이지 내부의 프롬프트성 문구를 지시가 아니라 데이터로만 취급하게 한다. 중복 제거, 정규화, 변경 감지, 롤백, 재시도, 실패 알림까지 이어지는 흐름은 한 번의 성공을 반복 가능한 시스템으로 바꾼다. 무엇보다 “수집할 수 있다”와 “써도 된다”를 구분한다. 이용약관, 접근 권한, 개인정보, 저작권과 재이용 범위를 함께 점검하고 보관과 삭제 기준을 남긴다. 가격·공고·리뷰를 실제 의사결정 자료로 쓰고 싶은 사람이라면 화려한 스크래핑 기법보다 먼저 이 책의 계약서, 스키마, 검증표를 갖추는 편이 훨씬 안전하다. |