소득공제
Hadoop 완벽 가이드
클라우드 컴퓨팅 구축을 위한 실전 안내서
- 베스트
- IT 모바일 top100 12주
- 구매혜택
-
2판이 출간되었습니다.
- 개정판이 출간 되었습니다
이미 소장하고 있다면 판매해 보세요.
- 해외배송 가능?
- 문화비소득공제 가능
책소개
목차
|
1장 하둡과의 만남
1 데이터! 2 데이터 저장소와 분석 3 다른 시스템과의 비교 RDBMS 그리드 컴퓨팅 자발적 컴퓨팅(Volunteer Computing) 4 하둡의 역사 5 아파치 하둡 프로젝트 2장 맵리듀스 1 기상 데이터셋 데이터 포맷 2 유닉스 도구로 데이터 분석하기 3 하둡으로 데이터 분석하기 맵과 리듀스 자바 맵리듀스 4 분산형으로 확장하기 데이터 흐름 컴바이너 함수 분산 맵리듀스 잡 실행하기 5 하둡 스트리밍 루비 파이썬 하둡 파이프 컴파일 및 실행 3장 하둡 분산 파일시스템 1 HDFS 설계 2 HDFS 개념 블록 네임노드와 데이터노드 3 명령행 인터페이스 기본적인 파일시스템 연산 4 하둡 파일시스템 인터페이스 5 자바 인터페이스 하둡 URL로부터 데이터 읽기 파일시스템 API를 사용하여 데이터 읽기 데이터 쓰기 디렉터리 파일시스템에 질의하기 데이터 삭제 6 데이터 흐름 파일 읽기 해부 파일 쓰기 상세 일관성 모델 7 distcp 병렬 복사 HDFS 클러스터 균형 유지 8 하둡 아카이브 하둡 아카이브 사용하기 제약 사항 4장 하둡 I/O 1 데이터 무결성 HDFS와 데이터 무결성 LocalFIleSystem ChecksumFileSystem 2 압축 코덱 압축과 입력 분할 맵리듀스에서 압축 사용하기 3 직렬화 Writable 인터페이스 Writable 클래스 맞춤형 Writable을 구현하기 직렬화 프레임워크 4 파일 기반 데이터 구조 SequenceFile MapFile 5장 맵리듀스 프로그래밍 1 환경설정파일 API 리소스 결합하기 변수 확장 2 개발환경 설정하기 환경설정파일 관리하기 GenericOptionsParser, Tool, ToolRunner 3 유닛 테스트 작성하기 매퍼 리듀서 4 로컬에서 실행하기 로컬 잡 실행하기 드라이버 테스트하기 5 클러스터에서 실행하기 패키징 잡 배포하기 맵리듀스 웹 UI 결과 얻기 잡 디버깅 원격 디버거 사용하기 6 잡 튜닝하기 태스크 프로파일하기 7 맵리듀스 작업 흐름 맵리듀스 잡으로 문제를 분해하기 종속적인 잡 실행 6장 맵리듀스 작동 방법 1 맵리듀스 잡 실행 상세분석 잡 제출 잡 초기화 태스크 할당 태스크 실행 진행 상황과 상태 갱신 잡 완료 2 실패 태스크 실패 태스크트래커 실패 잡트래커 실패 3 잡 스케줄링 페어 스케줄러 4 셔플과 정렬 맵 과정 리듀스 관점 환경설정 튜닝 5 태스크 실행 투기적 실행 태스크 JVM 재사용 비정상 레코드 생략하기 태스크 실행 환경 7장 맵리듀스 타입과 포맷 1 맵리듀스 타입 기본적인 맵리듀스 잡 2 입력 포맷 입력 스플릿과 레코드 텍스트 입력 바이너리 입력 다중 입력 데이터베이스 입력과 출력 3 출력 포맷 Text Output 바이너리 출력 Multiple Outputs 느린 출력 Database Output 8장 맵리듀스 기능 1 카운터 내장 카운터 사용자 정의 자바 카운터 사용자 정의 스트리밍 카운터 2 정렬 준비 부분 정렬 전체 정렬 보조 정렬 3 조인 맵-사이드 조인 리듀스-사이드 조인 4 사이드 데이터 분배 잡 환경설정파일 사용 분산 캐시 5 맵리듀스 라이브러리 클래스 9장 하둡 클러스터 설정 1 클러스터 명세 네트워크 위상 2 클러스터 설정 및 설치 자바 설치 하둡 사용자 생성 하둡 설치 설치 점검하기 3 SSH 설정 4 하둡 환경 설정 환경 설정 파일 관리 개발 환경 설정 중요한 하둡 데몬 속성 하둡 데몬 주소와 포트 번호 다른 하둡 속성들 5 설치 후 6 하둡 클러스터 벤치마킹 하둡 밴치마크 사용자 잡 7 하둡 클라우드 아마존 EC2의 하둡 10장 하둡 관리 1 HDFS 영속적인 데이터 구조 안전모드 감사 로깅 도구 2 모니터링 로깅 매트릭스 자바 관리 익스텐션 3 관리 일상적인 관리 절차 노드 위임과 해제 업그레이드 11장 피그 1 피그의 설치 및 실행 실행 유형 피그 프로그램 실행 그런트 피그 라틴 편집기 2 예제 예제 생성 3 데이터베이스와 비교 4 피그 라틴 구조 문장 표현 타입 스키마 함수 5 사용자 정의 함수 필터 UDF 평가 UDF 로드 UDF 6 데이터 처리 연산자 데이터 로드 및 저장 데이터 필터링 데이터 분류 및 조인 데이터 정렬 데이터 결합 및 분리 7 실전 피그 사용 병렬 처리 파라미터 대체 12장 HBase 1 HBasics 배경 2 개념 짧은 데이터 모델 여행 구현 3 설치 테스트 드라이브 4 클라이언트 자바 REST와 Thrift 5 예제 스키마 데이터 적재 웹 쿼리 6 HBase와 RDBMS 성공적인 서비스 HBase 사용 사례: streamy.com의 HBase 7 연습 버전 사랑과 증오: HBase와 HDFS 사용자 인터페이스 매트릭스 스키마 설계 13장 주키퍼 1 주키퍼의 설치와 실행 2 예제 주키퍼를 이용한 그룹 멤버쉽 그룹 생성 그룹 가입 그룹 멤버 목록화 그룹 삭제 3 주키퍼 서비스 데이터 모델 연산 구현 일관성 세션 4 주키퍼로 응용프로그램 구현하기 환경 설정 서비스 탄력적인 주키퍼 응용프로그램 락 서비스 더 많은 분산 데이터 구조와 프로토콜들 5 주키퍼 실 서비스 탄력성과 성능 환경 설정 14장 사례 연구 1 Last.fm의 하둡 사용 사례 Last.fm: 소셜 음악 혁명 Last.fm과 하둡 하둡으로 차트 생성하기 트랙 통계 프로그램 요약 2 페이스북의 하둡과 하이브 소개 페이스북과 하둡 가상의 사용 사례 연구 하이브 문제점과 향후의 작업 3 너치 검색 엔진 배경 데이터 구조 너치의 하둡 데이터 처리에 관한 선택 예제 요약 5 랙스페이스에서의 로그 처리 요구 사항/ 문제 간략한 역사 하둡 선택 수집과 저장소 로그에 대한 맵리듀스 6 캐스케이딩 필드, 튜플, 파이프 연산 탭, 스킴, 플로우 캐스케이딩의 실제 예제 유연성 쉐어디스에서의 하둡과 캐스케이딩 요약 7 아파치 하둡의 테라바이트 정렬 부록A 아파치 하둡 설치하기 1 준비사항 2 설치 3 환경 설정 부록B 클라우데라의 하둡 배포판 1 준비사항 2 독립 실행 모드 3 의사 분산 모드 4 완전 분산 모드 5 하둡 관련 패키지 부록C NCDC 기상 데이터의 준비 |
저자 소개
저자 : 톰 화이트 Tom White
2007년 2월부터 아파치 하둡 커밋터(Apache Hadoop committer)가 되었고, 아파치 소프트웨어 재단(Apache Software Foundation)의 일원이 되었다. 그는 하둡에 대한 지원과 트레이닝을 제공하는 회사인 Cloudera에서 일하고 있다. 그전에는, 독립적인 하둡 고문으로서, 하둡을 설치, 사용, 확장하려는 회사와 일했었다. 그는 oreilly.com, java.net, IBM's developerWorks에 수많은 글을 썼으며, 몇몇 컨퍼런스에서 하둡에 관한 연설했다. 톰은 캠브리지(Cambridge) 대학에서 문학 학사 학위를 취득하고, 영국 리즈(Leeds) 대학에서 과학 철학 분야의 문학 석사 학위를 취득하였다. 그는 현재 가족과 함께 웨일스 포이스(Wales의 Powys)에서 살고 있다.
역자 : 심탁길
SK C&C의 클라우드컴퓨팅팀에서 기술 아키텍트를 맡고 있다. 외국계 기업, 삼성SDS, NHN 등에서 다년간 분산 플랫폼 개발 및 컨설팅 업무를 수행하였으며 2007년부터 하둡을 다양한 분야에 활용 및 운영하고 있다. 아마존이나 구글의 플랫폼 기술에 특히 관심을 가지고 연구 활동을 하고 있으며, 글로벌 회사들이 주도하는 클라우드 컴퓨팅 분야에서 한국형 클라우드 컴퓨팅 모델을 만들기 위해서 열심히 노력하고 있다.
역자 : 김우현
현재 KTH에서 클라우드컴퓨팅을 전담하고 있다. 대학원에서 분산컴퓨팅을 전공하였고, 다수의 회사에서 자연어처리, 정보검색, 데이터/텍스트 마이닝 관련 경험과 지식을 축적하였다. 최근에는 오픈소스 coord(http://www.coordguru.com)를 공개하여 분산기술과 정보기술의 다양한 접근을 시도하고 있다. "2009 공개SW공모대전"에서 '지식경제부 장관상'을 수상했으며, NHN, 삼성 SDS, SKC&C, KT 및 각종 컨퍼런스에서 하둡에 대해 강연했다.
품목정보
- 발행일
- 2010년 05월 30일
- 쪽수, 무게, 크기
- 616쪽 | 1150g | 188*235*35mm
- ISBN13
- 9788979147469
만든이 코멘트
|
안녕하세요 이 책의 편집자입니다.
2010-05-28
하둡은 구글이 개발한 맵리듀스(MapReduce)를 오픈소스로 구현한 결과물이다. 맵리듀스는 다수 컴퓨터에서 정크(Chunk) 단위로 분산처리하고, 그 결과를 추려내는 데이터 프로세싱 기법의 하나이다. 물론 하둡의 활용처가 단순히 데이터 프로세싱에만 머무르지는 않는다.
이 책은, HDFS와 MapReduce를 가장 큰 비중으로 다루고 있다. 또한 서브 프로젝트인 HBASE, Pig, ZooKeeper도 포괄적으로 다루고 있다. 분산 시스템 연구, 검색 엔진 개발자, 포탈 및 대용량 데이터 저장과 관리 및 분석 담당자, 클라우드 컴퓨팅에 관련된 기술 기획자 및 개발자와 관리자에게 이 책을 적극적으로 권한다. |
관련 자료
출판사 리뷰
|
하둡 프로젝트의 커미터이자 핵심 설계자인 톰 화이트가 저술한 이 책은 하둡이라는 주제를 가장 완벽하게 다루고 있다. 저자는 하둡 창시자인 더그 커팅을 비롯한 각기 전문가의 강력한 조언을 받았고 이를 본서에 충실하게 반영했다. 이 책은 하둡은 물론이고 하둡과 연동해서 사용할 수 있는, 아파치 하둡 프로젝트의 서브 프로젝트인 피그, 주키퍼, HBase 등에 대해서도 다룬다. Last.fm, 페이스북, 랙페이스의 하둡 활용 사례를 통해 어떻게 하둡을 활용해야 하는지 배울 수 있다. 본 한글판은 역자주를 통해 하둡 최신 정보를 반영했다.
어떤 독자를 위한 책인가? - 클라우드 컴퓨팅 분야의 학자, 개발자, 기술 기획자 - 데이터 마이닝 등 데이터 분석 및 알고리즘 학자, 개발자 도서 특징(책 표지 글) 데이터에 대한 생각을 전환하라! 500기가바이트를 59초 만에, 100테라바이트를 단 173분 만에 정렬하는 하둡은 데이터 분석 시 상상을 초월하는 성능을 제공한다. 구글의 알고리즘을 구현한 하둡은 맵리듀스 기법으로 데이터에 대한 생각을 변화시키고, 이전에 보존해 두었던 그 어떤 데이터든지 활용할 수 있게 한다. 전에는 너무 오래 걸려 결과를 얻을 수 없었던 문제도 이제는 하둡으로 빠르게 해답을 얻을 수 있게 되었고, 이를 통해 새로운 통찰력도 얻을 수 있게 되었다. 하둡, 클라우드 컴퓨팅의 역사를 바꾸다! 2008년 2월 - 뉴욕타임스는 1851년부터 1980년 12월까지 130년 분량의 신문기사 1,100만 매를 '아마존 S3'에 저장하고, 하둡을 이용하여 약 4테라바이트 크기의 데이터를 24시간 만에 변환했다. 이는, 일반적인 서버로는 대략 14년이 걸리는 어마어마한 작업량이다. 2008년 4월 - 하둡은 '맵리듀스로 테라바이트 데이터 정렬하기' 대회에서 전년도 우승자의 297초에 비해 3½분 수준인 209초 만에 정렬하며 우승했다. 이어 2009년 5월, 야후는 하둡을 사용하여 62초 만에 1테라바이트를 정렬했다. 2009년 4월 - '1분 소트' 대회에서 500기가바이트를 59초에(1,400개 노드에서) 정렬하며 우승했다. 또한 100테라바이트를 173분에(3,400개 노드에서) 정렬했다. 대용량 데이터라는 주제에 관한 가장 완벽한 책! 하둡 프로젝트의 커미터이자 핵심 설계자인 톰 화이트가 저술한 이 책은 하둡이라는 주제를 가장 완벽하게 다루고 있다. 하둡의 개념과 사용법은 물론 Last.fm, 페이스북, 랙페이스의 하둡 활용 사례를 통해 어떻게 하둡을 활용해야 하는지 배울 수 있다. 대규모 데이터셋 저장을 위한 하둡 분산파일시스템(HDFS) 맵리듀스를 통한 분산 연산 작업 데이터 압축, 데이터 정합성, 직렬화, 영속성을 위한 입/출력 빌딩 블록 맵리듀스 프로그램의 유의점 전용 하둡 클러스터의 설계, 구축, 운용 방법 클라우드 기반의 하둡 운용 대규모 데이터 처리를 위한 피그 구조화된 데이터와 반-구조화된 데이터를 처리하는 HBase 분산 시스템 구축을 위한 주키퍼 |
