QR/바코드 검색
품목정보
| 발행일 | 2021년 07월 20일 |
|---|---|
| 쪽수, 무게, 크기 | 336쪽 | 188*245*19mm |
| ISBN13 | 9791191600148 |
| ISBN10 | 1191600149 |
실무 예제로 배우는 데이터 공학
: 파이썬과 오픈소스 프로젝트로 만드는 나만의 데이터 공학 환경과 파이프라인
폴 크리커드 저 / 류광 역
|
제이펍
|
2021년 07월 20일
저자/출판사 더보기/감추기
분철서비스 시작 시 알려드립니다.
분철서비스 알림신청
- 원서이동
- eBook
18,900원이동 - 이미 소장하고 있다면 판매해 보세요! 이 상품 팔기 매입가 1,900원 더보기/감추기
- 국내배송만 가능
- 최저가 보상
- 문화비소득공제 신청가능
.jpg)
.jpg)
관련분류
책소개 책소개 보이기/감추기
목차 목차 보이기/감추기
상세 이미지 상세 이미지 보이기/감추기
상품 이미지를 확대해서 볼 수 있습니다.
원본 이미지
저자 소개 (2명)
책 속으로 책속으로 보이기/감추기
가장 낮은 수준에서 데이터 공학에는 데이터를 한 시스템에서 다른 시스템으로 이동하거나 다른 형식(format)으로 변환하는 작업이 관여한다. 좀 더 일반적인 용어로 말하자면, 데이터 공학자는 자료원, 즉 데이터 공급원에서 데이터를 질의하고(‘추출’), 데이터를 어떤 방식으로든 수정하고(‘변환’), 데이터를 사용자가 접근할 수 있는, 그리고 거기에 있는 데이터가 실무 품질임을 아는 어떤 장소에 넣는다(‘적재’). 추출(extract), 변환(transform), 적재(load)라는 용어들은 이 책 전체에 쓰이며, 종종 ETL로 줄여서 표기하기도 한다. 그런데 데이터 공학의 이러한 정의는 다소 광범위하고 단순화된 것이다. 그럼 데이터 공학자가 과연 어떤 일을 하는지를 예제를 통해서 좀 더 깊게 살펴보자.
--- p.4
데이터 공학자는 효율적인 데이터 전송을 위해 데이터 형식, 모형, 구조를 고민하는 반면, 데이터 과학자는 그런 데이터를 활용해서 통계 모형을 구축하고 수학 계산을 수행하는 방법을 고민한다. 데이터 과학자는 데이터 공학자가 만든 데이터 웨어하우스에 연결해서 기계학습 모형과 분석에 필요한 데이터를 추출한다. 데이터 과학자가 자신의 모형들을 데이터 공학 파이프라인에 집어넣는 경우도 있다. 그런 만큼 데이터 공학자와 데이터 과학자는 밀접한 관계를 맺어야 한다. 데이터 과학자가 데이터에서 무엇을 필요로 하는지를 파악하는 것은 데이터 공학자가 더 나은 제품을 제공하는 데 도움이 된다.
--- p.7
아파치 에어플로에서 DAG(Directed Acyclic Graph; 유향 비순환 그래프)를 만들 때에는 Bash 스크립트를 비롯해 다양한 연산자(operator)로 작업(task)을 정의할 수 있다. 이 책에서 특히 중요한 것은 파이썬 함수의 형태로도 작업을 정의할 수 있다는 점이다. 이 작업들은 DAG 형태로 조직화된다. 이는 작업들의 의존 관계와 실행 순서가 명시적으로 정의된다는 뜻이다. 여러 작업으로 DAG를 만든 다음에는 스케줄러를 이용해서 DAG의 실행 시점과 주기를 설정한다. 에어플로는 DAG를 감시하고 관리할 수 있는 GUI를 제공한다. 이번 절에서는 지금까지 배운 것을 이용해서 에어플로에서 데이터 파이프라인을 하나 만들어 본다.
--- p.51
데이터 레이크data lake의 로그 파일이나 기타 텍스트 파일을 읽어서 데이터베이스나 데이터 웨어하우스로 옮기는 것은 데이터 공학자가 흔히 하는 작업이다. 이번 장에서는 제3장에서 배운 텍스트 파일 처리 기술에 기초해서 데이터를 데이터베이스로 옮기는 방법을 살펴본다. 또한 이번 장에서는 관계형 데이터베이스와 NoSQL 데이터베이스에서 데이터를 추출하는 방법도 이야기한다. 이번 장을 마치면 여러분은 파이썬과 NiFi, 에어플로를 이용해서 데이터베이스를 다루는 데 필요한 기술들을 갖추게 될 것이다.
--- p.69
이번 장에서는 실무(production)에 바로 사용할 수 있는 데이터 파이프라인의 여러 특징을 살펴본다. 데이터 파이프라인을 여러 번 실행해도 결과가 변하지 않게 하려면 어떻게 해야 하는지(멱등성), 트랜잭션이 실패했을 때 어떻게 처리해야 하는지(원자성) 배우게 될 것이다. 또한 이번 장에서는 스테이징 환경에서 데이터를 검증하는 방법도 살펴본다. 이번 장의 예제 데이터 파이프라인은 내가 실무 환경에서 실제로 실행 중인 데이터 파이프라인이다.
--- p.4
데이터 공학자는 효율적인 데이터 전송을 위해 데이터 형식, 모형, 구조를 고민하는 반면, 데이터 과학자는 그런 데이터를 활용해서 통계 모형을 구축하고 수학 계산을 수행하는 방법을 고민한다. 데이터 과학자는 데이터 공학자가 만든 데이터 웨어하우스에 연결해서 기계학습 모형과 분석에 필요한 데이터를 추출한다. 데이터 과학자가 자신의 모형들을 데이터 공학 파이프라인에 집어넣는 경우도 있다. 그런 만큼 데이터 공학자와 데이터 과학자는 밀접한 관계를 맺어야 한다. 데이터 과학자가 데이터에서 무엇을 필요로 하는지를 파악하는 것은 데이터 공학자가 더 나은 제품을 제공하는 데 도움이 된다.
--- p.7
아파치 에어플로에서 DAG(Directed Acyclic Graph; 유향 비순환 그래프)를 만들 때에는 Bash 스크립트를 비롯해 다양한 연산자(operator)로 작업(task)을 정의할 수 있다. 이 책에서 특히 중요한 것은 파이썬 함수의 형태로도 작업을 정의할 수 있다는 점이다. 이 작업들은 DAG 형태로 조직화된다. 이는 작업들의 의존 관계와 실행 순서가 명시적으로 정의된다는 뜻이다. 여러 작업으로 DAG를 만든 다음에는 스케줄러를 이용해서 DAG의 실행 시점과 주기를 설정한다. 에어플로는 DAG를 감시하고 관리할 수 있는 GUI를 제공한다. 이번 절에서는 지금까지 배운 것을 이용해서 에어플로에서 데이터 파이프라인을 하나 만들어 본다.
--- p.51
데이터 레이크data lake의 로그 파일이나 기타 텍스트 파일을 읽어서 데이터베이스나 데이터 웨어하우스로 옮기는 것은 데이터 공학자가 흔히 하는 작업이다. 이번 장에서는 제3장에서 배운 텍스트 파일 처리 기술에 기초해서 데이터를 데이터베이스로 옮기는 방법을 살펴본다. 또한 이번 장에서는 관계형 데이터베이스와 NoSQL 데이터베이스에서 데이터를 추출하는 방법도 이야기한다. 이번 장을 마치면 여러분은 파이썬과 NiFi, 에어플로를 이용해서 데이터베이스를 다루는 데 필요한 기술들을 갖추게 될 것이다.
--- p.69
이번 장에서는 실무(production)에 바로 사용할 수 있는 데이터 파이프라인의 여러 특징을 살펴본다. 데이터 파이프라인을 여러 번 실행해도 결과가 변하지 않게 하려면 어떻게 해야 하는지(멱등성), 트랜잭션이 실패했을 때 어떻게 처리해야 하는지(원자성) 배우게 될 것이다. 또한 이번 장에서는 스테이징 환경에서 데이터를 검증하는 방법도 살펴본다. 이번 장의 예제 데이터 파이프라인은 내가 실무 환경에서 실제로 실행 중인 데이터 파이프라인이다.
--- p.147
출판사 리뷰 출판사 리뷰 보이기/감추기
회원리뷰 (2건) 회원리뷰 이동
한줄평 (0건) 한줄평 이동
첫번째 한줄평을 남겨주세요.
배송/반품/교환 안내
배송 안내
| 배송 구분 |
예스24 배송
|
|---|---|
| 포장 안내 |
안전하고 정확한 포장을 위해 CCTV를 설치하여 운영하고 있습니다. 고객님께 배송되는 모든 상품을 CCTV로 녹화하고 있으며, 철저한 모니터링을 통해 작업 과정에 문제가 없도록 최선을 다 하겠습니다.
목적 : 안전한 포장 관리 |
반품/교환 안내
상품 설명에 반품/교환과 관련한 안내가 있는경우 아래 내용보다 우선합니다. (업체 사정에 따라 달라질 수 있습니다)
| 반품/교환 방법 |
|
|---|---|
| 반품/교환 가능기간 |
|
| 반품/교환 비용 |
|
| 반품/교환 불가사유 |
|
| 소비자 피해보상 |
|
| 환불 지연에 따른 배상 |
|
