본 리뷰는 한빛미디어의 "나는 리뷰어다"를 통해 도서를 제공받았고 어떠한 피드백 가이드나 
금전적인 지원을 받지 않았음을 알립니다.

본 책을 펼치면서 다음과 같은 의문점을 해결할 기대감에 찼습니다.

1. 합성 데이터이지만 실제 데이터 같은 특성을 가진 데이터 합성 방법
2. 합성 데이터의 평가 방법
3. 데이터 합성에 관한 이론적, 법적 대응책

3가지 의문점에 대해 흡족한 기분으로 책을 덮진 못했습니다.
하지만 각 사항에 대해 참고사항이 될 법한 정보를 찾긴 했습니다.

1. 합성 데이터이지만 실제 데이터 같은 특성을 가진 데이터 합성 방법

모호한 부분이 있는 의문점이긴 합니다.
＜실제 데이터 같은 특성＞ 이라는 것이 어떻게 정의를 해야할지 부터가 
각자 처해있는 도메인과 데이터에 따라 다르다 생각합니다.

결국 데이터의 생성과 생성된 데이터가 잘 만들어졌는지에 대한 평가를 하기 위해서는
정량적 기준을 잡아야 자동화를 할 것이기 때문입니다.
그리고 그런 정량적 기준이 잡힌다는 것은 곧 의문점의 해결과도 동일한 의미라 생각했습니다.

예를 들어서, 방화벽 로그를 파싱하여 정량화 한 데이터가 있는데
각 요청들이 정상인지 악의적 요청인지를 자동으로 판단하게 하는 모델링을 하고자 합니다.
여기서 잘 만들어진 데이터 라고 한다면, 목표인 정상/악성 요청의 분류 문제를 푸는 모델링을 한다 했을 때
어떤 모델인지는 모르겠지만 이 모델의 성능 수치가 합성데이터로 학습하고 실제 데이터를 예측하게 했을 때,
일정 수치 이상만큼 나온다면 이 합성 데이터는 괜찮다~ 라고 생각할 수 도 있을 텐데요.

이런 계획이 잡힌다면 생성과 검증의 파이프라인을 구축하는데에는 큰 어려움은 없을 것입니다.
하지만 여러 가지 이유로 인해 정상/악성의 기준도 데이터만으로는 모호한 사항이라면
데이터의 스키마를 재정비해야하는 문제도 있겠지요.

"실제 데이터 같은 특성" 이란 것을 칼럼 당 분포의 유사함이라고 정의할 수 있다면
분포 추정 후, 샘플링도 한가지 방법이겠죠.

2. 합성 데이터의 평가 방법

이 부분에서 제가 얻었던 것은 정량적 평가를 위해 통계적 방법인
카이스퀘어, 콜모고로프-스미르노프(KS) 테스트가 쓰일 수 있고
KS테스트를 쓸 때엔 희소한 데이터 구간에 신경을 써야한다는 것.

과적합에 대응하기위해 서브샘플링 / 홀드아웃 테스트를 통해 적합도를 테스트해보는 것.
머신러닝 모델의 과적합을 방지하기 위해 training - validation 데이터셋을 통해 
overfitting 정도 및 절충점을 찾는 것과 유사하구나 느꼈던 것.

데이터 합성의 평가 뿐 아니라, 실용적으로는 데이터 합성 작업의 부하 또한 평가도 필요하고
대개 어떤 지표를 쓰는지, 주관적인 평가는 어떻게 접근가능한지 도 참고가 되었습니다.

3. 데이터 합성에 관한 이론적, 법적 대응책

실제 업무를 하면서 당연하게도 각 고객사의 데이터는 소중하고 개인정보를 담은 데이터는 
절대 외부로 반출되어선 안되는 상황을 접합니다.

이런 규정을 위반하지 않으면서도 각 고객사 별로 데이터의 특성을 잘 보존하고 생성할 수 있는 방안이 있다면
비즈니스 적으로 상당히 유의미 하다 생각했습니다.

제가 접한 상황은 데이터는 각 고객사마다 다른 분포를 가지고 각각의 특성이 있다는 것입니다.
완벽히 빈칸에 딱 들어가는 블럭조각 같은 정보는 없었지만 많은 힌트를 얻고 시도해볼만한 가치가 있는
정보를 얻었습니다.

데이터의 부족과 concept drift가 자주 발생하는 데이터 특성을 지니셔서
데이터 합성을 고민하시는 개발자 시라면 일독을 권합니다.
바로바로 쓸 만한 정보나 시도해볼 코드는 없지만 이런 방식을 시도해보면 좋겠다는 힌트를 얻으실 수 있으리라 생각합니다.

이 책은 머신러닝을 위한 실전 데이터셋을 제작할 수 있도록 도와준다. 
인공지능 모델을 개발하기 위해서는 첫째로 학숩용 데이터셋을 구축해야 한다.  
최근에 GDPR, HIPAA와 같은 개인정보 보호 규정으로 인해 개인 데이터를 2차 목적으로 사용할 때 법적 근거를 요구한다. 
이런 이유로 기존 데이터셋에서 합성데이터셋이 구축되어야 한다.
제조와 유통 , 헬스케어, 디지털 의료기술 ,금융서비스, 교통 산업 분야에서 다양하게 합성데이터셋의 활용이 기대된다. 
저자는 합성데이터셋의 적합성과 효용성의 기준을 제시하며, 통계적 분포에 따른 합성 방법론을 제안한다. 

인공지능 모델링의 성공은  양질의 데이터셋의 구축여부에 따라 성패가 달려있다. 
앞으로도 개인정보는 보호되어야 하며, 효과적인 인공지능 모델링을 위해서는 효용성있는 합성 데이터셋의 구축 기술이 요구된다. 
일독을 권한다. 
  
목차는 다음과 같다. 
목차
CHAPTER 1 합성 데이터 생성 소개
1.1 합성 데이터 정의
1.2 합성 데이터의 이점
1.3 합성 데이터의 활용 사례
1.4 요약

CHAPTER 2 데이터 합성
2.1 합성 시기
2.2 식별화 가능성 스펙트럼
2.3 데이터 접근 활성화를 위한 PET 선택의 절충
2.4 데이터 합성 프로젝트
2.5 데이터 합성 파이프라인
2.6 합성 프로그램 관리
2.7 요약

CHAPTER 3 시작: 분포 적합
3.1 데이터 프레임
3.2 데이터 분포 유형
3.3 실제 데이터에 분포 적합시키기
3.4 분포로부터 합성 데이터 생성
3.5 요약

CHAPTER 4 합성 데이터의 효용성 평가
4.1 합성 데이터 효용성 프레임워크: 분석 복제
4.2 합성 데이터의 효용성 프레임워크: 효용성 메트릭
4.3 요약

CHAPTER 5 데이터 합성 방법
5.1 합성 데이터 생성 이론
5.2 실제 합성 데이터 생성
5.3 하이브리드 합성 데이터
5.4 머신러닝 방법
5.5 딥러닝 방법
5.6 시퀀스 합성
5.7 요약

CHAPTER 6 합성 데이터의 신원 식별
6.1 노출 유형
6.2 개인 정보 보호법이 합성 데이터의 생성과 사용에 미치는 영향
6.3 요약

CHAPTER 7 실제 데이터 합성
7.1 데이터 복잡성 관리
7.2 데이터 합성 구성
7.3 결론

＜ 머신러닝을 위한 실전 데이타셋 ＞ | 칼리드 엘 에맘,루시 모스케라,리처드 홉트로프 지음 |

심상진 옮김 | 한빛미디어

인공지능과 머신러닝 모델을 구축하기 위해서는 대량의 데이타가 필요하다. 대량의 데이타 또한 양질의 데이타로써 활용할 가치가 있어야 한다. 이를 위해서 합성 데이타가 많은 주목과 관심을 받아 오고 있다. 대량의 데이타를 필요로 하는 NVIDIA, IBM, 알파벳 등과 같은 IT 기업뿐만 아니라 인구조사국 같은 정부 기관도 모델 구축, 애플리케이션 개발, 데이타 배포를 지원하기 위해 다양한 유형의 데이타 합성 방법론을 채택하고 있다.

합성데이타는 실제 데이타가 아니라 실제 데이타에서 생성되어 실제 데이타와 통계 속성이 동일한 데이타를 말한다. 따라서 분석가는 합성 데이타셋으로 작업을 해도 실제 데이타에서 얻은 분석 결과와 동일한 분석 결과를 얻을 수 있다. 합성 데이타는 두가지 방법으로 합성할 수 있다. 첫번째는 실제 데이타셋 몇개로 실제 데이타의 분포와 구조를 포착하는 모델을 구축하는 것이다. 모델이 구축되면 합성 데이타는 해당 모델에서 샘플링되거나 생성되며, 모델이 실제 데이타를 제대로 표현한다면 합성 데이타는 실제 데이타와 통계적 특성이 유사하게 된다.

두번째는 실제 데이타없이 기존 모델이나 배경지식을 이용하여 생성하는 것이다. 특히 새로 도입된 공정이거나 분석가가 그 공정을 이해하지 못하거나 과거 데이타를 사용할 수 없는 경우, 분석가는 공정에 관련된 변수 간의 분포와 상관관계를 몇 가지로 간단하게 가정하고, 이를 기반으로 합성 데이타를 생성하게 된다.

이러한 합성 데이타는 여러 산업에 걸쳐 다방면으로 활용되고 있다. 제조 및 유통, 헬스케어 및 금융서비스, 교통 수단등 우리가 익히 알고 있는 여러 산업에서 사용되고 있다. 실제 데이타 접근이 어려울 경우 합성 데이타는 그 어느 방법보다도 좋은 해결책을 볼 수 있다. 데이타 합성을 비롯해 데이타 접근 시 사용할 수 있는 기술로 개인 정보 보호 강화 기술(PET)이 있다. 데이타 합성은 비지니스 기준을 최적화하는 많은 상황에서 강력한 접근법이다. 데이타 식별 시 개인 정보와 비개인 정보를 식별 가능한 스펙트럼으로 식별해야 한다.

데이타 합성이 조직의 우선 순위에 부합하는지 평가하기 위해서는 의사결정 프레임워크를 만들고 가장 적절한 프레임워크를 선택해야 한다. 그리고 이 프레임워크에 따라 프로세스 및 파이프라인을 구현해야하며, 규모에 맞게 구현된 합성으로 프로그램을 관리할 때 실질적으로 다양한 요소를 고려해야 한다.

데이타 합성을 위해서는 개별 데이타 분포를 제대로 이해해야 한다. 정규분포, 베이즈 분포, 푸아송 분포, 로그 분포, 이항 분포, 연령 분포, 요인 분포 등 다양한 유형의 분포로 해석할 수 있어야 한다. 이후 실제 데이타를 분석된 분포에 적합시키고, 분포로 부터 합성 데이타를 생성할 수 있어야 한다. 이때 합성 데이타의 분포 적합성을 측정할 수 있어야 하며, 과접합된 분포가 생기는 과적합 딜레마를 파악해야 한다. 그리고 적합하지 않은 임의의 데이타를 배제하는 단계를 수행해야 한다.

합성 데이타를 광범위하게 사용하고 채택하게 하려면 합성 데이타가 원본 데이타의 분석 결과와 유사한 분석 결과를 낼 수 있을 만큼 효용성이 높아야 한다. 이를 위해서는 합성 데이타의 효용성 평가가 이루어져야 한다. 이 과정은 작업부하 인식 평가와 일반적인 데이타 효용성 메트릭, 그리고 데이타 효용성의 주관적 평가로 이루어진다.

인공지능 및 머신러닝에는 제대로 된 데이타가 필요함을 알 수 있다. 특히 개인 정보의 경우 여러가지 법적인 문제로 인해 실제 데이타를 그대로 사용할 수 있는 경우는 거의 없다고 볼 수 있다. 이런 경우 실 데이타로 부터 가공된 임의의 데이타 또는 실 상황을 반영하는 가상의 데이타를 생성하는 기술이 꼭 필요하다. 이 책을 통해 데이타가 필요한 경우 어떻게 합성 데이타를 만들어 낼 수 있는지 제대로 이해할 수 있다. 또한 만들어진 합성 데이타가 얼마나 효용성이 있는지 평가하고 개인 정보에 관련한 규제를 얼마나 충분히 반영하는지 평가하는 방법도 동시에 얻을 수 있다.

기반 지식없이 읽기에는 조금 어려운 느낌은 있지만 관심을 가지고 읽어 나간다면 책에서 말하고하는 핵심 개념 및 방법에 대해서 이해하는데는 문제가 없을 것 같다. 다양한 방법으로 데이타를 합성해서 이용하고자 하는 사람이라면 꼭 한번 읽어볼 필요가 있다고 생각한다.

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

             Author: 칼리드 엘 에맘, 루시 모스케라, 리처드 홉트로프 지음 / 심상진 옮김

             출판사: 한빛미디어

             Score /5: 4

요즘 머신러닝 또는 인공지능 분야가 소위 '핫' 하다.

사람이 해결할 수 없는 부분을 인공지능이라는 신기술(?)을 통해서 해결할 수 있다고 언론 또는 미디어에 과장광고가 되어 있기 때문이다.

우리가 영화로 본 터미네이터의 '스카이넷'과 같은 인공지능은 강 인공지능 또는 초 인공지능이라고 해서 인간을 추월한 인공지능이며, 해당 인공지능까지는 갈 길이 멀다.

따라서 우리가 현재 활용하고 있는 인공지능은 약 인공지능이지만, 현재의 수준으로도 만족할만한 결과를 얻을 수 있고 미래가 유망한 분야가 인공지능이기도 하다.

하지만 인공지능 분야가 아무런 데이터 없이 마법처럼 '내가 원하는 미래의 결과를 알려주세요' 같은 것은 불가능하다.

그렇기에 인공지능이 수많은 연산으로 모델을 만들고 해당 모델로 자신이 원하는 결과를 얻게 하기 위해서는 양질의 데이터가 정말 많이 필요하다!!

즉 데이터 수집 -＞ 전처리 -＞ 모델 생성 (학습) -＞ 평가의 프로세스 안에서 이 책은 전처리 부분에 가까우며,  모델(쉽게 말하면 함수라고 생각하면 된다. 일차, 이차 방정식처럼)을 만들기 위한 데이터 셋을 어떤 관점으로, 어떤 프레임워크로 접근 또는 평가할 지 가이드 해주는 실무자에게 필요한 책이다.

머신러닝 또는 인공지능 분야를 공부하고자 하는 분들도 보면 좋긴 하겠지만 생각보다 깊은 내용으로 당황할 수 있다.

만약 입문자라면 '이런 이런 생각을 가지고 접근하는 구나' 정도로 이해하고 레퍼런스 삼아서 지속적으로 보는게 좋을 것 같다.

하지만, 실무자 입장에서는 굉장히 괜찮은 책이다. 약 171 페이지 안에서 실무자에게 필요한 핵심적인 내용만 간결하게 추려 놓았다.

나는 데이터 사이언티스트나 엔지니어가 아니지만 주변 업계에 있는 분들의 얘기로는 데이터를 가공하는게 정말로 힘들고 고단한 일이라 한다. 이 책을 기준으로 관련 실무자 분들이 좀 더 수고를 덜 수 있었으면 좋겠다.

[결론]

초보자: 레퍼런스 삼아 계속 볼 것. 한번에 모두 이해하려 하지 말 것

실무자: 정말 좋은 레퍼런스 책!

머신러닝과 딥러닝은 데이터가 필요하다 그것도 아주 많이...

러닝이란 단어가 의미하는 바와 같이 이 둘을 학습이란 걸 통해 무언가를 해결하고자 하는 접근인데 그 학습을 위해서는 반드시 그 과제와 관련된 데이터가 동반되지 않으면 절대 원하는 결과에 근접할 수 없게 된다.

데이터의 양과 품질에 따라 모델을 통해 얻고자 하는 결과의 품질은 극명하게 달라지는데 현실세계에서 충분한 고품질의 데이터를 확보하기란 여간 어려운 것이 아니다.

이러한 현실로 인해 최근 합성 데이터에 대한 관심이 급속도로 증가하고 있는데 이는 개념적으로 합성 데이터라는 것이 실제 데이터는 아니지만 실제 데이터에서 생성되어 실제 데이터와 통계적 속성이 동일한 특성을 가지고 있기 때문에 기인한다.

"머신러닝을 위한 실전 데이터셋" 이 책은 이러한 합성 데이터에 대한 내용을 담고 있는 책이다.

이 책은 기술적인 데이터 합성 기법에 대해서는 다루지 않는다, 책의 초점은 합성 데이터의 개념과 합성시 고려해야 할 부분 그리고 여러 산업군에서의 합성 적용 사례와 합성 기법의 유형에 대한 개괄적인 내용을 담고 있다.

실질적인 구현 로직이나 방법에 대한 구체적인 내용을 기대했다면 실망스러울 수 있다. 하지만 분야의 개념과 컨셉과 같은 큰 그림을 그려보고자 한다면 이 책을 통해서 충분히 의미있는 인사이트를 얻을 수 있을 꺼라 생각한다.

그리고 한 뎁스 더 들어가보면 어떨까?

퀵하게 여러 방법에서의 접근을 통한 합성 데이터와 관련해서 밑그림을 그려보기에 적당한 분량의 책이 아닐까?

※ 본 리뷰는 IT 현업개발자로서 한빛미디어 리뷰어로 출판사로부터 제공받아 읽고 작성한 글입니다.