＜빅데이터, 인공지능을 만나다＞는 한국금융연수원 발행으로 대부분 연수생교재로 사용하기위해 출간하는 것으로 압니다. 그러다보니 새로운 내용을 담는다기보다는 이미 많이 발행되고 논의되는 지식을 핵심적으로 수강생들에게 주입하기위해 제작을 할겁니다. 대도록이면 꼭 알아야할 빅데이터와 인공지능을 살펴보고 실제 실습도 파이썬으로 실습할수 있도록 구성해서 빅데이터와 인공지능의 활용에 대해 경험해보고자하는 분들에게 매우 최적화된 책입니다. 2000년이후부터 지식은 정말 폭발적으로 증가했습니다. 이제 정보를 모으는 일보다 정보를 취사선택하는 일이 더욱 중요해진 시대가 되었습니다. 빅데이터와 인공지능 그리고 파이썬이라는 언어는 문과이과의 구분이 아니라 모두해야 하는 기본소양화하고 있습니다. 300페이지가 안되는 량인데 핵심만이 담겨지고 실습도 같이 해볼 수있는 서적이므로 정독함이 맞는 책이었습니다.

저자는 심준식연구원으로 오클라호마대학, 고대석사와 박사수료를 빅데이터와 블록체인을 전공하신분으로 딜로이트와 삼일회계법인에 계셨던 분입니다. 대형기관에서 현업으로 이 계통으로 잔뼈!를 굳히신분이고요. 공저자 우재현은 서울대에서 학사와 석사를 한후 고대 박사를 받고 기업보안을 담당했고 현재는 AI관련일과 대학에서 강의를 하십니다.

빅데이터가 언제부터인가 우리 일상에 자주 접하게 됩니다. 이는 데이터를 자원으로 새로운 비즈니스가치를 창출하게 되었기 때문이죠. 디지털이 많이 사용되면서 데이터가 양산이 되고 그것을 이용하여 성공사례가 나오기 때문이죠. 이제 데이터는 양에서나 속도면에서 그리고 다양성,가치,정확성면에서 획기적으로 다른 차원의 모습을 보입니다. 그리고 사용분야도 마케팅,제조,인사,회계,고객관리,연구개발 등에 폭넓게 사용이 됩니다.

빅데이터가 회사업무에 일부가 되면서 빅데이터거버넌스에 대한 관심이 높아집니다. 빅데이터를 관리와 운영을 뜻합니다. 빅데이터는 자체 개인정보를 위반할수도 있어서 사회적 지탄까지 가능하기에 구속적 요소가 많습니다. 데이터3법으로 인해 좀더 데이터에 대한 접근이 전보다는 편해졌지만 서구에 비해 미약해보이는 것도 사실입니다. 컴플라이언스는 기억해둘만한 용어인데, 감사라고 번역될수도 있지만 감사보다는 약한 의미와 빅데이터사용에 취약점을 보완하는 요소가 강합니다. 빅데이터는 개인으로보면 분석의 대상일뿐이지만 기업차원으로보면 전체관리와 리스크관리도 함께 고려를 해야할 부분입니다.

데이터는 인공지능의 발전에 큰영향을 줍니다. 인공지능이 작동을 하기위해서는 데이터라는 입력이 필수입니다. 인공지능방법인 지도학습이던 비지도학습이든 데이터가 받쳐주어야 그것으로 분석과 예측모델을 만들수가 있기 때문이죠. 저자들은 인공지능을 인공신경망을 이용한 딥러닝과 관련 최신기술을 칭합니다. 인공지능의 초기구조는 퍼셉트론입니다. 이는 인간과 동물이 기억할때 쓰이는 구조죠. 이외에 순전파, 역전파, XOR게이트, MNIST,CNN 등 한번 읽어서 이해를 못하는 내용들이 채워집니다. 앞으로 이 싸움이 되지 않을까요. 이해를 하느냐 못하느냐 ㅠㅠ

컴퓨터가 일선학교에 적극적으로 도입이 될때 컴퓨터에 익숙지 않은 나이든 교사분들이 많이 퇴직을 했습니다. 새로운 첨단기기들에 적응못한 분들이 밀려난겁니다. 빅데이터와 인공지능도 또 그런 역할을 하게 되지 않을까요. 사물과 기계에서 많은 데이터를 양산을 합니다. 끝없이 쏟아지는 데이터에서 의미있는 모델을 만들어내는 인공지능 기술을 제대로 이해를 하고 적용을 하느냐 못하느냐가 앞으로 최소 30년은 좌우를 할거라봅니다. 자본주의는 한편으로 냉혈합니다. 밀려나지않기 위해 또한걸음 나가야 할때에 꼭 필요한 내용이었습니다.

코로나19 사태로 인해 '비대면-언택트(Untact) 기반 산업으로의 전환'이 포스트 코로나 시대 기업의 최대 화두로 떠오르고 있습니다. 기존의 디지털 트랜스포메이션(Digital Transformation)에 더해, 빅데이터 기술의 한계를 극복하기 위한 인공지능(AI) 또는 RPA(Robotic Process Automation) 기술과의 조합을 통해 현실적 성과를 내고자 노력하고 있는 모양새입니다.

이러한 디지털 혁명의 본질인 '디지털 트랜스포메이션'의 핵심은 데이터 기반의 의사결정을 통한 비즈니스 혁신이라 할 수 있습니다. 하지만 이를 위한 빅데이터 분석 실전은 그리 녹록지 않아 데이터의 수집과 저장부터 난관에 부딪히는 경우가 적지 않습니다.

물론 데이터의 수집, 저장, 분석, 시각화까지 일련의 데이터 분석과정을 일일이 구축하고 관리하지 않아도 되는 클라우드 기반 빅데이터 분석 서비스(AWS, Azure 클라우드 기반 서비스)가 유행을 타고 있지만, 이러한 일련의 빅데이터 프로세스 주요 단계 및 솔루션을 이해하고 있느냐의 문제는 데이터 분석 및 활용이라는 측면에서 그 깊이와 활용 범위는 큰 차이가 있다고 할 것입니다.

알파고와 이세돌이 바둑대결을 벌인지도 어느덧 몇 년이라는 시간이 흘렀다. 그 후로 알파고는 업그레이드되어서 중국 선수도 이겼고, 다른 AI들도 여럿 생겨나서 게임 등 인간과의 대결에서 승리하고 있다. 한 평생을 바둑만 두었던 사람을 만들어진지 불과 몇 년이 안 된 AI가 이겨버리는 이유는 무엇일까? 그것은 빠른 정보처리 능력과 지치지 않는 체력에 있다고 본다. AI는 마치 잠을 1초도 자지 않아도 항상 또렷한 정신을 가지고 있으며 암산 능력과 이해 능력이 사람 수 백 명에 달하는 슈퍼 인간이 있는 것과 같다고 보면 될 것이다. 이러한 AI의 특성은 현재 우리들이 필요로 하는 것이며, ＜빅데이터, 인공지능을 만나다＞의 주요 내용이다.

우리는 정보의 홍수 시대, 아니 정보의 쓰나미 시대에 서 있다. 매일 생겨나는 정보들은 셀 수 없을 정도다. 자신이 하루에 보낸 SNS 메시지 숫자를 세기도 힘든데 이런 정보량이 인구수만큼 있다고 생각한다면 정말 어마어마할 것이다. 하지만, 정보가 많다고 해서 좋은 것만은 아니다. 많은 정보 중에서 자신에게 꼭 필요한 정보와 신뢰성 있는 정보를 골라내어 다듬어야 진정한 정보라고 할 수 있다.

물레방아를 돌려 전기를 만든다고 생각해보자. 전기를 만들기 위해서는 물레방아를 돌릴 정도의 물의 양과 물의 세기가 필요하다. 만약 물이 쓰나미처럼 빠른 속도로 많이 흘러온다면 물레방아는 전기를 만들기는커녕 박살나버릴 것이다. 이처럼 자신이 원하는 일을 하기 위해서는 적절한 양과 강도가 필요하다.

이를 대신 해줄 수 있는 게 바로 인공지능이다. 그들은 바둑으로 인간을 이겼던 빠른 정보처리 능력과 판단력으로 현 시대의 빅데이터를 입맛에 맞게 다듬어 이용자에게 제공해줄 수 있다. 이미 금융산업에서 빅데이터를 통한 신용분석이나 고객 소비, 동선 분석 등 여러 분야에 활용하고 있으며 이를 통해서 새로운 비즈니스 모델과 산업을 만들어내고 있다.

아직 인간과 매우 닮은 인공지능은 나오지 않았지만, 정보가 쌓이고 경험이 축적되고 기술이 더 발전한다면 언젠가는 인간처럼 생각하는 인공지능이 나올지도 모르겠단 생각이 들었다. 국가 중요산업으로 빅데이터와 인공지능이 선정된 만큼 뛰어난 연구진과 석학들에 의해 조만간 똑똑한 인공지능을 만날 수 있지 않을까 기대해본다.

이 책은 총 2부로 구성되어 있는데 1부는 빅데이터를 활용한 인공지능의 소개와 현황이 적혀있었고, 2부는 진짜 프로그래밍이 나와있었다. 1부는 이해가 되었지만, 2부는 전공이 아니라서 살짝 보다가 접어버렸다. 프로그래밍 전공이나 인공지능 설계에 관심이 있는 분이라면 읽어 볼만한 책인 것 같다.

AI와 IOT가 대세를 이루는 가운데
빅데이터는 어느 산업이든 필수가 되어 버렸다.
책 제목처럼 빅데이터는 AI를 만나면서 더욱 그 중요성은 부각되었기에
이 책이 너무 보고싶어 선택하게 된 책이다.

책의 파트는 2개로 나눠지지만 세부적으로 장과 절로 또 나눠진다.

파트 자체는 정책파트와 기술 파트로 나눠지면 편할지도 모르겠다.
사실 파트 2부분은 프로그램을 알지 못하다면 조금 어려울 수도 있는 부분이지만
집요하게 집중한다면 어느정도의 습득이 가능할 것이다.

첫번째  파트에서는 빅데이터에 대한 개요와 그 응용단계에 대해 아주 상세히 나와있다.
IT 업계와 기술업계에 종사하시는 분들이라면 한번쯤은 들어봄직한 대목들이 주류를
이루고 있어서 그리 어렵지는 않지만 생소한 단어들이 생각보다 많아서
이게 뭐지?  하는 느낌의 글귀들이 꽤나 있었다.

파트1에서  빠르게 내용을 읽고 싶다면 3장, 6장이 핵심 내용이 아닐까 한다.
바로 빅데이터 프로세스와 솔루션, 메타데이터 품질관리에 대한 내용이기 때문이다.
응용 사례로는 8장에 나와있긴 하지만 개인적으로 인터넷에서 쉽게 찾아볼 수 있는 내용이였다.

파트 2는 파이썬으로 데이터를 분석하는 내용이 나와있으며
그 밖의 알고리즘과 데이터 분석에 관한 내용들이다.

책은 19000원으로 그리 낮게 책정되지는 않았지만
나름대로 유익한 내용이 담겨 있다.
하지만 어딘가 모를 가독성이 떨어지는 책의 구성은
자주 책을 내손에서 놓게 만들었다.

또한 파트 2 부분은 조금 더 깊지 않게 다뤘더라면 더욱 쉽게 다가갈 수 있는 책이 될텐데
하는 아쉬움이 남는다.
읽다보니 논문을 읽는 듯한 느낌(?)을 저버릴 수 없었기 때문이다.
난이도 조절 없이 갑자기 많은 내용을 담으려는 의도 때문인지 쉽게 눈에 들어오지 않는 부분들이
많았다.

시리즈로 3권 정도로 나눠져서 쓰여졌다면 더욱 좋았을 아쉬움이 남는다.

이 서적은 빅 데이터의 기초부터 빅 데이터 분석의 AI적용에 대한 가장 기본적인 내용을 다룬 서적으로 빅 데이터를 도입하고자 하는 기업 담당자의 기초 교육을 위한 서적으로 평하고 싶다.

서적은 2개의 장으로 나누어져 있다. 파트1은 빅 데이터 프로세스와 거버넌스에 대한 이론적인 설명, 파트2는 인공지능 시대의 빅 데이터 분석기술로서 분석 실습의 내용을 담고 있다.

파트1은 디지털 트랜스포메이션, 빅 데이터의 개요를 비롯해 빅 데이터 거버넌스, 컴플라이언스, 프라이버시에 대한 빅 데이터의 가장 기초적인 내용을 설명한다. 특히 초등학교 교과서의 글자만큼 큰 활자에 그림을 통한 flow chart와 표를 통해 고등학생도 이해 가능하도록 설명하고 있는 부분이 초보자를 위한 배려로 느껴져 눈길을 끄는 부분이라 하겠다. 파트 1의 내용은 여러 가지 다양한 매체를 통해 이미 널리 알려진 빅 데이터에 관한 기본적인 내용을 복습하는 차원에서 설명하고 있어 이해하는 데 큰 어려움은 없을 내용이라 하겠다.

파트2는 가장 먼저 데이터 분석을 위한 프로그래밍에 대한 내용으로 유명한 파이썬을 통한 실습을 가장 먼저 소개하고 라이브러리 설치와 예제를 통한 실습 방법을 단계별로 설명하면서 데이터 분석의 종류와 kaggle을 소개한다.

2장은 파트2에서 가장 많은 부분을 차지하는 내요으로 빅 데이터 분석의 이론과 프로그래밍에 대한 내용으로 로지스틱 함수, decision tree, Naive Bayes, 군집화 알고리즘, 정확도, 호울성 개선방법을 설명한다. 특히 알고리즘을 수정하기 위해 약간의 파라미터 조절과 앙상블 기법을 활용해 프로그램을 개선하는 설명을 상세하게 한 내용이 독자들의 이해를 돕고 있으며 소개한 국내외 데이터 공유 사이트에서 공개한 데이터를 로 데이터 분석을 실습해 볼 수 있다는 정보가 큰 도움을 주는 부분이라 하겠다.

3장은 인공지능 프로그래밍에 대한 설명으로 퍼셉트론, 오류의 정의, batch size, 활성화 함수 시그모이드 함수, 경사하강법, 순전파와 역전파, XOR 게이트, 이미지 처리등에 대한 내용을 설명한다. 가장 놀란 내용은 CNN(합성곱 알고리즘)에 대한 설명에서 2018년 3월 고등학교 2학년 모의고사의 문제가 CNN구조에 대한 것이었다. 요즘 고교생의 학습범위가 원하는 출력을 얻기 위한 impulse의 filtering 개념을 이미지에 도입한 CNN까지라는 사실에 충격을 받았다.

이 서적에서는 인공지능 프로그래밍은 서적 마지막 부분에 그냥 맛보기 정도만 설명하고 시리즈의 다음 편에서 상세한 사례를 통해 다룰 것으로 기대된다.

이 서적은 빅 데이터를 도입하고자 하는 기업의 실무자나 그 분야로 취업하길 희망하는 취업 준비생을 위한 빅 데이터 관련 교육 도서로 빅 데이터의 가장 기초적 내용부터 빅 데이터를 활용하는 인공지능 프로그래밍까지의 내용을 설명한다. 빅 데이터를 전혀 모르는 독자들에게는 어려울 수 있지만 관련 교육을 받거나 받을 독자들에게는 참고서로 활용할 유익한 서적으로 추천하고 싶다.

https://blog.naver.com/johnpotter04/221987730674

빅데이터 실무 입문서

 이 책을 이해하려면, 프로그래밍과 통계에 대한 전문 지식이 필수다. 전문 지식이 없다면 책의 코딩 설명을 그대로 따라 할 수 있어도 '응용'할 수 없다. 원리를 모르는데 어떻게 응용할까. 문제는 이 책에서 원리를 자세히 설명하지 않는다는 거다. 빅데이터에 입문하는 사람을 대상으로 했지만, 정작 빅데이터의 기초 개념도 잘 모르는 입문자의 입장을 고려하지 않았다. 독자 입장에서 서술하지 않고 전문가인 저자 입장에서 개념을 설명한다. 빅데이터의 개념과 응용 사례를 이해하려면 빅데이터에 대한 상당한 전문지식이 있어야 한다. 자세한 설명이 필요한 부분을 간략히 설명하고 넘어간다. 신입 교수가 학생의 이해도를 확인하지 않고 혼자서 떠드는 느낌이다. 교양서라기에는 전문적이다. 전공서라기에는 개괄적이다. 교양서와 전공서 사이에 있는 책이다. 아쉬운 점이 많은 책이다.