딥러닝에는 다양한 분야가 있고 그 분야마다 여러 가지 데이터가 있는데 어떤 데이터가 가장 유명한지나 무엇을 쓰는지는 찾기가 어렵습니다. 관심있는 분야에 여러 논문을 읽으면 많이 쓰이는 데이터가 무엇인지는 알게 되나 그 전에는 알아보기가 상당히 힘듭니다.

다양한 분야에 대해서 알아보고 싶다거나 새로운 분야를 알아보고 싶으신데 찾기가 어려우면 이 책을 정말 강력하게 추천합니다. 진짜 자세하게 잘 정리되어 있고 많은 데이터가 있어서 내가 원하는 데이터, 그리고 용량을 보고 선택하여서 고르기에 딱 적합합니다.

저는 비전 쪽 분야에 대해서 관심이 있고 공부를 하는데 비전에서도 다양한 분야가 있는데 의료 쪽부터해서 자세히 나와있습니다. 그리고 초심자에게도 좋은 것이 여러 딥러닝 기본 서적을 공부하다보면 MNIST 라는 손글씨 데이터셋을 접하게 될 것입니다. 가장 기초적인 데이터라고 할 수 있는 데이터인데 그 데이터에 대한 내용도 해당 서적에 들어있어서 초심자부터 이미 데이터를 다뤄보신 분들까지 전부 다 읽어볼만하다고 생각합니다!

가장 좋았던 부분은 이 부분입니다. 해당 데이터를 최근 논문에서도 사용되고 있다는 것을 보여주고 있습니다. 오래된 데이터나 오래된 논문을 넣어놓을 수도 있는데도 저자분께서서 최근에 쓰인 논문에서도 해당 데이터를 사용하고 있고 어떻게 사용되는지도 공들였다는 것을 알 수가 있었습니다.

의료 데이터에 대한 자세한 설명도 나와있고 데이터에 대한 속성, 설명도 이렇게 세세히 나와있어서 앞으로 연구를 계속하거나 다양한 데이터를 구글링 하기보단 이 책을 한 권 구매하여 필요할 때마다 찾아본다면 정말 좋은 책일 것 같습니다. 

특히나 데이터를 찾는 데 많은 시간을 할애하는 대학원생들이나 공부를 시작하는 학부생분들께는 시간도 아끼고 모델을 구현하거나 코딩을 하는데 더 시간을 쏟을 수 있다고 생각합니다

이 책은 절대적으로 데이터셋에 대한 정보만 알려주기 위한 책이다.

그러므로 빅데이터 학습 법에 대한 기대를 했다면 헛탕을 쳤을 수도 있다.

훌륭한 데이터 셋에 대한 정보만이 있으니 책 판단에 주의를 바란다.

AI 빅데이터를 공부하다 보면 데이터셋에 대한 아쉬움이 커지기 마련이다.

많은 사람들은 그러한 말을 한다. 만들어서 쓰면 되는거 아니냐고..

틀린말은 아니지만, 인위적인 데이터를 만들어서 쓸 경우 학습 및 테스트의 의미 자체가 사라지기 때문에

랜덤이나 불특정의 목적으로 인위적인 데이터는 빅데이터 학습이 필요가 없다.

그러한 의미에서 이 책은 내게 큰 기회를 주었다고나 할까?

애써 어디선가 찾아보면 겨우 겨우 찾을 수 있겠지만

이렇게 간편하게 데이터셋 정보를 받을 수 있으니 놀라울 따름이다.

더군다나 해당 데이터셋을 이용하여 연구한 정보들도 각 데이터셋과 함께 기재되어 있어,

흥미로운 데이터셋들을 다른 사람들은 어떻게 이용하는가를 간접적으로 알 수 있으며,

고퀄리티의 자료들과 함께 데이터셋과 연관된 이미지 자료들을 볼 수 있다.

개인적으로 해당 데이터셋을 활용한 레퍼런스 논문을 직접 찾아보는 재미도 느낄 수 있다.

자율주행 관련한 데이터셋도 재미있게 보았지만,

개인적으로 가장 관심있었던 분야는 바로 한국어 자연어 처리였다.

AI 쳇팅과 검색 엔진에 관심이 많은 나에게

이 데이터셋은 사막에서 내리는 단비같은 존재 느낌이였다.

지속적으로 연구 분야가 폭넓게 이어지고 있는 만큼 한국어 자연어 처리는

다양한 방식과 파생되는 방법들로 산업들을 키울 수 있기 때문에 더 자세히 관심이 가져진 것 같다.

깊게 학습이 필요한 데이터셋들이 생각보다 많으니

가볍게 넘겨보다가 관심있는 분야가 있다면 그때 자세히 알아보는 것이

이 책의 활용성으로 느껴지는 팁이라 할 수 있겠다.

저자가 의도하는 바도 그러한 것이니, 이 책에 대한 모든 정보를 꼭 이용해야만 하겠다는 신념은

일찍 버리기를 바란다. ㅋㅋ

빅데이터 세상에서 살아가고 있습니다.

AI 하면 자율주행차, 인공지능 스피커, 이미지 분류가 생각납니다.

양질의 데이터를 얻고 싶지만 구하기 어렵습니다.

그런 분들에게 데이터셋을 잘 정리해둔 책을 하나 소개해드리고자 합니다.

소개할 책은 ‘AI, 빅데이터 활용이 쉬워지는 142가지 데이터셋’입니다.

이 책을 통해 어떤 종류의 데이터셋이 있는지 같이 살펴볼 수 있습니다.

데이터셋을 통해 AI와 빅데이터를 활용하는 여러분이 되시길 바랍니다.

1) 관심 분야

사람들마다 관심 분야가 다릅니다.

사람들이 관심 있어 할만한 데이터셋도 잘 정리되어 있습니다.

예를 들어 영상, 자연어 처리, 이미지 분류의 데이터셋도 다룹니다.

또한 의료나 농업에 관심 있는 분들도 있습니다.

그 외에도 데이터셋의 범위가 18가지가 됩니다.

목차를 보면서 관심이 가는 데이터셋이 있는지도 찾아보시기를 바랍니다.

궁금한 데이터셋이 있으면 어떤 데이터셋인지 읽어봐도 좋습니다.

2) 데이터셋 활용

데이터셋을 활용하려면 어떤 데이터인지 알아야 합니다.

데이터를 안다는 것은 무슨 특징을 가졌는지와 데이터에 관해 설명할 수 있어야 합니다.

데이터셋의 명칭부터 해당 데이터셋 관련 논문도 알려줍니다.

다른 논문을 참고할 경우 출처를 잘 적어줘야 하는데요.

출처가 없을 경우 애써 만든 논문이 표절될 수 있습니다.

그렇기 때문에 논문을 참고할 때도 출처를 잘 기록해두며 참고하고 사용해야 합니다.

Ps

연구나 개발업무에 관심 있는 분들이 계실 텐데요.

전문 분야에 따라 학습하는 게 다릅니다.

데이터 분석하려면 데이터가 필요합니다.

데이터를 직접 확보하거나 검증된 데이터셋을 통해 할 수 있습니다.

검증된 데이터셋을 알려주고 저작권과 관련된 논문의 출처도 알려줍니다.

졸업작품을 준비하는 대학생이나 졸업논문을 준비 중인 대학원생들에게도 이 책을 추천합니다.

데이터 분석을 하다 보면 적절한 데이터셋을 찾는 것도 일이다. 목적에 맞는 데이터를 어디서 얻을 수 있는지도 모를뿐더러 사용할 만한 데이터셋이 존재하는지 조차도 모를 수 있다. 특히나 품질 좋고 깔끔한 데이터셋을 구하는 일은 시간 소모도 꽤 크다.

이번에 ＜AI, 빅데이터 활용이 쉬워지는 142가지 데이터셋＞ 도서를 생능북스에서 제공받아 읽어보고 책 서평을 작성하게 되었다. 프로젝트를 진행할 때면 항상 구글에서 탐색하느라 힘들었는데, 마치 가뭄의 단비 같은 책처럼 느껴졌다.

이 책이 소개하고 있는 데이터셋 종류가 다양해서 많은 분석가에게 도움이 될 수 있을 것 같다. 특히 영상, 자연어처리, 소리에 대한 분야라면 더 관심을 가져볼만하다. 자연어처리에 대한 데이터셋을 몇 개 찾아봤는데, 관련 흥미로운 논문들도 있어서 어떤 방식으로 활용할 수 있을지 등에 대해서도 알아볼 수 있어서 좋았다. 영상 데이터셋에 대한 비중이 많아서 AI 관련 준비하는 분도 관심을 가져볼만 한 것 같다.

다소 데이터가 전문적으로 느껴질 수 있어서 마케팅이나 일반적인 가벼운 데이터 분석을 준비하는 분과는 어울리지 않을 수도 있겠다. 어쩌면 비즈니스 도메인 영역에서 도움이 될수도 있으나 이 책에서도 막상 활용할만한 데이터셋을 찾지 못하는 분도 분명 계실 것 같다. 하지만 관련 영역에 있는 대학(원)생이나 AI 프로젝트 실무자 분들은 도움이 될 듯 싶다.

만약 차후에 관련 도서가 또 나온다면 금융 데이터나 좀 더 비즈니스 영역에서 사용할 만한 주제의 데이터에 대한 정리가 있으면 큰 도움이 될 것 같다. 개인적으로는 이번 도서에서 다룬 내용들도 추후에 활용할 일이 생길지도 모르겠다. 그리고 책 앞부분에 저작권과 관련된 내용을 정리해 둔 것을 읽으면서 좀 더 활용에 유의할 점도 알게되어서 좋았다.

결론적으로 AI 관련 데이터를 계속 봐야할 일이 있다면 이 책을 사전처럼 옆에 두고 필요할 때마다 사용해볼만 하다고 생각한다. 충분히 좋은 데이터들을 소개하고 있으며, 관련 연구들 또한 흥미로워서 찾아볼만 하다.

ai와 빅데이터 관련 연구 개발에

반드시 필요한 데이터셋을 총정리한 책이

필요하신 가요?

데이터셋을 찾느라 밤을 새우고 계신가요?

특히 졸업작품을 준비 중인 대학생

졸업 논문을 비 중인 대학원생

단기간에 프로젝트를 기획해야 하는 실무자

빅데이터 분석과 a를 처음 공부하는 분

이러한 분들에게 꼭 필요한 책이 있어

소개해 드리려고 합니다.

책은 각분 분야에서 주목받고 있는

142개의 데이터 셋을 안내하고 있습니다.

항공사진부터 자연사진까지

범위도 넓습니다.

저자인 반병현님은

쉬운 딥러닝, 101가지 컴퓨터 활용팁 등

데이터 분석, 데이터 과학에 관련된

책을 많이 썼습니다.

전문성 부터 믿음이 확 가는데요.

데이터셋의 명칭, 특징, 내용 등을

알맞은 이미지와 함께

설명해주고 있어

이해하는데 어렵지 않습니다.

저자는 책에서 무료 데이터와 오픈데이터 사용법

그리고 통계사이트 등을 알려주고

조심해야할 사항들도

친절하게 설명해주고 있습니다.

마지막으로 원본 출처 사이트에서

데이터셋 백업본을 제공해주고 있어서

더욱 좋습니다.

데이터셋 백업본은 책을 구매하시면

구할 수 있습니다.

나는 IT업계에서 일하고 있는 직장인이다.

지금은 IT컨설팅 분야에서 일하고 있다.

정부는 D.N.A라고 하여 빅데이터, 5G를 중심으로 한 네트워킹, 인공지능을 중심으로 한 정보화정책을 펴고 있다.

거기에는 (빅)데이터가 매우 중요한 역할을 차지하고 있다.

공공데이터 개방도 그런 의미에서 추진되어 지금은 모든 공공분야의 기관들은 자신들이 보유하고 있는 데이터를 개방하고 있다.

또한 데이터댐 사업을 통해 빅데이터 플랫폼 구축, 빅데이터를 활용한 인공지능 학습용 데이터 구축 등을 하고 있다.

(물론 조달청 나라장터에서도 보면 데이터댐 관련 혹은 빅데이터/인공지능 활용 사업이 부쩍 눈에 띄고 있다.)

그럼에도 실전에 적용하기 위한 데이터를 찾기에는 많은 부분 어려움이 있는 것이 사실이다.

이 책 ＜(AI, 빅데이터 활용이 쉬워지는) 142가지 데이터셋＞은 그런 의미에서 가치가 있다.

이 책을 이용하여 자신이 원하는 분야의 데이터셋을 쉽게 접근하여 연구나 개발에 활용할 수 있을 것이다.

이 책에서 다루는 데이터 셋의 범위는 다음과 같다.

그리고 이 책의 목차를 보면

- 영상 데이터

- 자연어 처리 데이터

- 소리 데이터

- 강화학습데이터

- 과학기술 데이터

등으로 분류하여 데이터의 목록을 제공하고 있다.

따라서 자신이 원하는 분야의 데이터를 구해 이용하면 될 것이다.

그리고 이 책의 가장 큰 특징은 "데이터 셋을 활용한 흥미로운 연구결과"를 제공한다는 점이다.

자신이 원하는 데이터 셋을 찾았으면 그 데이터셋을 이용한 추가적인 연구결과를 살펴봄으로써 그 데이터를 어떻게 활용할지 시사점을 얻을 수 있을 것이다.

나 역시 앞으로 프로젝트를 진행하면서 혹은 인공지능/데이터 학습을 하면서 이 책을 적극적으로 활용하여 원하는 데이터를 발굴 이용할 생각이다.