AI의 어두운 단면을 고찰한 영화나 드라마는 많다. 그도 그럴 것이 AI의 성능은 규모의 법칙을 따르는데 학습 데이터의 양과 파라미터가 많을수록 성능이 월등히 좋아지기 때문이다. 그런데 어느 순간 갑작스러운 능력이 생겼기 때문에 성능이 왜 좋아졌는지, 얼마나 좋아질지 예측하기 어려운 수준이라서 이것을 emergent ability라고 부른다. 의역을 해본다면 ‘자고 일어나니 초능력’쯤으로 설명할 수 있겠다. 문제는 여기에 있다. 과학자들조차도 왜 이렇게까지 좋아졌는지 그 이유를 설명하지 못하기 때문에 그 과정이 알 수 없는 블랙박스라는 점이다. / 그렇다면 미래의 AI는 과연 어느 쪽에서 현재의 우리를 기다리고 있을까? 지금도 학계/업계 전문가들 간에는 치열한 논쟁이 벌어지고 있어 어느 한쪽으로 명확하게 결론을 내릴 수는 없다. 일정 단계까지는 프로메테우스의 불씨처럼 인류의 문명을 한층 더 발전시키는 원동력으로 작용할 것은 분명하다. 다만 최종 단계의 모습이 어느 쪽이 될지는 인간이 어떻게 사유하고 사용하느냐 달려 있지 않을까. 발전하는 기술만큼 윤리의식, 법과 제도 등이 제대로 갖추어져 있지 않으면 의도하지 않은 방향으로 전개될 수도 있을 것이다. 이것이 철학적 사유가 필요한 이유다.
--- p.35

인지심리학 관점에서 인간의 뇌도 일종의 할루시네이션 현상을 보인다. 이것을 ‘무주의 맹시(inattentional blindness)’라고 하며 심리학자 대니얼 사이먼스가 ‘보이지 않는 고릴라’ 실험을 통해 증명했다. 이것은 시청자에게 농구공을 패스하는 무리의 사람 속에 고릴라 분장을 한 사람이 지나가는 영상을 보여주고, 농구공을 몇 번 패스하는지 알아맞히게 함으로써 주의를 분산시키는 실험이다. 실험을 통해 시청자 중 단 42%만이 고릴라를 본다는 사실을 밝혀냈다. 이는 뇌의 주의력 부족으로 인한 오류다. 우리에게 가끔은 불멍과 물멍 같은 멍 때리기, 전문 용어로 디폴트 모드 네트워크(default mode network)가 필요한 이유다.
--- p.65

사실 최초의 GPT도 어찌 보면 TruthGPT에 가까웠다. 진실이라는 것을 어떻게 정의할까? 혹시 각자의 이념으로 바라본 주관적 진실은 아닐까? 집단 지성이 제대로 작동하지 않는 양극화 세상에서 옳고 그름을 따지지 않고 만들어진 수많은 데이터로부터 생성된 답변이 과연 진실하다고 확신할 수 있을까? (...) 우리는 정의가 때로는 고장 난 채 달리는 열차의 기관사가 두 개의 선로 중 어느 한쪽을 반드시 택해야 하는 상황에서 어느 쪽 선로에 있는 사람을 죽이고 살릴지 판단하는 난제와 같은 것임을 알고 있다. 더욱이 기관사가 특정 선로를 택해야만 본인도 살 수 있는 상황이라면 말이다. 대개 이러한 논제의 입장은 더 많은 인명을 구하는 쪽으로 의사결정을 해야 한다는 벤담의 공리주의와 다수를 위해 소수를 희생해서는 안 된다는 칸트의 의무주의로 나뉜다. 몇 해 전 BTS의 곡 『봄날』(2017)의 뮤직비디오로 다시금 회자된 어슐러 K. 르 귄의 《바람의 열두 방향》(시공사, 2014) 속 『오멜라스를 떠나는 사람들』에도 이런 주제는 잘 드러나 있다.
--- pp.108-109

사용자가 검색을 한다는 것은 내가 관심 있는 브랜드를 이미 알고 있고, 검색으로 그 브랜드에 대한 상세 정보를 파악한 후 구매 의사결정을 하는 과정이다. 그런데 검색을 통해 내가 원하는 정보를 파악하기까지는 많은 링크 페이지를 일일이 열어봐야 한다. 게다가 보고 싶지 않은 광고 창을 마주하면서 말이다. / 하지만 생성형 AI의 경우 이런 복잡하고 불필요한 과정을 거치지 않는다. 내가 브랜드를 잘 모르더라도 내가 원하는 것을 질문만 하면 생성형 AI라는 신기한 녀석이 바로 답을 알려준다. 앞으로 현재의 검색 강자들은 사용자들이 검색창을 찾는 일이 점점 줄어들어 언젠가는 ‘그땐 그랬지’라고 말하는 것을 들으며 추억을 회상할지도 모른다.
--- pp.167-168

생성형 AI가 부상하자 DT 대신 아예 생성형 AI의 변혁만을 가리켜 AI 트랜스포메이션(AI transformation, AX)이라는 용어도 쓰이기 시작했다. 그만큼 생성형 AI의 위상이 높다는 것을 방증한다. AX는 클라우드, 빅데이터 분석, IoT, 블록체인 등 이전의 DT와 확연히 다른 점이 있다. 바로 사용자 범위다. 앞선 DT가 일부 부서나 일부 구성원들을 주요 대상자로 적용했다면 AX는 모든 부서, 모든 구성원을 대상으로 적용한다는 것이다. DT도 전사적인 차원의 동참이 있어야 성공할 가능성이 높지만, 기업의 다양한 조직 입장에서 보면 이해관계도 충돌하고 실제 직접적인 영향권으로부터 벗어난 경우도 있다. 하지만 AX는 전사 차원의 참여가 오히려 용이하다. 실제 나의 업무에 활용하여 도움을 받을 수 있기 때문이다.
--- p.236

AI 분야를 개척한 선구자 마빈 민스키는 인간과 기계는 구조적으로 차이가 없기 때문에 AI도 의식을 가질 수 있으며, 존 매카시가 개발한 리스프가 인간 의식보다 더 높은 수준이라고 주장했다. 평소 지론으로 볼 때 그의 사상은 물질과 의식은 동일하며 인간은 물질로 구성되어 있다는 일원론 중 유물론(모든 것은 의식에서 비롯된다는 유심론과 대립)에 매우 가깝다. 실제 그는 데카르트와 같은 이원론자들을 무척 싫어한 것으로 알려졌다. 그의 주장을 그대로 받아들인다면 인간은 생각하는 기계와 같기 때문에 AI도 얼마든지 의식을 가질 수 있다. 사실 심리철학계의 계산주의 마음 이론(computational theory of mind, CTM)에서도 인간의 마음은 정보 처리 시스템이고 인지와 의식도 계산의 한 형태로 정의한다. 즉 우리는 스스로 생각한다고 알고 있지만 그런 생각은 어릴 적부터 내가 읽은 책, 내가 본 영화, 내가 만난 사람들의 자극 등 모든 경험과 환경의 총합이 뇌 속에 프로그래밍되어 작동하는 것이다.