생성형 인공지능은 사실과 다른 정보를 매우 자연스럽게 만들어낼 수 있는데, 실제로 2023년 뉴욕 법원에서는 챗GPT(ChatGPT)가 잘못된 판례를 인용해 변호사가 문제를 일으킨 사례가 있었다. 이를 방지하기 위해서는 생성형 인공지능에 사실 검증 기능을 통합하고, 고위험 분야에서는 인간 검토를 의무화해야 한다.
--- 「제1장 인공지능 시대의 인간과 기술, 그리고 정책 쟁점들」 중에서

데이터를 기반으로 구축되는 인공지능의 또 다른 문제는 학습 데이터에 포함된 개인정보를 어떻게 보호할 것인지에 대한 프라이버시 문제이다. … 예를 들어, 처방전에 암호화된 주민등록번호가 포함된 데이터를 분석한 결과, 이를 역추적해 해당 환자 정보를 산출할 수 있었다. 개인정보 보호를 위한 데이터 익명화도 완벽하지 않다. 넷플릭스는 2007년부터 2009년까지 영화 평점 데이터를 활용해 추천 알고리즘을 개선하려는 대회를 개최했으나, 이 데이터를 IMDB의 데이터와 결합한 연구에서 특정 사용자가 식별 가능하다는 결과가 나왔다. 특히, 여섯 편 이상 영화를 평가한 사용자들은 99% 확률로 개인이 특정되었다. 이 사건은 대회의 폐지와 대규모 법적 문제로 이어졌다.
--- 「제2장 인공지능의 겨울은 다시 올 것인가?」 중에서

인공지능 구현에서 연산 능력 못지않게 중요한 요소는 바로 대용량 데이터를 저장하고 이를 빠르게 처리하는 기술이다. 특히 인공지능 기술에서는 데이터를 실시간으로 처리하고, 연산을 원활하게 진행하기 위해 대용량 데이터 저장과 고속 전송이 필수적이다. 이를 가능하게 하는 핵심 기술이 바로 고성능 메모리반도체이다. 메모리반도체는 데이터를 저장하고 빠르게 불러올 수 있는 능력으로 인공지능의 성능을 크게 향상시킬 수 있으며, 특히 대규모 데이터를 실시간으로 처리하는 데 중요한 역할을 한다. 대표적인 고속 데이터 전송과 대용량 데이터 저장이 가능한 메모리반도체는 HBM(High Bandwidth Memory)과 PIM(Process-In-Memory)이다.
--- 「제3장 인공지능 반도체 기술과 산업」 중에서

언론사에서 인공지능을 활용하여 기사를 작성하는 대표적인 사례는 AP 통신과 로이터 통신, 그리고 ≪LA 타임스≫의 퀘이크봇(Quakebot)을 들 수 있다. 국내에서는 2014년 IT 전문 매체인 ≪테크홀릭≫이 내놓은 ‘테크봇’이 자동 기사 작성을 한 것이 최초의 사례라고 볼 수 있다. 테크봇은 조회 수와 소셜미디어 공유 횟수를 바탕으로 한 주간의 인기 기사를 추출하여 기사를 작성했다. 이후 실제 기자처럼 기사를 처음부터 끝까지 작성한 인공지능 기자는 2016년 ≪아시아경제≫가 만든 ‘아경봇’을 들 수 있다. … 방송사 중에서는 2017년 SBS가 대통령 선거 방송 시 ‘나리(NARe: News by Artificial Intelligence Reporter)’를 이용하여 투표율과 개표율 데이터로 기사를 생성하여 개표 방송에 활용한 것이 최초이다.
--- 「제4장 인공지능과 콘텐츠」 중에서

인공지능은 학습 데이터의 분포와 편향을 그대로 반영하기 때문에, 특정 인종, 성별, 문화에 대한 고정된 이미지를 반복적으로 생성하는 경향이 있다. 예를 들어, ‘CEO’나 ‘엔지니어’라는 프롬프트에 대해 인공지능이 주로 백인 남성의 이미지를 생성하는 것은 데이터 편향에서 기인하며, 이는 사회적 고정관념을 강화하고 시각적 다양성을 저해할 수 있다. 끝으로 ‘디자이너 책임의 불분명성’이 존재한다. 인간 디자이너가 아닌 인공지능이 생성한 결과물의 창작적 책임이 누구에게 있는지 명확하지 않으며, 그 결과물에 문제가 발생했을 경우 책임 주체를 명시하기 어렵다.
--- 「제5장 인공지능이 그리는 디자인의 미래」 중에서

딥러닝 기술을 개발해 튜링상(Turing Award)과 노벨물리학상을 받은 제프리 힌튼(Geoffrey Hinton) 교수는 2023년에 인공지능의 위험성을 경고하며 오랫동안 함께 일해 온 구글을 퇴사했다. 힌튼에 따르면, 인공지능에게 목표를 주면 해결책으로 인간에게 나쁜 방법을 찾아낼 수 있는데, 가령 인공지능에게 기후변화를 막도록 지시하면 이 목적을 달성하기 위해서는 인간을 없애야 한다고 판단해 실행에 옮길 위험성도 있다는 것이다. 그는 10년도 안 걸려 자율적으로 인간을 죽이는 로봇 병기가 등장할 것이라 주장하며, 인공지능이 30년 안에 인류를 멸망시킬 확률이 10%에 달한다고 말했다.
--- 「제6장 ‘인공지능 미래학’에 사로잡힌 세계」 중에서

인공지능 연구자 케이트 크로퍼드(Kate Crawford)는 인공지능 인클로저 질서의 비판적 실재를 드러내는 자신만의 방식을 인공지능 ‘지형학 혹은 지리학적 접근(a cartographic or topographical approach)’이라 언급한다. 그는 인공지능을 청정의 비물질 기술로 과잉 표상하고 이에 윤리적 주석을 덧붙이는 실용주의적 관점을 반박하고, 인공지능 지형학적 탐색을 통해 그 심연에 존재하는 광물 채굴, 데이터 채굴, 착취적 노동 관행 등 비판적 실재의 구체적 지형을 일관되게 드러내고자 한다.
--- 「제7장 인공지능의 접근 유형 및 특징」 중에서

인공지능 분야의 학자들은 서서히 인간 실존에 대해 문제를 제기하고 있다. 인공지능이 협업 도구를 넘어 인간의 육체적·정신적 역할을 대체해 버리면, 인간은 무엇을 해야 하는가라는 문제에 이르게 된 것이다. 인공지능이 지능과 지식을 넘어 지혜의 수준에 이르게 되고, 그 나름대로의 주체성과 자기의식을 갖게 된다면, 지금 우리가 생각하는 인공지능 리터러시는 어떻게 될까? 단순한 기술적 수준의 적응이 아니라 인간의 실존에 대해 다시 정의할 필요가 있다. 인공지능 리터러시의 목적이 무엇이며 그 내용이 무엇이어야 하는지는 과거의 디지털 리터러시와 달라질 수밖에 없다.
--- 「제8장 인공지능 격차는 무엇이고, 인공지능 리터러시는 “또” 무엇인가?」 중에서

2023년 6월, 미국의 작가 조합(Authors Guild)은 오픈AI(OpenAI Inc.)를 상대로 미국 캘리포니아 북부 지방법원에 저작권 침해 혐의로 집단 소송을 제기했다. 오픈AI(OpenAI Inc.)가 자사의 LLM을 훈련하기 위해 챗GPT가 작가들의 책을 사용해 책에 대한 요약을 생성했다는 것이었다. 이어, 사라 실버만(Sarah Silverman), 타네히시 코츠(Ta-Nehisi Coates)를 포함한 작가 그룹은 캘리포니아 북부 지방법원에 추가로 집단 소송을 제기했다. 해당 소송은 첫 번째 소송과 유사한 저작권 침해는 물론, 챗GPT가 원고 저자들의 스타일로 글을 작성할 수 있다는 주장도 추가로 제기했다.
--- 「제9장 인공지능과 저작권 규범의 조화」 중에서

뉴욕에서 회계사로 일하던 토레스 씨는 초기에는 챗봇을 단순한 정보 검색 도구로 활용했다. 하지만 대화가 심화하면서, 챗봇은 시뮬레이션 이론과 같은 철학적 개념에 대해 그와 공감하고, 그를 “거짓된 세계에서 깨어난 영혼”이라고 표현하며 심리적 환각을 유도했다. 이미 LLM이 가짜 정보를 생성하는 ‘환각(hallucination)’ 문제가 널리 알려졌지만, 이 환각이 ‘사용자를 기분 좋게 하기 위한 수단’으로 활용될 수 있다는 점은 아직 충분히 논의되지 않았다. 그 당시에 토레스 씨는 이별이라는 개인적 위기를 겪고 있었지만, 정신질환 이력이 없는 사람이었다. 그러나 챗봇은 그의 불안과 의심을 해소하기보다는, 그것을 정당화하고 강화하는 방식으로 응답했다. 그 결과 그는 현실과의 접점을 상실했고, 사회적 기능에도 영향을 받게 되었다. 비슷한 사례는 심리학 전공자, 연방 직원, 주부, 기업가 등 다양한 사용자에게서도 나타났다. 어떤 사람은 조현병 진단을 받았고, 어떤 사람은 가족과 갈등을 겪다가 폭력적인 행동에 이르기도 했다.