이 장에서 딱 한 문장만 남긴다면. AI는 아는 것을 말하는 게 아니라, 그럴듯한 다음 단어를 말한다. 언어학자 벤더 등이 붙인 이름이 걸작이다−“확률적 앵무새(Stochastic Parrots).” 언어 모델이 학습하는 건 형태(Form), 단어들이 어떤 통계적 패턴으로 배열되느냐이지, 의미(Meaning)−그 단어들이 현실 세계에서 무엇을 가리키는지−에는 손이 닿지 않는다. 여기서 환각(Hallucination) 문제가 터진다. 사실이 아닌 정보를 확신에 찬 어조로 내뱉는 현상. 입력과 모순되면 내재적 환각(Intrinsic Hallucination), 출처에서 확인할 길 없는 정보를 지어내면 외재적 환각(Extrinsic Hallucination)이다.
－01_“생성형 AI 이해하기” 중에서

요약이나 번역 같은 단순한 과제에는 제로샷으로 충분하다. 수학이나 논리 분석처럼 추론이 필요하면 CoT. 특수한 형식이나 도메인 규칙을 따라야 할 때는 퓨샷. 정확도가 극도로 중요하면 자기 일관성을 얹고, 여러 가능성을 탐색해야 할 때는 ToT다. 이 기법들은 배타적이 아니라 누적적이다. 퓨샷에 CoT를 결합하고, 그 결과에 자기 일관성을 적용할 수 있다. (…) 이름은 다르지만 하는 일의 본질은 같다−경로 설계. 모델에 새로운 능력을 주입하는 행위는 이 중 단 하나도 없다. 이미 있는 능력이 발휘될 수 있도록, 토큰이 밟고 갈 길을 깔아 주는 것뿐이다.
－03_“고급 프롬프트 기법” 중에서

대화가 이어지는 것처럼 보이는 이유는, 매 턴마다 이전의 모든 대화 내용이 입력으로 다시 들어가기 때문이다. 세 번째 질문을 할 때 AI는 첫 번째부터 세 번째까지를 하나의 텍스트로 이어 붙여 처음부터 다시 읽는다. 매 턴이 첫 만남이다. 컨텍스트 윈도란 이 텍스트를 담을 수 있는 최대 크기를 뜻한다. GPT-4 Turbo는 128K 토큰, Claude는 200K 토큰, Gemini 1.5 Pro는 100만 토큰까지 처리할 수 있다. 다만 한국어는 영어보다 토큰 효율이 낮아 같은 내용이라도 1.5∼2배 가까운 토큰을 소비한다. 기억은 서랍장이다. 한번 넣으면 꺼내기 전까지 그 자리에 있다. 시야는 창문이다. 대화가 길어지면 창문 밖으로 밀려난 부분은 더 이상 보이지 않는다.
－06_“멀티턴 전략과 컨텍스트 윈도” 중에서

AI 출력물에 대한 태도는 두 극단으로 갈린다. “AI가 말한 것이니 맞겠지”라는 무조건적 수용, “AI는 틀릴 수 있으니 안 써”라는 전면적 거부. 둘 다 틀렸다. 내재적 환각과 외재적 환각은 AI의 구조적 특성이므로 완전히 제거할 수 없다. 그렇다고 AI가 잘하는 구조 설계, 초안 생성, 패턴 인식의 가치까지 버릴 이유도 없다. 맞는 태도는 “조건부 신뢰(Conditional Trust)”다. AI의 출력을 유용한 초안으로 받아들이되, 사실적 주장은 반드시 검증하고, 최종 책임은 자신이 진다.
－09_“AI 잘 쓰는 사람의 습관” 중에서