제트엔진에서 가정용 온도조절기까지, 새로운 기기 수십억 대가 이제 사고 및 공격에 취약한 거대하고 복잡한 시스템, 흔히 사물인터넷Internet of Things이라고 부르는 연결망의 일부를 이루고 있다. 예를 들어, 이미 무선 인터넷 연결을 지원하는 ‘스마트’ 세탁기와 드라이어를 생산하는 제조사들이 있다. … 스마트 드라이어에 보안 결함이 있다면 원격으로 접속한 해커가 프로그램을 조작해 모터를 과열시켜 화재를 발생시킬 수 있는 것이다. 보안이 취약한 드라이어를 둔 집이 1000곳만 돼도 해커 한 명이 중소 도시 하나를 발칵 뒤집어놓을 수 있다. --- 「3장 - 해킹, 사기, 그리고 지면을 차지한 가짜뉴스들」 중에서

에너지 거대 기업 엔론의 책임자였던 패스토와 동료들만큼이 나 이익을 위해 복잡도를 악용한 집단은 아마 없을 것이다. … 페스토가 엔론의 부채를 숨기고, 수익을 부풀리고, 수천만 달러를 몰래 자기 호주머니에 넣기 위해서 복잡한 금융 구조를 이용한 사실도 확연히 드러났다. … “통나무 하나를 숨기려면 숲에다 집어넣으면 돼요.” 미시간주 의회 의원인 존 딩겔John Dingell은 이렇게 말했다. “지금 우리는 기가 막히게 복잡한 금융보고서의 일례를 보고 있습니다. 그들은 거짓말을 할 필요가 없었어요. 극도로 복잡한 구조 속에 애매하게 섞어두기만 하면 됐죠.” … 페스토는 나중에 이렇게 설명했다. “회계 규정과 규제, 증권 법률과 규제는 모호합니다. 복잡하죠……. 엔론에서 내가 한 일과 회사로서 우리가 [하던] 일은 그 복잡도, 그 모호함을 문제가 아니라 기회로 본 것입니다.” 복잡도는 기회였다.--- 「3장 - 해킹, 사기, 그리고 지면을 차지한 가짜뉴스들」 중에서

안전장치는 확실히 매력적이다. 예측할 만한 실수를 막아주기 때문에 가능한 한 많이 사용하고 싶어진다. 그러나 안전장치는 그 자체가 시스템의 일부가 되어 복잡도를 높인다. 복잡도가 증가할수록 예상치 못한 요인 때문에 실패를 마주할 가능성이 커진다. 역효과를 낳는 안전장치는 여분만이 아니다. 집중치료실 다섯 곳의 침대 머리맡 경보를 연구한 결과 불과 한 달 사이에 뜬 경보가 250만 건인데 그중 40만 건 정도는 경고음도 울렸다. 그 말은 경보가 초당 한 개씩 뜨고 8분에 한 번씩은 경고음이 울렸다는 것이다. 경보 중 90퍼센트 가까이가 거짓양성false positive이었다. 옛 우화에서처럼 8분에 한 번씩 늑대가 왔다고 외친다면 사람들은 곧 관심을 잃을 것이다. 더 큰 문제는 실제로 심각한 사건이 발생할 경우, 무수히 뜨는 경보」 중에서 사소한 것들을 제치고 중요한 경보를 찾아내기가 어려워진다는 것이다.--- 「4장 - 위험구역 밖으로」 중에서

우리가 안전띠를 채우는 이유는 구체적으로 어떤 사고가 발생해 어떻게 다칠지 정확히 예상하기 때문이 아니다. 정신없는 명절 저녁 식사를 준비할 때 여유시간을 두는 이유는 무엇이 잘못될지 알아서가 아니라 무엇인가 잘못될 수도 있다는 걸 알기 때문이다.--- 「4장 - 위험구역 밖으로」 중에서

아네요시 남쪽 200마일 거리에는 후쿠시마제1핵발전소가 있다. 지진이 나자 발전소 원자로가 멈췄다. 비상 발전기가 작동해 아직 뜨거운 핵연료를 식히기 시작했다. 모든 것이 계획대로 돌아가는 듯 보였다. 그러나 지진 후 한 시간도 채 안 돼 쓰나미가 몰아닥쳤다. 파도가 제방을 넘어 들어와 발전기를 덮쳤다. 냉각 시스템이 고장 나고, 원자로가 과열되기 시작하더니 곧 녹아내렸다. … 지난 25년 사이에 발생한 세계 최악의 핵 사고였다. 그러나 막을 수 있는 일이었다. 일례로 진앙에 훨씬 가까웠던 오나가와핵발전소는 심지어 쓰나미가 주변 마을을 초토화시켰는데도 거의 별이 탈 없었다. … 그 주민 중 한 명은 이렇게 회상했다. “그때는 핵발전소보다 더 나은 곳은 없었어요.” 핵발전소보다 더 나은 대피소는 없었다. 오나가와는 왜 그렇게 달랐을까?--- 「5장 - 복잡한 시스템, 단순한 도구」 중에서

고약한 환경에서 일하는 사람들은 결코 이런 종류의 전문성을 개발할 기회를 누릴 수 없다. 연구에 따르면 이런 사람은 시간을 충분히 주어도 더 나은 판단을 하지 못한다. 일례로 한 실험에서는 출입국 관리관이 신분증 사진과 외모가 일치하지 않는 사람을 일곱 번에 한 번씩 통과시켰다. 경험 많은 관리관들이 보여준 실력은 똑같은 실험에 참여한 학생들과 다를 바 없이 나빴다. 마찬가지로 경찰관이 거짓말을 파악하는 능력도 훈련받지 않은 학생들보다 별반 나을 게 없었다. 그리고 고약한 환경에 처한 사람들은 별 상관없는 요소에 근거해 결정을 내리는 일이 잦다.--- 「5장 - 복잡한 시스템, 단순한 도구」 중에서

경기 후에는 이야기가 달라진다. 결과가 확실하면 우리는 더욱 자세한 설명을 내놓을 수 있는데, 사전부검은 바로 그러한 경향성을 끌어낸다. 그저 결과를 상상해보기만 해도 원인을 바라보는 틀이 달라진다. 그리고 사전부검은 동기부여에도 영향을 준다. “계획을 잘 세우는 영리함을 드러내기보다는 사업이 잘 안 풀릴 이유를 찾아내는 쪽으로 영리함을 보여주는 방식이다”라고 게리 클라인은 말한다. “조화를 깨뜨릴 수 있는 문제를 피하려 하기보다는 잠재적 문제를 드러내려는 쪽으로 전반적인 분위기 전환이 일어난다.”--- 「5장 - 복잡한 시스템, 단순한 도구」 중에서

플린트시가 플린트강을 상수원으로 쓰기 시작했을 때, 주 공무원들은 수도 관리 시스템의 기본임에도 불구하고 수도관 부식을 막는 화학 처리를 중단하기로 했다. 그러한 결정으로 시는 하루 60달러를 아꼈다. 오타가 아니다. 주민 1인당 60달러가 아니라 연간 운영비가 500만 달러에 달하는 시스템에서 하루 60달러, 연간 2만 달러 정도다. 1년 동안 실험실 기사 한 명을 고용하는 비용의 절반도 안 된다. 반대로 연구자들이 계산한 바에 따르면 납에 중독된 아이 한 명에 드는 비용은 임금에 미치는 직접적인 경제적 타격만 고려해도 5만 달러다. 플린트시에서 오염된 물을 마신 아이는 9천 명이었다. 해당 식수 문제를 해결하는 데 미시간주가 할당한 예산은 수백만 달러 규모였다. 만약 시가 수도 기반시설 전체를 교체해야 한다면 더 많은 돈이 들 것이다.--- 「6장 - 불길한 징조 읽기」 중에서

학생들(그리고 무인 우주선을 소재로 한 비슷한 연구에 참여한 나사 기술자들)에게 평가 기준은 결과였다. 태블릿 출시에 성공한 경우, 스테판은 좋은 점수를 얻었다. 순전히 운이 좋아 성공한 경우에도 사람들은 그가 아주 유능하고 영리하며, 승진할 자격이 있다고 생각했다. 실패한 경우에만 그가 내린 결정의 질을 따졌다. 프로젝트가 망하지 않는 한 스테판이 그저 운이 좋았을 뿐이라는 사실에는 크게 신경 쓰지 않았다. 실력이 좋은 경우와 운이 좋은 경우를 구분하지 않았던 것이다. … 결국 재앙이 벌어지지 않았으니 그들은 시스템이 그저 잘 작동하고 있다고 판단한 것이다. 그러나 실제로 프로그램 업그레이드는 주사위 굴리기처럼 항상 위태로웠다. 많은 이들이 일상생활에서도 이렇게 행동한다. 어쩌다 변기가 막히면 그저 불편해할 뿐, 넘치지 않는 한 경고신호로 생각지 않는다.--- 「6장 - 불길한 징조 읽기

모든 과정의 중심에는 조직문화가 자리한다. 항공기 기장이자 사고조사관인 벤 버먼이 우리에게 말했듯 “당사자를 저격하려 들면 아무도 시스템에서 발생한 실수나 사고를 말하지 않을 겁니다.” 질책이나 처벌 없이 실패와 발생할 뻔한 사고 경험을 공개적으로 공유하면, 오류를 마녀사냥을 벌일 계기가 아니라 새로운 배움의 기회로 바라보는 문화를 만들 수 있다. 파블로 가르시아 과다투약 사건을 검토한 UCSF 의사 밥 웍터는 이렇게썼다. “조직 안정성의 지표는 큰일을 해낸 누군가가 CEO로부터 감사장을 받느냐 마느냐에 있지 않다.” 문제를 보고하는 누군가가 잘못을 저질렀을 때도 감사장을 받는지의 여부에 달렸다.--- 「6장 - 불길한 징조 읽기」 중에서

‘챌린저호’ 사고가 난 지 17년 후, 역사는 되풀이됐다. 컬럼비아호가 발사된 후 몇 분 만에 연료탱크의 단열재가 부서져 왼쪽 날개에 부딪혔고, 방열 타일에 구멍을 냈다. 이후 발사 과정은 순조로웠지만, 컬럼비아호가 지구 대기권에 재진입하자 뜨거운 가스가 날개를 뚫고 침투해 우주선은 수천 조각으로 부서졌다. 문제가 된 세부기술은 다르지만 두 사건의 배경이 된 요인은 무서울 정도로 비슷했다. 컬럼비아호 사고가 나기 아주 오래전부터 나사는 그 단열재가 부서질 수 있다는 걸 알고 있었다. 실제로 앞서 몇 년 동안 단열재 조각이 계속 우주선에 부딪혔고, 그래서 발사 때마다 방열 타일을 교체해야 했다. 그러나 나사 관리자들은 이것을 일상적인 관리 문제라고 보아 크게 위험을 느끼지 못했다. 일탈의 정상화가 또다시 발생했다

<B>모든 곳이 ‘위험구역’이다!<br/>기술 고도화가 만든 ‘편리한 위험’들<br/></b><br/>“아무도 계산을 확인하지 않은 채 컴퓨터가 말하는 대로 따르기만 했다. <br/>컴퓨터가 자동으로 철창을 열어준 셈이었다.”<br/><br/>2015년 5월 어느 저녁, 상점에서 총격 사건으로 한 소년이 사망했다. 범인은 강도 및 폭행으로 복역하고, 2주 전 석방된 제러미야 스미스였다. 그런데 이 사건에 책임을 지고 사임한 인물은 경찰서장이나 경찰총장이 아닌 워싱턴주 교정국장 댄 파콜크였다. 워싱턴주 교정국에 도입된 재소자 관리 시스템에는 문제가 있었다. 시스템 오류로 재소자들의 복역 기간을 잘못 계산하고 있었고, 이 때문에 3개월 이상 일찍 석방된 범인이 다시 범죄를 저지르면서 무고한 희생이 또다시 발생한 것이다.<br/><br/>사건이 발생하기 3년 전, 다른 사건의 피해자 가족 중 하나가 간단한 계산으로 출소일 오류를 알아차렸고, 교정국에 알렸다. 하지만 재소자 관리 프로그램을 수정하는 데에는 3년이 걸렸다. 그 사이에도 평균 2개월에서 수년까지 잘못 계산된 석방일에 범죄자들은 출소하고 있었다. 아무도 컴퓨터를 의심하지 않았고, 위험은 계속해서 커지며 모습을 드러낼 날을 기다리고 있었다.<br/><br/>컴퓨터 기술에 사회 시스템 전반이 의존하고 있는 사회에서 위험과 사고는 더 흔하고 잦게 우리 삶을 파고든다. 이 책에서 다룬 ‘멜트다운’에는 핵발전소, 비행사고, 우주탐사선 발사 사고 등 우리가 ‘참사’와 ‘재난’이라는 단어에서 금세 떠올릴 수 있는 사고들부터 자율주행차, 현금인출기, 주식시장과 금융시장, 그리고 우리가 재난과 연결시키려 생각해 본 적도 없는 모든 일상적 상황들까지 포함된다.<br/><br/>이전에는 핵발전소, 항공 및 우주산업 등 기술 집약적인 산업분야 일부에서만 이런 ‘멜트다운’이 벌어졌다. 극도로 복잡하고 전문화된 기술 때문에 전체적 관점에서 문제 상황을 파악하거나 대비하기 어려웠기 때문이다. 하지만 오늘날에는 이런 고도화된 기술이 어디에나 적용되어 있다. 특히 컴퓨터 기술의 발달은 우리가 눈을 뜨는 순간부터 감는 때까지 생활 모든 곳에 녹아들었다. 버스나 지하철, 택시 같은 대중교통 수단을 이용할 때, 편의점에서 물건을 계산할 때도 우리는 이제 ‘멜트다운’의 사정권 안이다. <br/><br/>『멜트다운』에서는 지금까지 우리가 맞닥뜨려온 여러 ‘위험구역’의 면면으로 치밀하게 파고들며, ‘막을 수 있었던’ 참사가 아닌 ‘막아낼 실패’의 목록을 늘려나갈 것을 제안한다.<br/><br/><B>매일 ‘재난 문자’를 받는 시대<br/>‘일탈의 정상화’를 경계하라!<br/></b><br/>“경고음은 8분마다 울렸다. …8분에 한 번씩 늑대가 나타났다고 외친다면 <br/>사람들은 곧 관심을 잃을 것이다.”<br/><br/>‘멜트다운’을 부르는 근본적 원인은 ‘시스템에 대한 무관심한 신뢰’다. ‘멜트다운’이 다가오는 신호는 확실히 알아보기 어렵다. 하지만 두 저자는 반드시 신호가 존재한다고 말한다. 모든 재난에서 경고 신호는 무수히 존재했고, 우리는 너무 잦아서 일상이 된 경고 신호를 무시했을 뿐이라고 말한다. <br/>항공 산업은 ‘멜트다운’이 발생하기 쉬운 전형적인 고위험 산업이다. 지난해 10월에 이어 6개월 만에 재발한 보잉 737맥스 추락사고 역시 전형적인 ‘멜트다운’ 사고다. 보잉이라는 굴지의 항공산업체가 갖춘 생산 시스템, 기체를 검증한 미 정부의 시스템, 그리고 최신 기술이 적용된 컴퓨터 시스템에 대한 무관심한 신뢰가 반복된 참사로 이어진 것이다.<br/><br/>두 건의 추락사고 모두에서 보잉 맥스 기종에 탑재된 최첨단 장비인 조종특성향상시스템(MCAS)과 받음각(AOA)센서가 사고의 직접적인 원인으로 지목되고 있다. 기체 탑재 이전에도 이 두 프로그램에는 안전성 문제가 제기되었다. 그럼에도 기체를 납품한 후 인도네시아 항공 소속 편에서 첫 번째 추락사고가 일어나고 나서야 보잉은 문제의 기능을 연말까지 보완하기로 약속했다. 하지만 그 약속조차 지켜지지 않으면서 에티오피아 항공 소속 편 사고로 이어진 것이다. 결국 보잉사가 시스템 업데이트 조치를 취한 것은 두 번째 참사가 벌어진 후였다. 한국을 포함한 세계 각국으로 문제 기종이 판매되고 운행되는 중에도 보잉사와 당국의 감사, 검증 시스템은 곳곳에서 나타난 경고 신호를 무시했던 것이다.<br/><br/>저자들은 인간이 기본적으로 직관에 의존하도록 설계된 존재라 말한다. 기계 시스템, 검증 시스템의 사소한 오류가 문제로 드러나지 않은 채 잠복해 있으면, 오류를 품은 시스템은 점차 ‘정상’으로 인지된다. 이렇게 결과로만 시스템의 정상 여부를 판단하는 경향인 ‘결과편향(outcome bias)’은 ‘일탈의 정상화’를 낳는 주범이다. 이렇게 정상으로 탈바꿈한 일탈들이 쌓여 참사로 불거진다. 저자들은 ‘일탈의 정상화’를 막기 위해 문제를 수집하고, 드러내고, 공유하는 비일상화(amornalizing)의 과정의 필요성을 역설한다.<br/>완벽한 시스템은 없다<br/><br/>하지만 실패를 막을 해법은 반드시 있다!<br/><B><br/>“상황은 나빠지고 있는 게 아니라 ‘달라지고’ 있는 것이다”<br/></b><br/>‘시스템’이란 인간이 안전과 편의를 위해 설계한 도구다. 기계와 같은 물리적인 시스템이 될 수도 있고, 국회나 회사의 이사회처럼 중요한 의사결정을 위해 만든 조직이 될 수도 있다. 그리고 실제로 사회 곳곳에 도입된 다양한 시스템들은 목적에 걸맞게 작동하고 있는 것처럼 보인다. 하지만 인간이 완벽할 수 없듯, 인간이 설계한 시스템 역시 완벽할 수 없다. 시스템에는 반드시 실수와 실패가 따른다. 하지만 문제는 우리가 이 시스템에서 한순간도 벗어날 수 없다는 사실, 그리고 컴퓨터와 통신 기술 발달로 더 복잡하고 촘촘하게 짜이게 된 이 시스템이 어디서부터 어떻게 무너질지 상상하기 어렵다는 사실에 있다. 또한 과거의 시스템들은 비교적 느리고 불편했지만 그렇기 때문에 누구든 ‘직관적’으로 문제 상황을 파악하고 해결할 수 있었다. 하지만 오늘날의 시스템은 편리하고 빨라진 만큼 붕괴도 쉽고 빠르다. 전문화된 여러 분야가 결합한 오늘날의 시스템은 전문가라도 문제를 쉽게 파악하기 어렵게 한다.<br/><br/>그럼에도 저자들은 사고가 반복되는 오늘날의 “상황은 나빠지고 있는 게 아니라 ‘달라지고’ 있는 것”이라 진단한다. ‘달라지고’ 있는 환경에도 대응방식을 바꾸지 못한 채 직관에 의존할 때에 실패가 반복되는 것이다. 그렇다면 이제 우리가 할 일은 명확하다. 반드시 찾아올 시스템 붕괴, 즉 ‘멜트다운’의 신호들을 놓치지 않고, 적절한 대응 방법을 세우는 것이다.<br/><br/>이 책에서는 ‘멜트다운’의 근본적인 원인 중 하나가 ‘고약한 환경’에 있다고 말한다. 짧은 기간에 높은 성과를 요구하는 ‘속도전식’ 계획과 실행, 문제 상황을 발견한다 해도 드러내지 못하게 만드는 수직적 의사소통 구조, 실패에 대한 낮은 포용성, 다양성이 부족한 조직 구성, 특히 의사결정권을 가진 집단 내 다양성 결핍. 이런 문제들은 실제 ‘멜트다운’으로 직결되는 실수들처럼 예측이 불가능하고 눈에 보이지 않아서 해결할 수 없는 난제가 아니다. 누구든 의지만 있다면 개선을 시작할 수 있다. 『멜트다운』에는 부정확한 직관을 보완해줄 다양한 도구들, 무관심한 상태로 보내는 시스템에 대한 신뢰를 막는 긍정적인 순환 구조 등 경직된 개인과 조직, 사회를 움직이게 할 실천적 제안들이 담겨 있다.<br/><br/>소셜미디어부터 핵발전소, 금융시장까지 ‘멜트다운’의 발생 범위는 기존 상식과 상상력을 넘어섰고 ‘위험’은 숨 쉬듯 당연해 오히려 무감한 무엇이 됐다. 그럴수록 매일 울리는 ‘재난 경고’를 진지하게 받아들이는 사람들은 점점 더 줄어들고 있지만, 재난의 범위와 숫자는 매일 늘어만 간다. 더는 재난의 나날들을 정상 상태로 여겨선 안 된다고, 저자들은 강조한다. “시스템 대부분을 근본적으로 바꿀 수는 없더라도 그 안에서 움직이는 방식은 바꿀 수 있다”고 말하는 저자들은 “내부고발자, 이방인, 경청하는 리더들”이 더 많이 이 논의에 참여하고, 행동하기를 청한다. 확실히 우리는 ‘멜트다운의 황금시대’에 살고 있다. 수많은 ‘멜트다운’들은 우리를 좌절시킨다. 하지만 실패 앞에 좌절하는 것만으로 변화는 오지 않는다. 실패를 직시하고, 직관과 관성을 거부하기 위한 명확한 지침을 마련하고, 지침이 잊히지 않도록 끊임없이 노력할 유연한 조직을 시스템에 갖추어야 한다. 이제 ‘시도하려는 확신’만이 필요할 뿐이다.<br/>

참사는 국경도, 산업 분야도 초월한다. 모든 참사의 한 가지 공통점은 단순한 실수, 안전사고, 기술적인 문제를 넘어 체계와 구조의 문제, 즉 시스템 실패가 부른 참사라는 것이다. 인명 사고를 동반한 참사 밖에도 일상의 여러 공간과 사회기반 시스템에서 발생하는 작고 잦은 불편과 위험 역시 마찬가지다.
하지만 우리는 이런 사고와 일탈, 위험들을 어느새 당연시하며 살고 있다. 만성이 된 ‘스스로 생존해야 한다는 두려움’은 ‘안전을 위한 상품’ 소비를 통한 피상적, 사후적, 중독적인 미봉책만을 찾게 한다. 우리와 다음 세대를 위해 필요한 건 이런 미봉책이 아니다. 시스템과 생활방식에 내장된 구조적 실패 요인을 찾아내고, 실패를 직시하고, 근본적 행동에 나서야 한다. 이 책에서 말하듯 “내부고발자, 이방인, 경청하는 리더들”이 더 많이 필요하다.

실증적이고 눈을 뗄 수 없는 이 책은 실수와 파국이 발생하는 이유를 새롭게 조명한다.