|
업무적으로 미즈호 은행 시스템에 관심이 있었기 때문에 이 책을 보게 되었는데, 시스템 통합과 운영에서 필수적인 것들을 다시 한 번 챙겨볼 수 있는 좋은 계기가 되었다. 이 책은 미즈호 은행에서 일어난 두 번의 큰 시스템 장애를 주로 다루고 있다. 동일본 대지진 재해 3일 후인 2011년 3월 14일, 미즈호 은행의 재해 의연금 모집 계좌로 많은 거래가 몰리자 거래명세 건수가 하루에 저장할 수 있는 상한을 초과했다고 한다. 이것은 계좌 설정 잘못으로 인한 것이었는데, 이를 고친 이후에도 야간 배치처리 역시 상한값을 초과하게 되었다고 한다. 배치처리에도 상한값이 있다는 사실을 정보시스템 운용 담당자들이 몰랐다는 게 또 한번의 패착이 되었다. 그 당시 미즈호 은행은 23년전 만들어진 낡은 시스템을 사용 중이었는데, 새 서비스를 도입하면서 부하 테스트를 실시하지 않았다고 한다. 또한 눈앞의 수익만을 생각해 IT투자를 제대로 하지 않았다는 것이다. 연이은 장애로 인해 송금 데이터 미처리건이 쌓이기 시작했고, 이중송금 등 문제가 발생하였다고 한다. 또한 비정상 처리 시나리오를 자동운용시스템에 적용하지 않았을 뿐만 아니라 운용 메뉴얼조차 준비하지 않았다고 한다. 그래서 시스템 운용을 수작업으로 하다 보니 오류가 계속 발생했고, 이 오류로 시스템 장애가 멈추지 않았다고 한다. 결국 문제 발생 10여일 만에 장애를 해결했지만 사고를 철저히 분석해보니 미즈호 은행의 경영진들의 문제가 가장 컸다고 한다. 미즈호 은행의 경영진은 시스템에 미치는 영향을 고려하지 않고 계속해서 시스템에 무리한 요구사항을 반영하여 시스템을 더욱 복잡하고 어렵게 만들었고, 결과적으로 장애 직후의 초기 대응이 늦어지게 되었다는 것이다. 이 사건이 발생하기 10여 년 전 세 개의 개별 은행의 합병으로 미즈호 은행이 탄생했는데, 그 때 역시 대규모 시스템 장애가 있었다고 한다. 그 장애의 씨앗은 세 은행의 통합 전략이 없었고 시스템 통합에 대한 이야기가 전혀 진행되지 않았다는데 있었다고 설명한다. 또한 시스템을 이해하고 있는 임원도 없었고, 시스템 통합을 진두지휘하는 프로젝트 관리자도 없었다고 한다. 그래서 시스템이 오픈하자마자 대외 접속계에 장애가 발생했으며, 계좌이체 처리 지연건수가 최대 250만 건이나 되었고, 이중인출이나 이중송금 장애도 발생했다고 한다. 계좌이체가 지연된 원인은 계좌 이체할 인출 데이터를 구 세 은행의 계정계시스템에 배분하는 처리가 너무 늦었기 때문이었으며, 접속계 시스템의 장애는 테스트 할 당시는 발견할 수 없었다고 한다. 그 밖에 이 책은 일본 내 다른 기관들의 대규모 시스템 장애 사례들을 분석해 알려주고 있는데, 도쿄증권거래소는 주식매매시스템에 오발주를 취소할 수 없는 장애가 있었고, 도쿄공업품거래소는 대기용 라우터가 다운되어 실 가동 라우터에 영향을 주어 거래가 중지된 적이 있었으며, 도교 소방청은 어이없는 케이블 배선 장애로 시스템이 다운되었고, 하네다 공항 관제 시스템은 기상과 관련된 데이터를 저장하는 과정에서 메모리 용량을 초과하여 오버플로우가 발생하는 오류 때문에 시스템 전체가 다운된 적이 있었다고 한다. 이 책을 통해 시스템 장애를 예방하기 위한 조치들, 그리고 시스템 통합과 운영에 CIO의 절대적인 역할이 중요하다는 사실을 새삼 알 수 있었다. |