추천의 글

테스트 자동화는 성배이고 젊음의 원천이며 현자의 돌이다. 수십 년 동안 테스터는 수동 테스트(테스트 케이스와 테스트 데이터 생성, 시스템 환경 설정, 테스트 실행, 기대 결과와 실제 결과 비교, 결함 보고)의 힘들고 단조로움을 해결하는 방안으로 테스트 자동화를 생각해왔다. 테스트 자동화는 이 모든 작업을 단순화 할 것을 약속한다.

불행히도, 성공적이고 효과적이며 비용 효율이 높은 테스트 자동화는 달성하기 어렵다. 실패한 프로젝트가 계속 늘어나면서 프로젝트가 삐걱거릴 때야 비로소 테스트 자동화 프로젝트를 시작하는 경우가 많다.

자동화가 실패하는 이유는 여러가지이지만, 실현 불가능한 기대치로 인한 경우가 대부분이다. 그 다음은 불충분한 자원 할당(시간, 사람, 돈)으로 인한 경우다. 또 다른 원인은 요구 사항에 맞지 않는 툴, 성공에 대한 성급함으로 인한 품질 작업 저해, 그리고 테스트 자동화도 개발 업무와 동일한 전문적 접근이 필요하다는 사실에 대한 이해 부족 등이다.

도로시와 마크의 이전 저서로 1999년에 출판된 책인, 『소프트웨어 테스트 자동화(Software Test Automation: Effective Use of Test Execution Tools)』는 이러한 주제를 다루는 책들의 표준이 되었다. 이 책의 첫 번째 부분은 대부분의 성공적인 자동화 업무(스크립트 기법, 비교 업무 자동화, 테스트웨어 아키텍처, 유용한 메트릭 등) 에서 볼 수 있는 예제를 상세히 기술했다. 두 번째 부분에서는, 테스트 자동화 업무를 개발했던 여러 조직의 경험담을 기술했다. 그 이후 10여 년 동안 쌓은 지식을 바탕으로, 도로시와 마크는 또 한 편의 조직적이며 개인적인 경험을 공유하여 자동화 업무에 대한 가이드를 제시한다. 이 책은 테스트 자동화의 가장 현대적이면서도 고전적인 접근 방식을 기술하면서 최신의 정보까지도 제공한다. 각 장에서는 독특한 자동화 업무에 관한 이야기(성공담과 실패담 모두)를 기술한다.

이 책 내에서 반복되는 주제도 있다. 합리적이고 실현 가능한 목적, 경영진의 지원, ROI를 비롯한 메트릭, 필요한 기술, 계획, 기대치 설정, 관계 형성, 툴, 교육, 정치 등 성공적인 테스트 자동화에 필요한 모든 사항들이 그것이다. 하지만 이 같은 주제는 프로젝트에서도 적용 가능하지만 개인에게도 동일하게 적용할 수 있다. 이 책의 좋은 점은 테스트 자동화의 영역에서 한발짝 벗어나 더 폭넓은 정황에서 이러한 주제들을 고려해 볼 수 있게 한다는 점이다. 내가 도로시와 마크를 처음 만난 건 1998년 뮌헨에서 열린 유로스타(EuroStar) 컨퍼런스였다. 당시 나는 이들의 테스트 자동화에 대한 지식과, 같은 업무를 하는 다른 사람들을 돕겠다는 열정에 감명을 받았다. 도로시와 마크의 뛰어난 업적을 축하하며 이 책을 독자들에게 추천한다.
- 리 코플랜드(Lee Copeland)

저자 서문

테스트 자동화 툴은 30여 년 동안 존재하여 왔지만, 많은 자동화 시도가 실패로 끝났다. 혹은 일부분만 성공했다. 왜 그럴까? 우리는 먼저 전작인 『소프트웨어 테스트 자동화(Software Test Automation)』에서 다뤘던 효과적인 자동화의 원칙들이 여전히 유효한 지를 확인하고 싶었고 그 외에도 실제 실무에 적용할 수 있는 다른 원칙들은 무엇이 있는지 알아보고 싶었다. 그래서 현실에서의 테스트 자동화 개발에 대한 정보를 모으기 시작했고, 발견한 사실이 즐거운 내용만은 아니었다. 지난 10년 동안 많은 사람들이 소프트웨어 테스트 자동화에서 성공을 거뒀고 그 중 많은 수가 우리 책을 참조했다. 물론 우리만이 좋은 자동화 지침을 발견해서 저술한 것은 아니었지만, 성공적이고 오래가는 자동화는 오늘날에도 여전히 찾기 힘든 듯하다. 이 책에 담긴 이야기들이 더욱 많은 이들의 테스트 자동화 업무를 돕기를 바란다.

이 책은 현실적인 자동화 이야기들을 담고 있다. 테스트 자동화 기법은 이전 책이 출간된 1999년 이래로 괄목할 만한 성장을 해왔다. 우리는 성공적인 접근법이 무엇인지, 어떤 애플리케이션이 테스트 자동화를 통해 테스트되는지, 최근 몇 년간 테스트 자동화가 어떻게 변해왔는지를 알아내고자 했다. 사람들은 자동화의 문제점을 각각의 방식으로 해결한다. 우리는 그들의 경험에서 배울 점과 새로운 방식으로 테스트 자동화가 적용되는 시기와 방법을 찾고 싶었다.

이 책에서의 케이스 스터디는 성공적인 접근 방식과 그렇지 않았던 방식 모두를 보여준다. 이 책은 보이지 않는 위험을 피하게 도와주고 이론이 아닌 실제 업무 환경에서 이뤄 낸 성공에서 배울 수 있는 지식을 제공한다. 또한 다양한 전문가들의 실제 경험을 독자들이 낱낱이 살펴볼 수 있도록 기획했다.

이 책의 케이스 스터디는 주로 테스트 실행에 대한 자동화를 다룬다. 하지만 그 외의 자동화 유형이 언급된 장도 있다. 이 책에서는 시스템 레벨 자동화(사용자 인수 테스팅(user acceptance testing)을 포함한)가 중점적으로 다뤄지긴 하지만, 단위 테스팅(unit testing)이나 통합 테스팅(integration testing)을 다루는 장도 있다. 여러 유형의 애플리케이션과 환경 및 플랫폼에서의 테스트 자동화가 기술되며, 전형적인 개발 프로젝트와 애자일 개발 프로젝트에서의 상업용 애플리케이션과 오픈 소스 그리고 인하우스 툴을 다룬다. 부록에 기재된 것처럼 약 90여 개의 상업용과 오픈 소스 툴(테스팅 툴만 아니라 각 장의 저자들이 사용하는 모든 툴을 포함)이 있으며 우리는 수많은 다양한 툴에 감탄했다.

이 책에 기술된 경험담이 모두 사실이기는 하지만 저자나 회사 이름을 기재하지 않은 경우도 있다. 우리는 케이스 스터디 저자들에게 일반적인 조언을 주는 것보다는 일어난 일을 모두 기술해 줄 것을 권장했다. 그러므로 이 책의 내용은 실제 일 그대로를 적은 것이다!

옮긴이의 말

테스트 자동화는 QA와 테스트 엔지니어들의 로망인 것 같다. 테스트 자동화를 꾸며주는 화려한 수식어들을 듣고 있노라면, 당장이라도 나를 오아시스로 이끌어 줄 것만 같다. 자동화 버튼 한 번 눌러 두고, 그저 여유롭게 야자수 아래에서 열매나 따 먹으면 될 것 같은 상상을 하게 된다. 내 경험에 비추어보면, 국내에서는 5년 전만 해도, 테스트 자동화는 실패가 당연한 것으로 보였다. 자동화가 돌아간다는 짧은 환희만 맛볼 뿐, 인공호흡기를 늘 붙여 주어야 연명해나가는 것이 테스트 자동화였던 것 같다.

교회를 다니지 않는 사람이라도 다윗과 골리앗의 이야기는 들어 본 적이 있을 것이다. 다윗은 왕의 갑옷을 입고 왕의 칼을 차고 시험 삼아 몇 걸음 걸어보지만, 거추장스러워서 도저히 행동 할 수가 없었다고 한다. 결국 그가 골리앗을 상대할 때 사용한 것은, 그의 손에 늘 있었던 물맷돌이었다. 골리앗과 같은 자동화에 맞서 승리를 약속해준다고 말하는 최신 툴과 플랫폼이 여기저기 많이 있지만, 오랜 시간에 걸쳐 사용하여 내 손에 익숙하지 않다면, 왕의 갑옷과 칼과 같게 되어 결국 몇 걸음 걷지 못하고 주저앉게 되는 듯하다. 이 책은 왕의 갑옷과 칼을 소개하는 책이 아니다. 이 책의 저자들은 스스로 오랜 시간 동안 손에 쥐고 수 없이 사용해 본 자신의 손에 맞는 물맷돌을 소개한다. 어떻게 성공했는지, 어떻게 실패했는지 솔직하게 말해준다. 여기 소개된 스토리들을 그대로 답습하는 것이 성공을 보장하진 않는다. 하지만 인내심을 갖고 내게 맞는 물맷돌을 찾아가는 여정에 있어 도움을 주는 것은 분명하다.

시스템은 더욱 복잡해지고, 서비스를 제공해야 하는 환경은 점점 많아진다. 모바일 환경은 이제 확장 환경 중 하나가 아닌 필수가 되었다. 그렇다고 PC 환경도 놓칠 수는 없다. 이런 환경에서 테스트 커버리지는 개발자가 하든 테스트 엔지니어가 하든 상관없이, 혹은 맨 손으로 하건 자동화를 통해서 하건 상관없이 어느 수준 이상으로 달성해야 한다. 개발 환경에서 애자일 방법은 곧 반복적인 테스트를 말하고 이는 수동으로는 더 이상 감당할 수 없는 상황이다.

이젠, 내 손에 익숙한 무엇인가를 들고 나가야 한다. 그것이 상용 툴일 수도 있고 오픈 소스 툴일 수도 있다. 이미지 기반의 툴이 될 수도 있고, DOM 트리 분석 기반 툴일 수도 있다. 무엇이 가장 좋은지는 누구도 장담할 수 없다. 다만 내 손에 익숙해져서 목표를 향해 던지고 싶을 때 던질 수 있는 물맷돌과 같은 툴이면 된다. 이 책의 사례를 통해, 내 손에 맞는 물맷돌을 찾고 던지는 연습을 시작해야겠다는 용기를 얻을 수 있을 것이다. 그리고 연습을 시작한다면 어느 순간에는 나도 이런 사례를 적게 될 것이다.

<b>이 책에서 다루는 내용</b><br/><br/>* 애자일 개발에서 테스트 자동화<br/>* 경영진의 지원이 성공적인 자동화를 이끌거나 무너뜨릴 수 있는 이유<br/>* 테스트웨어 아키텍처와 추상화 레벨 선택의 중요성<br/>* 자동화 효과 및 투자 대비 수익(ROI) 계산 방법<br/>* 기술, 계획, 범위, 기대 결과를 포함하는 관리 관점의 이슈들<br/>* 모델 기반 테스팅(MBT) 자동화, 멍키 테스팅 자동화, 탐색적 테스트 자동화<br/>* 엔터프라이즈 급 자동화에서 표준, 커뮤니케이션, 문서, 유연성의 중요함<br/>* 지원 활동의 자동화<br/>* 자동화해야 할 테스트와 하지 말아야 할 테스트<br/>* 자동화의 숨겨진 비용들: 유지보수와 실패 분석<br/>* 테스트 자동화의 올바른 목적: 왜 ‘버그 찾기’가 좋은 목적이 될 수 없는가? <br/>* 교훈, 기억해야 할 내용, 도움이 될만한 팁<br/><br/><b>이 책의 대상 독자</b><br/><br/>테스트 자동화에 대해 고민하고, 구현하고, 사용하거나 관리하는 모든 사람들에게 매우 귀중한 책이 될 것이다. 테스터, 분석가, 개발자, 자동화 엔지니어, 자동화 아키텍트, 테스트 매니저, 프로젝트 매니저, QA 전문가, 기술 책임자 모두 이 책을 통해 얻을 수 있는 내용이 많을 것이다.<br/><br/><b>이 책의 구성</b><br/><br/>각 장의 사례는 개별적인 이야기이므로 순서대로 읽을 필요는 없다. 책의 순서는 단지 여러분에게 다양한 경험을 들려주기에 최적화된 순서로 되어 있을 뿐이다.<br/><br/>‘케이스 스터디 고찰’에서는 책에서 언급된 프로젝트 관리와 기술적인 이슈의 전반적인 관점과 요점을 설명한다. 또한 이슈에 대한 우리의 관점과 의견을 덧붙였다(테스트웨어 아키텍처 포함). 여기서는 저자들이 현재 진행하고 있거나 진행할 예정인 자동화 프로젝트에서 참고할 조언 중 핵심 부분을 요약해 이야기한다.<br/><br/>1장부터 28장은 케이스 스터디로 저자가 특정 상황에서의 잘된 점과 실패한 점, 얻은 교훈 등의 경험을 이야기한다. 이 중에는 파일 구조나 자동화 코드 같은 아주 구체적인 정보를 기술하는 장도 있고, 일반적인 장도 있다. 10장은 『Software Test Automation(소프트웨어 테스트 자동화)』 책에 실렸던 케이스 스터디를 보완한 것이고 나머지 장은 모두 새로운 내용이다.<br/><br/>‘29장, 테스트 자동화의 일화’는 여러 사람의 경험을 모아 놓은 책 속의 작은 책이라고 할 수 있다. 반 페이지부터 여러 페이지짜리도 있으며 유용하고 흥미로운 경험을 모아 놓았다.<br/><br/>마지막으로 부록에 실린 툴은 각 장에서 언급된 상업용과 오픈소스 툴을 소개한다.

여러분이 지금 손에 쥐고 있는 책에는 테스트 자동화에서 무엇이 효과적이고 무엇이 그렇지 않은지에 대해 힘들게 얻은 귀한 보물과도 같은 지식이 담겨 있다. 이 책은 여러분에게 잘못 들어선 길에서 이정표를 보여주고 테스트 자동화를 성공으로 이끌어줌으로 막대한 시간과 비용을 절약할 수 있게 해준다.
린다 헤이즈(Linda Hayes)

툴에서 방법론에 이르기까지, 도로시 그레이엄과 마크 퓨스터는 자동화에서 배운 경험에 대해 눈을 뗄 수 없는 이야기들을 책으로 엮었다. 이 종합적인 저서는 매우 다양한 산업과 기술 분야의 프로젝트에서 실제 경험한 내용을 정리한 케이스 스터디로서 독자로 하여금 자동화 테스트의 세계로 깊이 빠져들게 만드는 최초의 책이다. 독자들은 유사한 부분과 반복되는 주제를 파악할 수 있고, 이를 통해 반드시 알아야 할 교훈과 피해야 할 함정을 파악할 수 있다. 테스트 자동화를 궁극적인 성공으로 이끄는 요인을 이해하고 영감을 얻고 싶으면 이 책을 처음부터 끝까지 읽어보길 바란다.
앤드류 폴너 Andrew L. Pollner (ALP 인터내셔널 사 회장 겸 CEO)

마크 퓨스터와 도로시 그레이엄은 베스트셀러인 『소프트웨어 테스트 자동화』 출간 이후 꾸준히 테스트 자동화를 해왔다. 애자일 방법론 덕분에 테스트 자동화는 최근 테스트 사례에서 가장 중요한 주제가 됐다. 이 책의 테스트 케이스들은 폭넓은 관점에서 잘 정리되어 있어 매우 실용적이고 훌륭하다. 테스트 자동화를 진행하고 있거나 시작하려는 모든 이에게 이 책을 강력히 추천한다.
에릭 판 비넨달 Erik van Veenendaal (Improve Quality Services 창립자 겸 TMMi 재단 부의장)

이 책을 펼치면 여러분의 눈 앞에서 테스팅 컨퍼런스가 개최되며 풍부한 케이스 스터디와 통찰력으로 구성된 세션을 관람할 수 있다. 물론 컨퍼런스 참가비보다 훨씬 저렴하며, 직접 컨퍼런스에 참석할 필요도 없다. 특히 ‘0장, 케이스 스터디에 대한 고찰’에 모든 내용이 간결하게 정리되어 있어서 이 부분을 참고하면 자동화의 성공을 위해 생각할 수 있는 다양한 관점을 효율적으로 찾아 볼 수 있다. 그리고 이러한 내용은 사실 컨퍼런스에서도 쉽게 들을 수는 없다.
한스 부왈다(Hans Buwalda)

실제 자동화 프로젝트에서 얻은 가치 있는 경험과 팁, 교훈, 기억해야 할 점이 고스란히 담겨 있는 흥미진진하고 잘 작성된 광범위한 케이스 스터디 모음집이다. 이 책은 자동화의 여정에서 어떤 것이 효과적이고 어떤 것이 그렇지 않은지를 자신의 직장 상사나 동료에게 알려주고 싶은 사람들에게 아주 유용할 것이다.
이사벨 에반스 Isabel Evans (FBCS CITP, Dolphin Computer Access의 품질 관리자)

이 책에서는 무엇보다 먼저 효과적인 자동화 테스트의 본질을 설명한다. 매우 다양한 상황에서 오랜 기간 겪으면서 얻은 가치 있는 경험들을 볼 수 있다. 자동화 테스트를 사용할 때 이 책을 참고하면 조직과 프로젝트에 가장 적합한 방법을 찾을 수 있을 것이고 문제 해결에도 도움이 될 것이다. 관리자, 테스터, 자동화 엔지니어 등 테스트에 관여하는 모두에게 대단히 가치가 높은 책이다.
마틴 긱센 Martin Gijsen (독립 테스트 자동화 아키텍트)

퓨스터와 그레이엄이 집필한 이 책은 테스트 자동화의 이론과 현실 사이에 매우 중요한 다리를 놓았다. 테스트 자동화 프레임워크의 설계와 구현은 계속된 선행 경험을 통해서만 얻게 되는 재사용 가능한 표준들에 매달릴 수밖에 없는 정밀하지 못한 과학이다. 이 책은 그런 선행 경험을 쌓는 데 도움이 된다. 사법 체계에서 앞선 판례가 이후의 법적 판결을 지지하기 위해 인용되듯이, 이 책의 다양한 케이스 스터디도 소프트웨어 테스트 자동화 프레임워크를 설계하고 구현할 때, 또는 지원하거나 교육할 때 예시 자료로 활용될 수 있다.
디온 존슨(Dion Johnson) / 자동화 테스트 연구소 Automated Testing Institute (소프트웨어 테스트 컨설턴트이자 원리 고문)

오랜 동안 ‘테스트 자동화는 해봐야 소용없다'는 입장을 유지해왔지만, 이 책은 그런 나의 입장을 잠시 멈추고 심사숙고하게 만들었다. 또한 열린 마음으로 ‘아, 그건 미처 생각 못했네'라는 느낌을 갖게 했다. 테스트 자동화를 도입하려는 모든 조직에게 첫 레퍼런스로 이 책을 추천한다.
오드리 렝(Audrey Leng)

이 책은 놀라운 성과다. 테스트 자동화 분야에서 지금까지 쓰여진 최고의 책 중 하나라고 믿는다. 도로시와 마크는 눈길을 끄는 팁과 기억할 점, 배운 점을 포함한 완전히 새로운 개념의 접근 방법으로 28개의 케이스 스터디를 제시한다. 일상적인 경험과 성공, 실패에서 나오는 이 케이스 스터디들은 자동화의 여러 관점과 다양한 환경, 혼합된 솔루션을 포함한다. 책은 지혜의 근원이며, 기억을 자극하여 배우는데 도움을 주는 스토리텔링을 사용하기에 좋은 방법이다. 어떤 수준의 테스트 자동화든 현재 참여하고 있거나 참여할 계획이 있는 사람이라면 반드시 이 책을 봐야 한다. 유일무이한 책이다.
미케 게베스(Mieke Gevers)