★ 이 책에서 다루는 내용 ★
■ 소프트웨어 테스트 자동화의 현실적인 비즈니스 케이스를 수립해 추진해나가는 방법
■ 테스트 요구사항을 명확히 하고, 이 요구사항을 반영하기 위해 자동화 전략을 세우는 방법
■ 효율적인 테스트 환경을 구축하고, 이 환경에 적합한 자동화 툴과 기술을 선택하는 방법
■ 지속적으로 진행 상황을 추적하고 올바르게 변경할 수 있도록 증명된 지표들을 사용하는 방법


★ 이 책의 구성 ★

1부, 소프트웨어 테스트 자동화의 정의와 필요성
1장, ‘효과적인 소프트웨어 테스트 자동화란’에서는 소프트웨어 테스트 자동화가 무엇인지 기술한다. 이 책 전반에서 사용되는 소프트웨어 테스트 자동화의 정의는 ‘소프트웨어 테스트 수명주기(STL, software testing lifecycle) 전반에 걸쳐 효율과 효과를 향상하려는 목적을 띤 소프트웨어 기술의 응용(application)과 구현(implementation)이다.
2장, ‘자동화가 필요한 이유’에서는 자주 논의되는 질문들을 기술한다. 현재 소프트웨어 테스트가 직면한 문제와 소프트웨어 테스트의 비용과 시간을 줄일 수 있는 방법을 설명한다. 왜 자동화를 해야 하는지에 대한 이유는, 3장에 상세하게 기술한 비즈니스 케이스를 만드는 데 도움이 되는 기초가 된다.
3장, ‘비즈니스 케이스’에서는 비즈니스 케이스를 정의하는 단계별 접근 방법을 소개한다. 비즈니스 케이스는 비즈니스 필요성, 소프트웨어 테스트 자동화가 필요한 이유, 비즈니스를 통해 얻게 되는 유/무형의 이점, 예상되는 비용과 일정에 대한 분석, 투자 견적, 투자 대비 수익(ROI)에 대한 내용을 포함한다.
4장, ‘소프트웨어 테스트 자동화의 실패 이유와 함정’에서는 소프트웨어 테스트 자동화를 둘러싼 오해와 진실을 쉽게 설명한다. 회사와 조직에서 이 교훈들을 살펴봐야 하는 이유는 소프트웨어 테스트 자동화를 구현하면서 실패를 반복하지 않기 위해서다.

2부, 자동화 방법: 성공적인 자동화를 위한 6가지 핵심 활동
이제 1부에서 제시한 비즈니스 케이스에 대한 확신을 갖게 됐고, 테스트 자동화의 실제와 숨겨진 함정을 이해했다면, 다음 단계는 자동화 방법을 결정하는 것이다. 2부에서는 다양한 소프트웨어 테스트 자동화 작업들을 성공적으로 구현하는 방법을 설명한다. 우리는 아래에 기술한 6가지 핵심 활동을 통해 소프트웨어 테스트 자동화를 성공적으로 달성할 수 있음을 확인했다.
5장, ‘핵심 활동 1: 요구사항 이해’에서는 테스트 자동화 전략을 세우기 전에 요구사항을 이해하는 일이 얼마나 중요한지 다룬다. 요구사항이 충분하지 않을 때 이를 해결하려고 정보를 수집하는 방법으로 풀어나가는데, 이런 문제에 대한 접근 방법도 5장에서 이야기한다.
6장, ‘핵심 활동 2: 테스트 자동화 전략 수립’에서는 테스트 자동화 접근 방법을 상세 절차로 만드는 것에 대해 기술한다. 여기에는 테스트 환경 고려사항, 테스트 자동화 스크립트 및 관련 산출물에 대한 형상 관리 등이 포함된다. 추가로, 테스트 대상 선정 시 고려사항과 적절한 툴 선정(오픈소스, 상업 툴, 인하우스 툴에 상관없이)의 중요성에 대해서도 기술한다.
7장, ‘핵심 활동 3: 소프트웨어 테스트 자동화 프레임워크(ASTF) 테스팅’에서는 테스트 기법 이해와 테스트 자동화의 한 부분인 테스트 케이스 작성의 중요성에 대해 다룬다. 자동화 엔지니어는 문서화가 테스트 자동화의 한 부분임을 자주 잊곤 한다. 테스트 케이스 문서화는 소프트웨어 테스트 자동화 노력에 대한 청사진과 같다. 7장에서는 테스트 케이스에서 역으로 요구사항을 추적하는 일의 중요성, 입력 값과 기대 결과 등을 포함하는 테스트 케이스의 내용, 그리고 문서화된 테스트 케이스가 어떻게 테스트 자동화의 구현과 개발에 기초가 되는지를 설명한다.
8장, ‘핵심 활동 4: 지속적인 진척 현황 추적에 따른 적절한 대응’에서는 자동화를 시작할 때 설정한 목표를 추적해야 하는 중요성에 대해 기술한다. 3장에서 비즈니스 케이스 생성과 목표 설정의 필요성을 설명했다. 8장에서는 어떻게 동료 리뷰, 인스펙션 그리고 다양한 자동화 및 테스트 지표가 설정한 목표에 대한 진척을 추적하고 측정하는 데 어떤 도움을 주는지를 기술한다.
9장, ‘핵심 활동 5: 소프트웨어 테스트 자동화 프로세스 구현’에서는 가벼운 프로세스의 필요성에 대해 밝힌다. 적절한 프로세스 없이도 성공적으로 구현할 수 있는 테스트 자동화 스크립트도 있다. 하지만 대규모의 테스트 자동화 프로그램을 효과적으로 구현하려면 적용하기 용이한 경량 프로세스가 있어야 한다. 9장에서는 이러한 프로세스를 정리해 소개하고, 구체적인 사항은 연관된 각 장으로 연결해준다.
10장, ‘핵심 활동 6: 적합한 인력을 프로젝트에 투입(필요한 스킬 세트 파악)’에서는 소프트웨어 테스트 자동화 개발에 필요한 스킬 세트를 분류한다. 예를 들어 요구사항 분석, 설계, 소프트웨어 개발, 테스트 등은 소프트웨어 개발 팀의 스킬 세트와 유사하다. 핵심 활동 6에서는 테스트 기법에 대한 지식과 분석 스킬이 아무리 중요하다 해도 효과적인 소프트웨어 테스트 자동화 구현을 위해서는 소프트웨어 개발 스킬이 뒷받침되어야 함을 강조한다. 테스트 자동화 프로세스에 따라 필요한 스킬은 9장에서 기술했다.


★ 이 책의 대상 독자 ★

이 책의 대상 독자는 테스트 관리자, 테스트 리더, 테스트 업계 종사자처럼 전문적으로 소프트웨어 테스팅 분야에 몸 담고 있는 사람들이다. 또한 전문 QA, QA 리더 그리고 QA 업계에서 일하는 사람들을 위한 책이기도 하다. 소프트웨어 배포 품질과 효과를 올리고 싶은 프로젝트 관리자와 소프트웨어 개발자에게도 도움이 될 것이다.

★ 지은이의 말 ★

새로운 소프트웨어 개발 과정 중에서 테스트는 점점 더 많은 시간과 비용을 차지하고 있다. 소프트웨어 테스트 자동화를 활용하면 개발자와 소프트웨어 테스터는 소프트웨어 테스트 수명주기를 최적화할 수 있고, 비용도 줄일 수 있다. 기술과 개발이 점점 더 복잡해짐에 따라, 소프트웨어 테스트 자동화는 더욱더 필수적이다. 이 책은 먼저 출판된 『Automated Software Testing』에서 기술한 증명된 사례와 테스트 자동화 수명주기 방법론에 근거해 만들어졌고, 소프트웨어 테스트 자동화를 성공적으로 구현하기 위해 필요한 새롭고 실질적인 완벽한 가이드를 제공한다.

이 책에서는 세 명의 전문가가 소프트웨어 테스트 자동화의 구성요소, 갖춰야 하는 기능, 한계점을 체계적으로 설명한다. 이들은 방위 산업 및 일반 산업 모두에서 소프트웨어 테스트 자동화를 사용한 경험을 서술하며, 이를 통해 베스트 프랙티스, 핵심 성공 요소, 주요 문제점과 해결법 같은 전반적인 구현 프로세스를 볼 수 있다.

테스트 전문가, QA 전문가, 프로젝트 관리자나 개발자라면, 이 책은 이전에는 경험해보지 못한 테스트 효율성을 가져오는 데 도움을 줄 것이며, 개발 수명주기 전반을 개선할 수 있는 소프트웨어 테스트 자동화를 사용하는 방법을 터득하게 될 것이다.

제안하려고 하는 테스트 자동화 전략이 실패할 것 같은가? 괜찮았던 과거보다도 못한 결과를 주는 소프트웨어 테스트 자동화라는 용어 때문에 괴롭지 않은가? 테스트 자동화라는 만능 해결사가 목표를 잃고 있지는 않은가? 테스트 자동화 엔지니어가 실망스러운가? 우리는 IDT(www.idtus.com)에서 자동화 테스트의 성공을 돕는 견고한 솔루션, 전략, 아이디어를 찾아냈다. 그리고 이 책에 모두 담았다.

시스템과 애플리케이션에 대한 제대로 된 소프트웨어 테스트 전략, 기법, 솔루션이 있다면, 소프트웨어 테스트 자동화는 가장 효과적인 프랙티스 중 하나다. 이는 테스트 효율을 높이고 테스트 비용은 극적으로 낮추면서, 더 빠르고 넓은 효율적인 결함 검출이라는 측면에서 소프트웨어 품질을 높이는 데 기여한다.

이 책은 조직에 소프트웨어 테스트 자동화를 구현하는 데 도움이 되는 가이드를 제공한다. 하지만 존재하지도 않는 마법 같은 해법을 제공하지는 않는다. 다만, 경험에 근거해 많은 논점과 권고사항을 알려준다. 1부에서는 자동화 이슈를 철저히 분석한다. 소프트웨어 테스트 자동화인 것과 아닌 것은 무엇인가? 비즈니스 케이스(business case)는 자동화 성공을 위해 왜 필요한가? 자동화는 왜 필요하며 언제 해야 하는가에 대한 이슈를 설명하며, 앞서 설명한 비즈니스 케이스를 만들기 위한 단계별 지침도 추가했다. 그리고 자동화가 자주 실패하는 이유와 성공을 막는 함정과 주로 하는 큰 실수들을 정리했다. 또한 자동화 성공을 돕는 오픈소스 테스트 툴도 소개한다. 2부에서는 소프트웨어 자동화 테스트를 성공적으로 구현하기 위한 6가지 핵심 활동을 제시한다.

■ 핵심 활동 1: 요구사항 이해
■ 핵심 활동 2: 테스트 자동화 전략 수립
■ 핵심 활동 3: 소프트웨어 테스트 자동화 프레임워크(ASTF) 테스팅
■ 핵심 활동 4: 지속적인 진척 현황 추적에 따른 적절한 대응
■ 핵심 활동 5: 소프트웨어 테스트 자동화 프로세스 구현
■ 핵심 활동 6: 적합한 인력을 프로젝트에 투입(필요한 스킬 세트 파악)

IDT에서 소프트웨어 테스트 자동화에 대한 두 가지 설문조사를 수행한 적이 있다. 전 세계에 걸쳐 다양한 분야, 다양한 규모의 조직에 속한 테스트 전문가 700명에게서 응답을 받았는데, 이 설문조사에서 일관되게 나타난 두 가지 내용은 다음과 같다.

■ 약 70%의 응답자는 자동화에 비용이 많이 든다는 사실을 믿지만, 왜 자동화를 해야 하며 어떻게 실제 프로젝트에 적용해야 하는지에 대해서는 별다른 확신이 없다.
■ 응답자의 절반은 자동화를 구현하는 데 필요한 경험이나 시간, 예산이 부족하다고 느꼈다.

소프트웨어 테스트 자동화가 유용하고 필요하다는 데는 대부분 동의한다. 하지만 성공률이 더 높은 자동화를 구현하지 못하는 이유는 바로 경험 부족 때문인 듯하다. 그렇기에 프로젝트에서 기술을 겸비한 사람을 찾는 일은 매우 중요하다. 필요한 기술은 10장에 정리해뒀다. 설문조사 결과에 대한 더 많은 내용은 4장에서 볼 수 있다.

★ 옮긴이의 말 ★

소프트웨어 테스트 자동화에 대한 생각이 어느덧 ‘정말 되는 걸까?’에서 ‘정말 되는구나’로 바뀌었다. 테스트 자동화는 많은 IT 회사의 목표인 ‘높은 품질의 빠른 출시’에 점점 더 많은 기여를 하게 되는 듯하다.

이 책의 원서는 2009년에 미국에서 출간됐는데, 그 즈음에는 나 자신조차도 ‘테스트 자동화’에 대해 부정적이었다. 많은 리소스를 들여 테스트를 만들고 한 번 돌아가는 것에는 환호하지만, 지속적으로 가치를 주는 작업이 되지 못한 채 비용과 리소스만 낭비된 시도들을 많이 봐왔다.

하지만 지금은 다르다. 현재 내가 속한 곳에서도 시간을 들여 실패와 시도를 거듭한 끝에, (갈 길이 멀긴 하지만) 매일 돌아가는 테스트도 꽤 많아졌다. 테스트 자동화를 하면서 부딪히는 예상치 못한 이슈들도 하나 둘 풀어내는 중이다. 이제 재미있는 무엇인가를 할 수 있는 출발선에는 서 있게 된 것 같다.

이 책은 IDT라는 회사에서 소프트웨어 테스트 자동화에 관한 경험과 아이디어/노하우를 정리해 공유해준 책이다. IDT는 주로 미 국방부와 관련된 시스템이 높은 품질로 출시되도록 소프트웨어 테스트 자동화를 적용하고 컨설팅을 해주는 회사다. 정부 기관 중 그것도 국방부와 관련된 시스템에 적용한 결과이고, 출간된 시기도 6년 전쯤이기에, 현 시점에서 볼 때 아주 매력적인 기술이나 방법/도구를 제시하진 않는다. 하지만 미션 크리티컬한 국방 시스템에 실제로 적용한 테스트 자동화의 경험을 최대한 상세히 풀어 설명하기에, 어떻게 성공적으로 테스트 자동화를 구축해나갔는지를 경험할 수 있다.

여기서 제시한 방법이 테스트 자동화 구축의 유일한 길은 아니며, 이 책이 테스트 자동화 구축에서 유일한 바이블은 아니다. 하지만 테스트 자동화를 체계적으로 구축할 때 고려할 사항에 대해 미리 알아두면 좋을 내용은 알차게 담겨 있다. 요구사항을 정하고 전략을 세운 뒤, 이에 맞는 프레임워크를 선정하고 적용한다. 그리고 이를 지속적으로 개선하면서 조직에 맞는 경량 프로세스를 만들어나가는 것이 그 답이다.

내가 속한 조직에 비춰볼 때도 테스트 자동화 기술을 익히고 문제는 풀어나가지만, 큰 그림을 가지고 어떤 체계 안에서 자동화를 성숙하게 만들 것인가는 놓치기 쉬운 것 같다. 그런 측면에서 이 책이 나에게도 도움이 되었다. 마찬가지로, 지속적인 가치를 주는 테스트 자동화 체계를 잡아가기를 원하는 사람이라면 이 책에서 필요한 많은 정보를 얻을 수 있을 것이다.