개발평가는 사회과학 연구와 과학적 방법, 감사로부터 유래했다. 평가자의 역할은 감사관, 회계사, 보증인으로서의 역할에서 연구자, 참여적 평가의 촉진자로서 시간의 흐름에 따라 변화해왔다.
개발평가는 OECD DAC 기준인 적절성, 효과성, 효율성, 영향력 및 지속가능성을 근거로 이루어지고 있다. OECD DAC는 또한 개발협력 평가의 세부 원칙과 평가품질기준을 개발했다. _ 61쪽, 1장 개발평가의 소개
통합적 성과 중심 관리체계는 기관의 성과에 대한 계획, 실행, 모니터링, 보고를 위한 프레임워크를 제공한다. 이를 통해 기관의 성과와 개별 직원의 성과를 연결시킬 수 있다. 아프가니스탄, 보스와나, 인도, 모리셔스와 나미비아를 포함한 국가들이 해당 체계를 단계별로 성과기반 예산수립과 M&E 체계와 통합하고 있다. 말레이시아에서 예산체계는 통합적 성과 중심 관리체계를 이끄는 주요 동력으로 기능하고 있다. …… 말레이시아가 공공행정과 예산개혁의 선두주자였음에도, 이 개혁은 지난 몇 년간 순조롭지도 지속적이지도 않았다. 그럼에도 수정 예산체계는 창조성, 역동성, 정책 비용 대비 가치를 확보하기 위한 정부의 중요한 이니셔티브였다. _ 90~91쪽, 2장 개발평가를 이끄는 주요 이슈
성과 중심 평가는 수행의 적절성·효율성·효과성·영향력·지속가능성을 확인하기 위해 계획되거나 진행 중 또는 종료된 프로젝트나 프로그램을 평가함으로써, 신뢰할 수 있고 유용하며 정책결정 과정에 반영할 수 있는 정보를 제공하는 것을 목적으로 한다. 평가는 대상 프로젝트 또는 프로그램에 대한 보다 넓은 관점으로 성과 달성이 프로젝트 또는 프로그램에 의한 것인지, 발견한 변화가 다른 요인으로 인한 것인지 알아보는 것이다. 이러한 작업은 다음과 같은 질문을 통해 수행된다.
● 목표와 결과가 연관성이 있는가?
● 얼마나 효과적이고 효율적으로 목표와 성과를 달성하고 있는가?
● 프로젝트 또는 프로그램을 통해 기대하지 않았던 효과가 발생했다면 무엇인가?
● 수요를 충족시킬 수 있는 가장 비용 효과적이며 지속가능한 전략을 반영하고 있는가? _ 138쪽, 3장 성과 중심 모니터링 및 평가 시스템 구축
한 개발기구의 평가자는 남아프리카 학생의 성취도를 개선하기 위한 교육 프로그램의 평가를요청받았다. 평가자는 초등학교 학생의 성취도가 교사의 가정방문에 큰 영향을 받았다는 정보를 얻고 관련 연구 및 평가에 대한 문헌조사를 실시했다. 평가자는 먼저 유사한 교육 프로그램의 결과를 파악하기 위해 초등학교 교육과 성취도에 대한 조사를 진행했다. 이들은 국제교육연구저널(International Journal of Educational Research), 아메리카교육연구저널(The American Education Research Journal), 유아 연구 및 실천(Early Childhood Research and Practice) 및 교육연구저널(The Journal of Educational Research) 등의 학회 저널을 중심으로 관련 연구를 조사하고, 평가를 위해 개발 게이트웨이(Development Gateway), DAC 평가자원센터(DAC Evaluation Resource Centre and Education Resources Information Center) 등 데이터베이스도 조사했다. 이를 통해 관련 연구, 프로젝트 및 프로그램을 찾아냈고, 다른 국가에서 실시된 관련 프로그램 이슈와 평가 결과를 파악했다. _ 191쪽, 4장 평가 지표와 변화이론에 대한 이해
농업 프로젝트의 평가를 예로 들어보자. 첫 번째 질문을 다루기 위해, 평가자는 농지배수의 성공 정도를 측정하기 위해 토양 수분 함유량을 사용하기로 한다. 그리고 (같은 기상조건하에) 같은 기간 동안 해당지역의 여러 농지의 농지배수 전후 토양 수분함량을 수집한다.
두 번째 질문을 다루기 위해 평가자는 구조적 인터뷰 가이드를 활용하여 수혜자인 농부들에게 프로젝트 효과에 대해 질의할 수 있다. 인터뷰를 통해 다양한 견해를 피력한 응답자 비율을 보고한다. 구조적 인터뷰의 질문은 제한적인 내용을 다루고 명확한 표현을 사용해야 하며, 객관식 응답지를 제공해야 한다. 모든 응답자에게 정확하게 같은 방식으로 같은 질문을 하고, 똑같은 객관식 응답지를 제시해야 한다.
평가자는 세 번째 질문을 조사하기 위해 배수된 지역과 다른 조건은 유사하지만 배수가 되지 않은 지역에서 해당 프로젝트 전후의 농작물 생산성과 가격에 대한 기록을 사용할 수 있다. 네 번째 질문 조사를 위해 2,600명의 참가자 중 100명에게 프로젝트와 효과에 대한 의견을 조사하는 표본조사를 실시한다. 이러한 인터뷰의 경우 평가자는 부분 구조적 질문을 사용할 수 있다. _ 345쪽, 8장 데이터 수집 도구의 선택과 구성
최근 평가자들은 분야, 국가 또는 주제에 대해 개념적인 초점을 맞추어 개발 프로그램의 효과성을 검토하고 있다. 이는 개발 프로그램이 거시적 관점에서 영향력을 발휘하기 위한 방법을 모색하기 위한 노력으로 더욱 복합적인 접근법을 활용하여 자원을 공유할 수 있는 상호작용과 방법을 확인하고 있다. 공동 평가, 국별 프로그램 평가, 분야별 프로그램 평가, 주제별 평가 또는 국제 및 지역 파트너십 프로그램 평가 등이 이에 해당된다. _ 509쪽, 11장 중재적 평가
윤리는 선택을 이끄는 가치와 신념의 체계이다. 평가는 이해갈등이 있음에도 평가를 실시하거나, 비전문적인 평가에 참여하거나, 평가 업무에 영향을 미치는 편견을 허용하거나, 지킬 수 없는 약속을 하거나, 명예서약(Honor commitment)을 위반함으로써 윤리기준을 위반할 수 있다. 위임기관 중심주의, 계약주의, 방법론 지상주의, 상대주의, 다원주의/엘리트주의로 인한 오해도 비윤리적 행위를 유발할 수 있다.
OECD DAC의 평가네트워크, UN평가그룹, 미국평가협회 및 기타 기관은 평가품질, 윤리, 규범을 정의하고 측정하기 위해 기준, 가이드라인, 규범을 개발했다. 개발평가자는 관련 기준, 가이드라인, 규범과 우수사례를 잘 이해하고 있어야 한다. _ 599~600쪽, 14장 평가자를 위한 평가윤리, 정치, 기준 및 원칙
--- 본문 중에서