에디터 의견: 현장에서는 사전 검사와 사후 검사를 비교하여 사업 효과성을 측정하곤 합니다. 하지만 사전 검사를 할 때는 미처 의미를 모른 채 답했다가 사업에 참여한 후 의미를 새롭게 깨닫는 것이 있을 수 있습니다. 이렇게 되면, 똑같은 검사 항목이라도 사후 검사 때는 문항의 의미가 전혀 다르게 받아들여질 수 있고, 이러면 같은 의미로 검사를 한 것이 아니므로 사전 사후 비교가 되지 않는다는 연구 주장입니다. 오히려 사후 검사를 할 때 회고를 하면서 사전 평가를 하는 것이 실제로는 같은 문항으로 답하는 것이므로 진짜 비교가 가능하다고 합니다.
—–
이 연구의 목적은 전통적인 사전 검사, 회고적 사전 검사, 사후 검사 간의 측정 동등성을 검증하여 평균 비교가 평가 연구에 적절한지를 평가하는 것이었습니다. 전통적 사전 검사는 개입이 시작되기 전 상태를, 회고적 사전 검사는 개입이 끝난 뒤 참가자가 개입 전 자신의 상태를 회상하여 보고하는 방식입니다. 이 두 가지 방식 간 차이의 원인은 학자들 사이에 논쟁이 있으나, 개입을 통해 참가자의 인식 방식이 변할 수 있다는 데에는 공감대가 있으며, 측정의 동등성 검증을 통해 어떤 사전 검사 방식이 사후 검사와 일관성이 있는지를 알 수 있습니다.
112명의 관계 교육 프로그램 참가자들이 관계 자신감과 관계 지식에 대해 전통적 사전 검사, 회고적 사전 검사, 사후 검사를 시행하였습니다. 이후 이들 간의 측정 동등성을 확인하기 위해 확인적 요인 분석을 기반으로 한 일련의 동등성 검정이 실시되었습니다.
결과적으로 두 가지 측정 대상 모두에서 전통적 사전 검사와 사후 검사는 동등성을 보이지 않았으며, 이는 개입 전과 후에 측정한 개념의 성격이 변했음을 시사합니다. 반면 회고적 사전 검사는 사후 검사와 강한 동등성을 보여주었습니다.
따라서 이 연구에서는 전통적 사전 검사와 사후 검사 간의 평균 비교는 적절하지 않으며, 회고적 사전 검사를 사용하는 것이 타당하다는 결론에 도달했습니다. 이는 개입 자체가 참가자의 인식을 변화시킬 수 있기 때문에 평가 설계 시 이러한 변화를 고려해야 함을 시사합니다.