내적 타당도 저해요인

내적 타당도를 저해하는 대표적 요인은 다음과 같다. 시간이 흐르며 대상자에게 자연스럽게 일어나는 신체적·심리적 변화인 성숙효과(예: 노인의 자연스러운 노화·회복), 개입과 무관하게 그 기간 중 발생한 사건인 역사(외부사건), 사전검사 경험 자체가 사후검사 응답에 영향을 주는 검사효과, 사전-사후에 척도나 관찰기준이 달라져 생기는 도구효과, 극단적인 점수를 가진 대상을 선정했을 때 재측정 시 평균으로 되돌아가는 통계적 회귀, 조사 진행 중 일부 대상자가 탈락하는 상실(중도탈락), 집단 구성 자체가 편중된 선정(선택)편향과 그것이 성숙 등과 결합하는 선택과의 상호작용, 그리고 실험집단의 처치 내용이 비교·통제집단(인접한 다른 복지관 등)에도 전달되는 개입의 확산(모방)이 있다.

이 중 통계적 회귀는 시험에서 특히 자주 틀리는 지점이다. 통계적 회귀는 프로그램의 개입과 관계없이 사후검사 측정치가 평균값에 근접하려는 경향이며, 개입 후 측정치가 원래의 낮은 기초선으로 되돌아가는 것이나 개입 전부터 이질적이던 두 집단의 차이가 사후에도 유지되는 것과는 다른 현상이다.

내적 타당도와 자주 혼동되는 것이 외적 타당도다. 외적 타당도는 실험 결과를 실험 상황 밖의 다른 대상·상황으로 일반화할 수 있는 정도를 말하며, 표본의 대표성이 낮거나(자발적 참여자만으로 표본을 구성한 경우 등) 참여자가 관찰되고 있음을 의식해 평소와 다르게 행동하는 반응성이 이를 저해한다. 역사·성숙·검사효과·도구효과·통계적 회귀·상실·선정편향·개입의 확산은 모두 실험 내부의 비교 자체를 왜곡하는 내적 타당도 저해요인이고, 표본의 대표성·반응성은 그 결과를 일반화하지 못하게 하는 외적 타당도 저해요인이라는 점에서 성격이 다르다.

내적 타당도는 외적 타당도의 필요조건이지만 충분조건은 아니다 — 인과관계 자체가 확보되지 않은 결과는 일반화할 가치가 없지만, 내적 타당도가 확보되어도 표본이 특수하면 일반화가 안 되기 때문이다. 특히 통제집단 없이 한 집단의 사전-사후만 비교하는 설계는 성숙, 역사, 검사효과 등 내적 타당도 저해요인들을 통제하지 못한다는 한계를 가진다.