질문지 작성 원칙(질문 유형·배치·사전검사)

문항을 쓸 때는 가치중립적인 용어를 사용하고, 이중질문과 유도질문은 피한다. 이중질문은 정보를 많이 얻기 위해서가 아니라 응답 왜곡을 막기 위해 피해야 할 문항 작성 방식이다. 객관식 응답항목은 모든 가능한 응답을 포괄하고(포괄성) 서로 중복되지 않아야 한다(상호배타성). 문항은 응답자의 특성과 무관하게 쓰는 것이 아니라 적용대상의 특성을 반영하고 응답자의 이해능력과 응답능력을 고려해야 한다. 명목측정을 위한 질문은 하나의 속성만 묻는 단일차원성의 원칙을 지킨다. 가설은 질문지 조사항목과 세부사항을 결정하는 기준이 되고, 개방형 질문은 응답해석에 편견이 개입될 수 있다.

배치는 응답하기 쉬운 문항을 앞에, 일반적인 것을 먼저 묻고 특수한 것을 뒤에 묻는다. 개방형 질문은 응답 부담이 커서 앞부분이 아니라 뒷부분에 두고, 민감한 주제나 주관식 질문도 설문지의 뒷부분에 배치한다. 개연성 질문(contingency questions, 앞의 수반형 질문과 같은 영어 용어)은 사고의 흐름에 따라 배치한다. 수반형 질문이 많아질수록 응답률이 높아진다는 서술은 옳지 않다.

같은 것을 두 번 물어 답이 일관되는지 보려는 신뢰도 측정용 짝(pair) 문항은 서로 떨어뜨려 배치한다. 바로 옆에 붙여 놓으면 응답자가 앞선 응답을 기억하고 그대로 따라 답하는 고정반응(response set)이 나타나기 쉬워 오히려 신뢰도 측정이 왜곡된다. 그래서 고정반응을 예방하기 위해 유사질문들은 분리하여 배치하며, 짝(pair)으로 된 문항들을 '함께'·'이어서'·'가깝게' 배치한다는 서술은 모두 틀렸다. 같은 이유로 설문지는 고정반응을 방지하도록 문항을 배열해야 하고, '고정반응이 나타나도록 배열한다'는 설명은 옳지 않다.

사전검사(pre-test)는 이미 만들어진 질문지를 본조사 전에 먼저 써 보고 문제점을 고치는 절차다. 응답내용 간 모순, 응답이 한쪽으로 치우치는지, 질문 순서가 바뀌었을 때 응답에 실질적 변화가 일어나는지, 무응답·기타응답이 많은지를 확인한다. 연구문제의 핵심요소를 확인하는 일은 설문지를 만들기 전 개념화·조작화 단계의 몫이고, 연구문제의 핵심요소를 아직 파악하지 못했을 때 탐색하는 조사는 탐색적 조사·문헌고찰 등에 해당하므로 사전검사가 아니다.