온라인 리서치 전문기업 서베이탑에서 설문조사의 불성실 응답을 줄이는 방법에 대해서 설명드리고자 합니다.
온라인 설문조사를 하다 보면 응답을 하지 않고 넘어가는 경우, 질문을 이해하지 않고 마음대로 응답하거나 모든 문항의 답변을 동일한 숫자로 기재하는 등 대충 응답하는 것을 말합니다.
이러한 불성실 응답이 있게 도면 아무래도 좋은 연구결과를 얻기가 힘들겠죠.
이와 관련하여 불성실 응답을 줄이는 팁을 소개하고자 합니다.
1. 설문지에 성실 응답 안내 문구를 넣습니다.
성실하게 설문에 참여해 줄 것을 설문지 인사말에 넣는 것입니다. 한 분 한분의 의견이 정책이나 사업 등을 만드는데 영향을 미치기에 성실하게 참여해 줄 것을 요청하는 글을 넣습니다. 이러한 글은 응답자로 하여금 책임감을 높이게 되겠죠.
2. 설문 비디오 클립을 만듭니다.
온라인 설문 시 연구자와 응답자가 만나는 경우가 거의 없습니다. 이로 인해 불성실 응답 또한 많아 질 수 있습니다. 이를 해소하기 위해 연구자가 직접 설문의 목적과 내용 그리고 성실 참여 요청 등을 비디오 클립을 제작하여 보여 주는 것입니다.
3. 불성실 응답을 확인할 수 있는 문항을 넣습니다.
불성실 응답을 측정하기 위해서 위조문항을 넣는다. ‘내 친구들은 모두 외계인이다.’, ‘나는 세계의 모든 나라에 가보았다.’, ‘나는 양치질을 한 번도 해 본적이 없다.’, ‘나는 컴퓨터를 한 번도 사용해 본적이 없다.’ 등의 문항을 넣어서 어떻게 응답하는 지를 파악하여 불성실 응답 여부를 판단하는 것입니다.
4. 성실 응답을 확인할 수 있는 문항을 넣습니다.
설문 응답자 스스로가 설문에 성실이 임했는지를 알아보는 ‘나는 이 설문에 최선을 다해 응답했다.’ 문항을 넣습니다.
5. 설문 사용여부를 묻는 문항을 넣습니다.
응답한 설문을 사용해도 되는지 즉, ‘마지막으로 귀하께서 생각하시에 저희가 귀하의 응답 내용을 믿고 연구를 진행해도 될까요?’ 의 문항을 넣어서 이것을 토대로 설문분석에 사용할 지를 판단하는 것입니다.
6. 통계적 분석을 통해서 확인합니다.
설문 응답에 걸리는 시간을 파악해서 너무 짧은 시간에 응답한 케이스는 분석에서 제외하는 방법이 있습니다. 그리고 하나의 개념을 묻는 질문에서 응답자의 반응 패턴을 체크하는 것입니다. 연속해서 같은 변수값을 4개 이상 입력했다는지 하면 불성실을 의심할 수 있겠죠. 그리고 이상치라고 너무 다른 값을 보이는 케이스를 진단하는 방법입니다. 이를 진단하기 위해 마할라노비스 거리를 사용합니다.
이와 관련한 연구를 한 김우영 외(2019)는 온라인 설문지에 거울 이미지를 달았을 때 불성실 응답이 줄었다는 연구결과가 있습니다. 정말 재미있는 연구결과이고, 아이디어가 좋은 것 같습니다. 여러분도 참조하면 좋을 것 같아요.
참고문헌
김우영, 이태헌, 장재윤 (2019) <한국심리학회지> 38(4), pp. 669-698
Comments