설문 진행. 본조사는 2020년 11월 14일부터 12월 7일까지 24일간 각 응답 세트별 8명, 총 720명 을 대상으로 설문을 수행하였다. 설문에 참여한 응답자에게는 1만원권의 문화 상품권을 보상으로 제공하였다. 그러나 최초로 수집된 응답을 면밀히 검토한 결과 108명의 응답은 후술하는 이유로 사용할 수 없었다. 따라서 다시 부족분만큼 재설문 응답자를 모집하여 설문을 수행하고, 그 응답을 다시 검토한 후 여전히 불량한 경우에는 또다시 재설문을 수 행하여 최대 4회의 추가 설문을 통해 총 124명의 응답을 수집하였다. 결과적으로 총 844 명의 응답을 수집하였으며, 이 중에서 총 736명의 응답을 유효 응답으로 활용하였다. 각 세트별로는 최소 8명에서 최대 20명까지의 유효 응답이 수집되었다. 앞서 설명한 바와 같이 통제 문제는 응답자 간 편차를 확인하기 위한 목적과 불량 응답 자를 제거하는 목적 두 가지로 사용될 수 있다. 우선 모든 집단에서 공통적으로 응답한 문제에 대한 응답 분포를 다른 집단의 분포와 비교하고, 만약 특정 응답이 이상치로 판단 되는 경우에는 평균보다 높은 점수로 응답한 집단에 속한 응답자의 점수는 일괄적으로 낮 추고, 평균보다 낮은 점수로 응답한 집단의 점수는 일괄적으로 높이는 조정 작업을 통해 균질성을 확보할 수 있다(Hill et al. 2016). 구체적으로 이 보정 방법(correct bias)은 통 제 문제에 대한 응답자 각각의 평균을 통제 문제에 대한 모든 응답의 평균과 비교하여 차 이의 절댓값이 1 이상인 경우 그 응답자가 인지하는 기준이 일반인보다 일관되게 높거나 낮다고 판단하고 그만큼 높이거나 낮추어서 척도를 보정하는 등의 방식으로, 이러한 보정 을 통하여 일관성 수치의 향상을 기대한다. 그러나 본 사업에서는 다른 평가자와 명백하 게 다른 경향의 응답을 제시한 평가자의 응답은 보정(normalization/rescaling)이 아닌 제거를 하는 것을 원칙으로 한다. 통제 세부 판단 기준은 de Marneffe et al.(2019)의 기 준을 준용하여 +2와 –2를 임계치로 하였다. 구체적으로는 위의 통제 문제와 같이 함의(참 확신) 문제를 +2나 +3이 아닌 –3에서 +1까지의 응답으로 답변하거나, 모순(거짓 확신) 문 제를 –2나 –3이 아닌 –1에서 +3까지의 응답으로 답변한 응답자는 부실 응답자로 간주하 여 제외하였다. 이렇게 통제 문제 검증을 통하여 제외된 응답자를 대신하여 다시 새로운 응답자로 하여 금 해당 세트의 문항을 제시하고 응답하게 하였다. 이러한 방식으로 설문은 최대 4차까지 재설문을 통하여 수행하였다. 이 과정에서 문어 4개, 신문 25개, 구어 79명의 응답이 해 당 기준을 충족하지 못하였다. 해당 응답을 제시한 응답자의 모든 응답은 제거했다. 응답 세트별 조사 참여자 및 유효 응답자는 아래와 같다. 다음은 부실 응답자 제거 이전과 이후의 통제 문제에 대한 응답 수와 응답 평균이다. 유형 문항 아이디 구분 부실 응답자 제거 이전 부실 응답자 제거 이후 응답 수 응답 평균 응답 수 응답 평균 문어 WT_FAKE1 함의(참 확신) 284 2.7887 280 2.8107 문어 WT_FAKE2 모순(거짓 확신) 284 -2.7289 280 -2.7429 문어 WT_FAKE3 함의(참 확신) 284 2.8908 280 2.8929 신문 NE_FAKE1 함의(참 확신) 305 2.7947 280 2.8536 신문 NE_FAKE2 모순(거짓 확신) 305 -2.6523 280 -2.7179 신문 NE_FAKE3 함의(참 확신) 305 2.7881 280 2.8214 구어 SP_FAKE1 함의(참 확신) 255 2.5373 176 2.8239 구어 SP_FAKE2 모순(거짓 확신) 255 -2.0627 176 -2.8523 구어 SP_FAKE3 함의(참 확신) 255 2.1373 176 2.6250 전체 유효 응답자 특성 및 각 응답 세트별 응답자 특성은 다음과 같다. 전체 [성별] [연령] 남자 여자 29세 이하 30대 40대 50세 이상 100% 37.5% 62.5% 30.3% 32.9% 22.8% 14.0% 응답 세트 아이디 전체 [성별] [연령] 남자 여자 29세 이하 30대 40대 50세 이상 응답 세트 아이디 전체 [성별] [연령] 남자 여자 29세 이하 30대 40대 50세 이상 응답 세트 아이디 전체 [성별] [연령] 남자 여자 29세 이하 30대 40대 50세 이상 응답 세트 아이디 전체 [성별] [연령] 남자 여자 29세 이하 30대 40대 50세 이상 응답 세트 아이디 전체 [성별] [연령] 남자 여자 29세 이하 30대 40대 50세 이상 합계 736 100% 276 37.5% 460 62.5% 223 30.3% 242 32.9% 168 22.8% 103 14.0% 통제 문제를 활용한 검증 과정을 통해 불량 응답자를 제거한 뒤, 설문 결과 신뢰도 분 석을 위해 세트별 응답자의 크리펜도르프 알파(Krippendorff's alpha) 검정을 수행하여 응답자들의 응답 간 상관관계를 확인하였다. 크리펜도르프(Kripendorff, 2004)...
