본조사 설계. 본조사는 전국 만 19세 이상 성인 남녀를 대상으로 제2장에서 선정한 대상 문장을 통 해 내포 명제에 대한 화자의 태도를 평가하는 방식으로 설계하였다. 본조사는 대상이 되 는 1,800개의 문항을 분할하여 응답 세트를 구성하고, 이를 다시 여러 명의 응답자를 서 로 다른 집단으로 구성하여 설문을 수행하는 방식이므로 집단 간 편차가 발생할 수 있다. 조사 결과의 신뢰도를 확보하기 위해서는 응답 일관성이 중요하다. 이를 위해 본 사업은
i) Hill et al.(2016)의 일관성 확인 문제(questions from consistency set)를 활용한 응 답자 간의 편차(difference between annotaters)와 응답 세트별 편차(difference between tranches)를 확인하고 보정하기 위한 전략과 ii) de Marneffe et al.(2019)의 통제 문제(control question) 검증 전략, 그리고 iii) 일반적으로 설문에 요구되는 응답 신 뢰성 검토를 설계 시 고려하였다. Hill et al.(2016)의 일관성 확인 문제는 응답자 또는 여러 개의 분할된 집단 간에 존재 할 수 있는 응답 차이를 확인하고 수치를 보정하기 위한 방법이다. 이 방식은 일관성 확 인 문제로 선정된 문제들을 설문에 균등한 분포로 배치시키는 방식이다. 한편, de Marneffe et al.(2019)의 통제 문제(control question)는 응답을 보정하기보다는 제거하 기 위한 방법이다. 다만 그 형태는 모든 응답자에게 일관된 문제를 제시한다는 점에서 Hill et al.(2016)의 일관성 확인 문제와 동일하다. 본 사업에서는 이렇게 의도적으로 제시된 문제를 통제 문제로 정의하고, 문어, 신문, 구 어 각 세트에 통제 문제 3개를 문항 3번, 10번, 17번에 균등하게 배치하여 설문 응답 데 이터의 신뢰도를 직관적으로 확인할 수 있도록 안전장치를 만들었다. 문어, 신문, 구어의 통제 문제는 다음과 같다. <표 12> 문어, 신문, 구어의 통제 문제 구분 번호 (문항 아이디) 담화 질문 구분 문어 1 (WT_F AKE1) 남편이든 아내든, 먼저 사과하는 것은 자 존심이 상하는 문제가 절대로 아니다. 나 는 먼저 사과하는 일이야말로 부부 간 애정의 징표임을 확실히 깨달았다. ※ 다음 문장에 대해 필자는 어느 정도로 확신한다고 생각하십니까? "먼저 사과하는 일이야말로 부부 간 애정의 징표이다." 함의 (참 확신) 2 (WT_F AKE2) 이 세상에서는 일시적인 쾌락밖에 얻 지 못한다. 나는 지속적인 행복이 지 상에 있다고 믿지 않는다. ※ 다음 문장에 대해 필자는 어느 정도로 확신한다고 생각하십니까? "지속적인 행복이 지상에 있다." 모순 (거짓 확신) 3 (WT_F AKE3) 정수는 마음이 무거웠다. 어제 동희에게 심하게 화를 낸 것을 후회했다. ※ 다음 문장에 대해 필자는 어느 정도로 확신한다고 생각하십니까? "정수는 어제 동희에게 심하게 화를 냈다." 함의 (참 확신) 신문 1 (FQ_F AKE1) 볼턴 팬들은 게리 맥슨 감독이 한때 볼턴 감독으로 있었던 것을 분명히 기억한다. ※ 다음 문장에 대해 필자는 어느 정도로 확신한다고 생각하십니까? "게리 맥슨 감독은 한때 볼턴 감독으 로 있었다." 함의 (참 확신) 2 (FQ_F AKE2) 지금 시점에서 2차 정상회담으로 무 엇을 이룰지 의문이다. 트럼프는 자 신만이 북한 문제를 해결할 수 있다 고 착각하고 있다. ※ 다음 문장에 대해 필자는 어느 정도로 확신한다고 생각하십니까? "트럼프만이 북한 문제를 해결할 수 있다." 모순 (거짓 확신) 3 (FQ_F AKE3) 장비 일체 점검과 몇 차례의 테스트 를 거친 결과, 5번 기기의 시간 설 정이 잘못돼 있음을 발견하였다. ※ 다음 문장에 대해 필자는 어느 정도로 확신한다고 생각하십니까? "5번 기기의 시간 설정이 잘못돼 있었다." 함의 (참 확신) 구어 1 (SP_F AKE1) 영희: 아~ 이거! 다들 놀라지마! 나 앞 으로 여기서 같이 살려구. 어때? 좋지? 경순: 응? 여기서? 영희: 응! 역시 사람은 가족들과 함 께 지내야 된다는 걸 깨달았어 ※ 다음 문장에 대해 영희(은)는 어느 정도로 확신한다고 생각하십니까? “역시 사람은 가족들과 함께 지내야 된다.” 함의 (참 확신) 2 (SP_F AKE2) P1: 주상절리는 용암이 식어 고체로 굳을 때 기둥 모양으로 갈라진 것을 말합니다. 많은 사람들이 주상절리는 검 은색의 현무암에서만 나타나는 것으로 착 각하는데, 사실 그렇지 않습니다. ※ 다음 문장에 대해 P1(은)는 어느 정도로 확신한다고 생각하십니까? “주상절리는 검은색의 현무암에서만 나타난다.” 모순 (거짓 확신) 3 (SP_F AKE3) 무령: 공주. 궁 생활에 어려운 일이 많 을 것이다. 허나. 짐이 언제나 공주의 곁 에 있음을 잊지 말거라. ※ 다음 문장에 대해 무령(은)는 어느 정도로 확신한다고 생각하십니까? “짐(무령)이 언제나 공주의 곁에 있다.” 함의 (참 확신) 이를 바탕으로 본조사는 세트당 23문항(본설문 20문항, 통제 문제 3문항)으로 설계...
