응답자 점수 평균 분포. 총 1,805 문항에 대하여 확신성 실험이 수행되었다. 최초 과제 제안서 는 1,500 문항을 대상으로 하였으며, 기타 사유로 인한 문항 손실과 실험 실패로 인한 오류율을 고려하여 목표량의 20%를 추가로 수행하였다. 전 체 문항에 대한 응답 분포는 아래 그림과 같다. 가로축은 1,805 문항에 대하여 20명 내외의 참여자가 응답한 점수이다. 위의 문항 응답 자료의 특징적인 부분은 평균점수 분포가 매우 편향되 어 있다는 점이다. 특히, 중립과 함의의 경계에 있다고 볼 수 있는 4~6점 구간에 분포하는 문항이 많다는 점은 화자의 확신성이 중립과 함의의 사 이에서 모호하게 나타날 수 있다는 점을 시사한다. 실험 결과인 리커트 척도를 토대로 함의 관계 정보를 부착하였다. 구체 적으로는, 각 문항별 응답자의 확신성 점수의 평균을 구하고 95% 신뢰구 간을 도출하여 이를 고려하였다. 이때, 예비 실험과 동일하게 1~3점의 구 간을 모순으로 하였고, 3~5점 구간을 중립으로, 5~7점 구간을 함의로 하 였다. 예를 들어, 어떤 문항의 신뢰구간의 길이가 [5.5, 6.5]라면, 신뢰 구 간이 5~7점 사이에 모두 포함되므로 함의 관계 정보가 부착되었다. 반대로, 어떤 문항의 신뢰구간이 [1.5, 3.0]이라면 모순 관계의 구간에 포함되므로 함의 관계 라벨은 “모순”으로 부착되었다. 이를 엑셀 수식을 이용하여 자동적으로 개별 문항에 따라 부착하였고, 그 비율은 아래 표와 같다. <표 8>은 실제 확신성 실험에서 사용된 전체 문항 수의 함의 관계 가 라벨 분포를 보여준다. 1,805건의 문항에 대하여 20명 내외의 한국어 화자가 응답하였다. <표 9>는 전체 실험 문항 1,805건에서 내부 검토를 거쳐 243건을 제외한 최종 산출물의 함의 관계 라벨 분포이다. <표 8. 전체 확신성 실험 문항 수> <표 9. 최종 산출물 수> <표 8>과 <표 9>에서 나타난 바와 같이 중립/모순에 비하여 함의 관 계에 문항 분포가 상당히 편중되어 있다. 특히, 함의에 가까운 중립이나, 반대로 중립에 가까운 함의로 화자의 확신성이 나타나는 경우가 별도의 분류 없이 포함되었기 때문일 수 있다. 그러나 별도의 분류 범주를 설정 하더라도, 연속형 변수(continuous variable)을 범주적 변수(categorical variable)로 바꾸는 과정에서 상당한 정보의 손실이 발생하며, 자의적 (ad-hoc)이라는 약점을 충분히 방어하기 어렵다. 따라서 문항을 별도로 분류하여 목적에 맞게 사용하는 작업은 사용자의 의도에 따라 바뀔 수 있다. 급내상관계수(Intra Class Correlation; ICC)를 이용한 확신성 언어 실 험에 참여한 응답자의 신뢰성을 평가를 하였다. 사회과학에서 흔히 사용 되는 급내상관계수는 평가자들의 응답에 대한 신뢰도를 측정하는데 사용 하는 통계적 도구이다. 본 사업에는 기존 연구에 따라 ICC1k 또는 ICC2k 중 하나가 확신성 실험과 관련하여 가장 신뢰할 만한 통계값이라 고 제안한다 (Yum et al., 2021). 해당 연구는 의학 전문가 10인의 언어 적 직관을 수집하기 위하여 실험언어학의 방법론을 사용한 것으로, ICC 를 이용하여 의학 전문가 직관의 신뢰성을 통계분석하였다. ICC는 무작위로 응답자 그룹을 형성하여 응답자 간의 응답패턴을 분석 하는 방법이다. 이를 통하여 응답자의 응답 패턴이 일관적인지 확인할 수 있다. 각 평가별로 총 6가지 ICC값과 F값, 자유도값, p-value등이 나타 난다. ICC1 (단일 절대 평가)은 응답을 무작위로 하나 선정하여 각 문항 마다 매번 다른 응답으로 평가하는 단방향 ANOVA 모델이다. 응답과 절 대 합치도간의 편차에 민감하다. ICC2 (단일 무작위 평가)는 응답 번호 (1-7)의 절대 합치도(absolute agreement)를 평가하였다. 각 문항별로 k 개의 응답을 무작위로 추출한다. ICC3 (단일 고정 평가)는 더 큰 응답의 모수를 위한 일반화는 진행하지 않았다. 각 문항별로 고정된 k개의 응답 을 사용한다. ICC2와 ICC3는 평가자 간의 평균 편차를 없애는 역할을 하 지만 응답별로 평가자 간의 상호관계에 민감하다. ICC2와 ICC3의 차이는 랜덤한 추출에 얼마나 민감한가를 보여준다. ICC1k (평균 절대 평가), ICC2k (평균 무작위 평가), ICC3k (평균 고 정 평가)는 각각 k명의 응답자를 반영한 결과이다. 본 과제에서는 급내상 관계수를 이용하여 응답 인원들의 내포 명제에 대한 확신성이 비슷한 패 턴을 보이는지 또는 상이한 패턴을 보이는지 파악하였다. 이때, 리커트 7 점 척도를 직접 사용하지 않고, 함의(5-7점) - 중립(3-5점) - 모순(1-3 점)으로 변환하였다. 이는 함의 관계 라벨의 분포와 응답자의 신뢰성을 파악하기 위함이다. 또한, 각 척도의 1-7점 점수에는 중요성을 부여하기 어렵지만, 이를 함의 관계별로 다시 그룹화하여 통계분석하면 확신성의 양상을 분석하는데 용이하다. 구체적으로는, 함의와 중립 사이에서 모호 한 응답이 상당수 분포하였는데, 모호한 응답이 많을수록 ICC값이 떨어 진다. 급...
