레이블 분류 방법. 모문과 내포 명제 사이의 관계에 대한 분류에 대한 레이블을 부여함에 있어 ‘함의 (entailment, 참 확신)’, ‘중립(neutral)’, ‘모순(contradiction, 거짓 확신)’으로 분류하고 부여하였다. 본 사업에서는 여러 가지 가능한 방안 중 다음의 2가지 방안을 고려하여 하 나를 선택하기로 한다. (1안) ㄱ. 95% 신뢰 구간 상/하한이 0 이상인 경우, ‘함의(참 확신)’ ㄴ. 95% 신뢰 구간 상/하한이 0 이하인 경우, ‘모순(거짓 확신)’ ㄷ. 그 외의 경우, ‘중립’ (2안) ㄱ. 80% 이상이 +1, +2 또는 +3을 선택하는 경우, ‘함의(참 확신)’ ㄴ. 80% 이상이 –1, -2 또는 -3을 선택하는 경우, ‘모순(거짓 확신)’ ㄷ. 80% 이상이 0을 선택하는 경우, ‘모순(거짓 확신)’ de Marneffe et al.(2018)의 확신성 말뭉치(CommitmentBank) 분석에서는 투사의 성 질을 이해함에 있어서 전반적으로 95% 신뢰 수준의 부트스트랩을 알고리즘을 활용하여 신뢰 구간을 계산함으로써 분석하였다(1안 적용). 확신성에 대한 응답 점수에 대한 신뢰 구간의 상/하한값이 0보다 크면 투사가 일어나는 것이고, 상/하한 값이 0보다 작으면 그 렇지 않은 것으로 판단한 것이다. 그런데 필연적으로 응답자 간 편차가 존재하며, 분석 대상 담화의 오직 1/3 정도가 그 정도의 차이는 있더라도 대상 문상이 투사되는지 그렇 지 않은지에 대한 일치도가 있는 것으로 파악하였다. 그리고 후속 연구(de Marneffe and Jiang, 2019)에서는 구글의 언어 모델인 버트(BERT) 평가를 위한 말뭉치로 변환하기 위해 서 80%의 응답자가 동일한 범위에 있는 담화문으로 한정하였으며(2안 적용), 동일 범위 내에 80%의 응답자(8명인 경우 7명 이상)가 응답하지 않는 경우는 사용하지 않았다. 따라 서 확신성 말뭉치(CommitmentBank)의 항목은 약 1,200개이지만, 최종적으로 슈퍼글루 (SuperGLUE)에 포함된 말뭉치의 규모는 훈련(train) 250개, 검증(validation) 56개, 평가 (test) 250개, 총 556개로 최초 말뭉치의 절반 미만 수준이다. 그런데 본 사업에서 de Marneffe and Jiang(2019)와 같이 2안을 적용할 경우 응답자 의 80%가 정확히 중립을 선택하는 경우는 오직 4건에 불과하며, 약 712개의 담화를 제외 한 총 1,088개의 담화(함의 777개, 중립 4개, 모순 307개)로 분석 대상 말뭉치의 약 75% 수준이다. 이렇게 제한된 담화로 말뭉치를 구성할 경우에 상대적으로 응답 신뢰도가 높은 데이터를 확보할 수 있다는 장점이 있으나, 같은 범위에 속하더라도 미세하게 응답이 다 른 정도를 설명하지 못하는 등 전제 투사를 설명하기 위한 다양한 유형을 자칫 간과할 위 험이 있다. 본 사업에서는 1안을 동시에 제시한다. 한 개의 문항에 대해 응답자들이 부여한 점수에 기반하여 신뢰 구간의 상/하한값을 계산하고, 신뢰 구간의 상/하한이 모두 0 이상인 경우 는 ‘함의(entailment, 참 확신)’, 모두 0 이하인 경우는 ‘모순(contradiction, 거짓 확신)’, 그 외의 경우는 ‘중립(neutral)’에 해당하는 레이블을 부여한다(이를 class_CI 로 제시하 였다.). 이 경우, 904건이 함의, 508건이 중립, 388건이 모순으로 분류된다. 이와 동시에 각 구간에 응답자의 80%가 응답하는 경우를 계산하고 이에 해당하는 레이 블 역시 부여하였다(이를 class_Restrict로 제시하였다.). 각 규칙에 따른 레이블을 부여 한 담화의 수는 다음 표와 같다. 구체적으로 보면 1안에 따라 ‘중립’이라고 분류한 부분 (508건)은 정확하게 응답이 0으로 분류되지 않은 경우가 대부분이다. 구분 함의(2안) 중립(2안) 모순(2안) 미분류(2안) 합계(1안) 함의(1안) 768 136 904 중립(1안) 9 4 2 493 508 모순(1안) 305 83 388 합계(2안) 777 4 307 712 1,800
