일치도 분석 개요. 10명의 주석자 분석 결과를 취합해야 하는 감정 분석의 특성상 분석의 객관성 확보 및 말뭉치 품질을 확보하기 위해 분석 일치도 산출은 필요하다. 이에 따라 주석자 간 분 석 일치도 평가를 위한 통계적 접근과 일치도 관리의 기준 마련이 필요하다. 주석자 간 일치도 산출은 평가자 일치도 분석을 위한 통계적 분석 기법인 카파통계량 중 3명 이상의 복수 평가자 분석에 적합한 일반화 카파통계량을 기반으로 한다. 일치도 란 한 표본을 여러 번 반복 측정한 결과가 서로 어느 정도 일치하는가를 알아보는 신뢰 도 평가의 척도로서 한 명 혹은 여러 명의 평가자가 한 표본을 평가할 때 일치하는 정도 이다. 일치도 분석을 위한 일반화 카파통계량은 r명의 평가자가 n명(또는 건)의 평가 대 상을 q개의 범주로 평가한다는 가정을 기준으로 한다. 평가 결과의 범주는 순서를 고려 하지 않는 이분형 혹은 명목형이며 평가자는 서로 독립임을 가정하는 Fleiss의 방법을 기반으로 접근하였다. : 관찰된 일치비율 : 우연에 의해 기대되는 일치비율 그러나 일반화 카파통계량은 r명의 평가자가 q개 범주 중 한 가지로 평가한다는 가정 을 기준으로 한다. 본 사업에서는 감정 분석 9개 표지에 대한 다중 레이블 값을 인정하 므로 복수의 감정 표지가 부착되는 데이터 구조에 대한 산출 방안이 필요하다. 본 사업에서 일치도 산출의 목적은 평가 전체 결과에 대한 것이 아니며, 문서 단위 감 정 분석 결과에 대한 주석자 간의 일치도 분석 및 관리를 목표로 한다. 즉, 전체 결과에 대한 일치도가 아닌 문서 1개 단위를 기준으로 일치도 분석값을 도출하도록 하였다. 따라서, 문서 1건을 전체 평가 대상 데이터로 간주하고 9개의 감정 표지를 평가 대상 (건)으로 산정하여 k값을 산출한다. 이 경우 9개 감정 표지를 평가 대상자로 간주해 표지 별 일치도 값이 산출된다(표지별 Pa 값 도출). 해당 방안을 사용할 경우 다중 레이블값 그대로 일치도 도출이 가능하며, 일치도 산출 데이터와 주석 결과 데이터가 동일하다는 장점이 있다. 문서 단위 일치도 산출값은 Fleiss 카파통계량 산출식을 이용하며, 문서당 각각의 k값이 도출된다. Fleiss 카파통계량 산출식은 아래와 같다. = 평가자 수(주석자, 10명) = 평가 대상 감정 수(감정 수, 9개) = 범주 수(감정별 이분형 값, 2개) 산출식에 따라 실제 10명의 주석자가 분석한 결과를 대상으로 산출한 일치도 산출 결 과는 다음과 같다. <표 14> Fleiss 카파통계량 기준 일치도 산출 결과 예시 (다중 레이블값 기준) Landis and Koch(1977)의 일치도 해석 기준에 따라 적당한 일치도(Moderate) 이상에 해당하는 k값 0.4 초과 문서를 채택한다. 감정 표지는 해당 채택 문서 내에서 5명 이상 (관찰된 일치 비율 0.4 초과)의 분석 결과가 일치한 표지만을 최종 채택하도록 한다. 일치도가 0.4를 초과한 문서에서 최종 표지 채택 결과 예시는 다음과 같다. 일상 대화 1만 건, 트위터 5만 건에 대한 말뭉치 감정·공격성 분석 진행 결과, 감정 표 지별 비중은 다음과 같다. <표 17> 감정 분석 결과 표지별 비중 감정 분석 표지 일상 대화 트위터 합계 기쁨(Joy) 5,710 57.1% 25,256 50.5% 30,966 51.6% 기대(Anticipation) 1,893 18.9% 10,773 21.5% 12,666 21.1% 신뢰(Trust) 414 4.1% 2,646 5.3% 3,060 5.1% 놀람(Surprise) 322 3.2% 3,229 6.5% 3,551 5.9% 혐오(Disgust) 1,296 13.0% 1,810 3.6% 3,106 5.2% 공포(Fear) 521 5.2% 1,015 2.0% 1,536 2.6% 분노(Anger) 144 1.4% 1,979 4.0% 2,123 3.5% 슬픔(Sadness) 1,097 11.0% 3,032 6.1% 4,129 6.9% 감정 없음 - - 6,801 13.6% 6,801 11.3% 감정 표지는 앞서 설명한 바와 같이 1개 문서 당 여러 개의 표지 부착이 가능하다. 따 라서 문서 수에 대한 비중은 전체 문서 내 분석된 표지 수 비중이 된다. 일상 대화와 트 위터에 공통적으로 가장 많이 나타난 표지는 ‘기쁨’이며, 가장 적게 나타난 표지는 ‘공포’ 로 나타났다. 또한, 트위터 전체 분석 문서 50,000건 중 ‘감정 없음’으로 분석된 문서는 6,801건으로 13.6%를 차지하였다. 트위터 대상으로 분석한 공격성의 경우, 전체 5만 건 트위터 문서 중 594건으로 1.2% 에 그쳤다. 누리소통망 특성상 타인과의 소통을 목적으로 하므로 공격성을 드러내는 문 서를 작성하는 비중이 높지 않았다. 594 건 279 463 트위터 자료의 경우 본 사업을 위해 참여자를 모집하여 구축한 자료이므로 일상 대화 자료와 달리 원시 말뭉치 구축이 필요하다. 따라서 트위터 자료는 국립국어원의 원시 말 뭉치 구축 지침을 준용하고자 하였으며, 일상 대화 및 트위터 자료별 JSON 형태의 말뭉 치 형식은 다음과 같다. id 말뭉치 파일 ID metadata...
