검증 절차 수행. 언어정보 부착 작업의 정확성과 신뢰성을 확보하기 위하여 1차 부착 작업 이후에 작업자간 교차 검증 절차를 수행하였다. 예를 들어, 연구보 조원 A가 모절의 시제소 ‘–었/았’이 없다고 판단하여 언어 정보가 누락 되었다면, 연구보조원 B가 검수하여 누락된 정보를 보완하였다. 교차 검 증은 1차 작업자의 작업 결과를 전수로 재검수하는 방식으로 진행되었다. 이와 함께, 교차검증 작업자는 1차 작업자와 의견이 불일치하거나 여전히 추가적인 검증이 더 필요할 것으로 판단되는 사례에 ‘확인 요망’ 또는 ‘민감 사안’과 같은 별도의 표시를 한 후 그 이유를 작성하였다. 또한 1차 작업자가 작업 중 재확인이 필요하다고 판단하여 남긴 메모 에 대해 교차검증 작업자는 이를 참고하여 작업물을 수정하거나, 수정을 하지 않을 시에도 그 이유를 메모에 남겨 주요 이슈를 공유할 수 있도록 하였다. 아래 <표 22> 모절의 시제소(-었/았)와 인칭(1인칭, 3인칭)에 관 한 1차 작업 및 2차 검증 내용 예시이다. 실제 작업은 온라인 워크벤치 를 경유하여 이루어졌다. 당연히 대궐 안에 그녀가 없음을 알면서도 그녀의 존재감이 너무도 또렷해 자신의 모든 감각을 의심했 다. 모절 시제소 (없 음), 모절 인칭 (1인칭) 주석 이슈: 모절 인칭을 1인칭에서 3 인칭으로 수정할 것. 혼사를 꺼내놓고 이처럼 쉽게 물러 선다는 건 이미 만반의 준비를 해 놓았다는 뜻인지도 몰랐다. 모절 시제소 (없 음) 모절 인칭 (불명 확, 논의 필요) 주석 이슈: 모절 시제소를 없음에서 있음으로 변경할 것. (‘았’) 검토 의견: 공동연구원에 문의 또한 명확한 언어 정보 부착이 어려울 경우, 보조연구원 보다 상위의 공동연구원에 검토의견을 문의하도록 하였다. 이와 함께, 교차검증 과정 을 체계화하여 워크벤치에 주석 작업이 보완되지 않은 새로운 원시 데이 터를 업로드를 하면 이전 단계의 교차검증 작업자와는 다른 작업자를 배 정하였다. 본 사업은 함의 분석과 관련된 확신성 언어자원을 재가공하여 인공지 능 평가에 활용하는 구체적인 방법론을 모색하였다. 이를 토대로 대표적 인 한국어 인공지능 모델의 평가결과를 도출하였다. 먼저 확신성 언어자 원을 인공지능 평가 도구로 활용하기 위해서는 데이터의 불균형을 해소 할 필요가 있었다. 이는 인공지능이 통계적 정보에 굉장히 민감하기 때문 이다. 또한 인공지능은 판별의 대상이 되는 문장의 길이(토큰 수)에 매우 민감하므로, 언어적 정보가 아닌 텍스트 구조적 특징이 인공지능의 성능 에 문제가 될 수 있다. 이러한 점은 오류 분석에서 다루었다. 또한 확신성 언어자원을 이용한 인공지능 평가에는 회귀 과제가 아닌 분류 과제를 인공지능 평가 과제로 제안하였다. 이는 가장 일반적인 인공 지능 평가 방법 중 하나인 GLUE 벤치마크 또는 자연어추론(Natural language inference; NLI) 과제가 회귀과제가 아닌 분류과제로 인공지 능을 평가하고 있기 때문이다. 본 사업에서는 이를 준용하여 인공지능 평 가를 시행하였다. 마지막으로 언어자원을 재가공하는 공정에서 함의/중립/모순의 비율을 1:1:1에 가깝게 조정하려고 노력하였다. 이는 정답 비율이 편향되어 있으 면, 인공지능 평가에 착오적 결과를 초래할 수 있기 때문이다. 따라서 인 공지능에게 제시하는 선택지가 되는 함의/중립/모순의 정답 비율이 매우 중요하며, 비율이 균형적 분포를 이루고 있지 않으면 평가가 왜곡될 우려 가 있다. 그러나 국어 말뭉치에서 관찰되는 일반적인 언어 사용에서는 내 포 명제의 사실성 또는 확신성이 모순 관계인 사례의 비율이 4%에 불과 하였다. 본 사업에서는 이 비율을 제 2 장에서 상술하는 것처럼 보완하려 고 하였으나, 공정의 어려움으로 이를 크게 보완하지는 못하였다. 따라서 향후 과제에서는 다른 자료(국어 연구 논문 등)에서 내포 명제의 사실성 이 모순 관계인 담화 구조를 추가적으로 선별하여 300개 사례 이상이 포 함되도록 할 필요가 있다. 자연어추론 벤치마크는 인공지능의 언어이해 수준 또는 언어추론 능력 을 객관적으로 평가하기 위한 데이터셋을 말한다. 최근에는 인공지능의 취약점이 추론능력으로 지적되고 있어 평가 데이터셋의 중요성을 더하고 있다. 일반적으로, 논리적 관계가 존재하거나 존재하지 않는 서로 다른 두 문장을 주고, 그 관계를 인공지능에게 묻는 것이다. 문장 1 철수는 영희에게 비둘기를 보았냐고 물었다. 문장 2 영희는 비둘기를 보았다. 선택지 함의/중립/모순
