비적합 자료 정제. 우선 비문서, 비국문 자료는 말뭉치 대상에서 제외하였다. 비문서는 이미지, 스티커, 사 진, 동영상, 파일 링크, 웹 주소 등으로만 문서가 구성된 경우이며, 해시태그로만 구성된 게시물 역시 비문서로 규정하여 제외하였다. 또한, 전문이 외국어로 구성된 게시물 역시 말뭉치 대상에서 제외하였다. 다음으로, 중복 게시 자료와 펌글 역시 제외하였다. 누리소통망의 경우 작성자는 다르 지만 자료의 내용은 동일한 경우가 많아, 이 경우 동일 문서로 인식하여 1건으로 인정하 고 중복 문서 건은 삭제하였다. 펌글로만 구성된 게시 자료 역시 본인이 직접 작성하지 않은 문서이므로 비적합 자료로 처리하였다. 또한, 동일한 계정에서 4천 건을 초과하여 수집된 게시 자료 역시 자료의 다양성을 위해 삭제로 처리하였다. 비대상 기간 2019년 9월 이전 작성 자료 삭제 비문서 이미지, 스티커, 사진, 동영상, 파일 링크, 웹 주소, 해시태그로 만 구성된 게시 자료 삭제 비국문 자료 전문 외국어로 구성된 게시 자료 삭제 중복글, 펌글 중복 게시 자료 삭제, 펌글(기사, 타인이 작성한 게시물 등)로만 구성된 게시 자료 삭제 계정별 한도 초과 자료 계정별 4천 건 초과 게시 자료 삭제 비윤리적 언어 표현이 포함된 게시 자료는 별도로 분리하여, 납품 대상 원시 말뭉치에 포함되지 않도록 하였다. 직접적인 비윤리적 언어 표현으로 지정한 단어, 맥락 및 내용 기준에서 비윤리적 표현에 해당하는 단어 단위를 기준으로 게시 자료를 선별하였다. 욕설, 비어, 속어, 차별 표현, 혐오 표현이 포함된 게시물을 선별해 별도 말뭉치 세트로 구성하 였으며, 비윤리적 언어 표현은 국립국어원의 ‘말뭉치 언어의 사회적 인식 조사·분 류’(2021) 내용을 기준으로 하였다. 최근 비윤리적 언어 표현 역시 다양한 비속어로 나타나는 경우가 많고 자음으로만 표현 하는 등 유형이 다양하여 비윤리적 언어 표현을 정교하게 분리하는 과정에 어려움이 있었 다. 이에 따라 표현 유형과 연관된 다양한 용어로 확장하여 비윤리적 언어 표현을 선별함 으로써 원시 말뭉치에서 제외되도록 하였다. 혐오 표현 특정 개인 및 집단과 이들이 가진 속성에 대하여 적의, 혐오의 감 정을 명시적으로 드러내는 표현 성적 표현 특정 개인 및 집단을 성적으로 묘사하거나 불필요한 맥락에서 특정 신체 부위 및 성적 행위를 적나라하게 드러내는 표현 욕설 표현 격이 낮고 속된 말, 대상을 얕잡아 보고 경멸하는 태도를 드러내거 나 타인에게 불쾌감을 주는 표현 차별적 표현 암묵적으로 특정 개인 및 집단을 분리하고 불평등하게 대우하는 표 현 기타 위의 4가지 유형에 해당하지는 않지만, 사회적으로 용인되지 않는 표현
