비적합 자료 정제 관련 조항 예시

비적합 자료 정제. 우선 비문서, 비국문 자료는 말뭉치 대상에서 제외하였다. 비문서는 이미지, 스티커, 사 진, 동영상, 파일 링크, 웹 주소 등으로만 문서가 구성된 경우이며, 해시태그로만 구성된 게시물 역시 비문서로 규정하여 제외하였다. 또한, 전문이 외국어로 구성된 게시물 역시 말뭉치 대상에서 제외하였다. 다음으로, 중복 게시 자료와 펌글 역시 제외하였다. 누리소통망의 경우 작성자는 다르 지만 자료의 내용은 동일한 경우가 많아, 이 경우 동일 문서로 인식하여 1건으로 인정하 고 중복 문서 건은 삭제하였다. 펌글로만 구성된 게시 자료 역시 본인이 직접 작성하지 않은 문서이므로 비적합 자료로 처리하였다. 또한, 동일한 계정에서 4천 건을 초과하여 수집된 게시 자료 역시 자료의 다양성을 위해 삭제로 처리하였다. 비대상 기간 2019년 9월 이전 작성 자료 삭제 비문서 이미지, 스티커, 사진, 동영상, 파일 링크, 웹 주소, 해시태그로 만 구성된 게시 자료 삭제 비국문 자료 전문 외국어로 구성된 게시 자료 삭제 중복글, 펌글 중복 게시 자료 삭제, 펌글(기사, 타인이 작성한 게시물 등)로만 구성된 게시 자료 삭제 계정별 한도 초과 자료 계정별 4천 건 초과 게시 자료 삭제