총체적 평가. 요약문에 대한 정성적 검증 방안을 수립하기 위해 구축된 요약 데이터의 일부를 무선표집하여 요약문 전반에서 확인되는 특성들을 확인하였다. 분석적 평가에 필요한 항목은 1)주제의 명확성, 2)주제문 주석의 정확성, 3)요약문 내용의 완결성, 4)요약문의 간결성, 5)접속어·지시어의 활용이 추출되었다. 이를 정성 평가의 주요 점검 기준으로 삼아 5점 척도 평가를 진행하였다. 도출된 요약문 품질 점검 기준안은 다음과 같다. 점검 목록 세부 점검 기준 체크리스트 5점 척도 평가 생성된 요약문이 주제문 주 석 결과와 질적으로 차이가 있는가? 🗹 선택된 주제문을 그대로 연결하는 방식으로 요약문을 생성 하지는 않았는가? 🗹 생성된 요약문이 원 기사의 핵심 내용을 충분히 포괄할 수 있는가? 🗹 전체 기사 중 생성된 요약문 각각이 내용적으로 대표하지 못하고 있는 단락은 없는가? 그렇다 ⑤ ④ ③ 그렇지 ② 않다 ① 요약문에 직접 인용을 하지 는 않았는가? 🗹 생성된 요약문에 직접 인용이 그대로 포함되지는 않았는가? 🗹 기사 내 (여러) 직접 인용문의 내용을 충분히 포괄할 수 있 도록 재기술되었는가? 🗹 직접 인용의 내용을 옮기는 과정에서 단순히 인용 부호만을 누락하는 방식으로 요약하지는 않았는가? 그렇다 ⑤ ④ ③ 그렇지 ② 않다 ① 요약문에 적절한 연결어를 🗹 문장과 문장을 연결하는 연결어의 사용이 적절한가? 그렇다 그렇지 않다
