평가 결과. 본 연구의 인공지능 평가 방법과 절차, 그리고 결과는 다음과 같았다. 학습 데이터가 인공지능 언어모델에 얼마나 잘 활용될 수 있는지 판단하 기 위해 한국어를 지원하는 대표적인 BERT 모델인 M-BERT, KoBERT, KR-BERT를 이용하였다. 전체 데이터 가운데 70%(1,256쌍)는 훈련 데이 터로, 30%(313쌍)는 검증 데이터로 활용하였다. 정답 라벨과 예측 라벨 간에 학습에 따른 선형적인 상관관계의 강도를 파악하기 위해 상관계수 를 측정하였다. 예측 정확도를 측정하여 모델의 실질적인 활용도를 측정 하였다. 4 3.18 - 0.17 0.10 0.48 5 3.17 - 0.17 0.10 0.48 6 3.16 - 0.17 0.10 0.48 2 1.54 1.07E-05 0.09 0.04 0.46 3 1.39 1.60E-05 0.24 0.19 0.49 4 0.99 1.98E-05 0.69 0.66 0.66 5 0.46 1.93E-05 0.88 0.88 0.86 6 0.21 1.87E-05 0.96 0.96 0.95 모델마다 학습의 효율성에 큰 차이를 보였다. M-BERT, KoBERT와 달 리 소규모 언어모델을 지향한 KR-BERT에서 학습 효율을 보여주었다. 훈 련 성과를 보았을 때 지속적으로 성능 향상이 나타나는 것으로 보아 올 바르게 학습이 이루어지는 것으로 관찰할 수 있었다. 검증 성과를 보아 4 에포크에서 최적의 성능을 나타냈으며 이후로 훈련 데이터에 과적합되어 나머지 새로운 테스트 데이터에 대한 일반화에 실패할 수 있었다. 최적의 결과를 보인 에포크 4에서는 피어슨 점수가 0.5에 근접하여 어 느 정도 상관관계를 보인 것이라고 볼 수 있으나, 이는 해석의 여지에 따 라 다르며, 일반적으로 0.6 이상을 유의미한 상관관계로 볼 수 있다는 관 점에 따라 인공지능 모델의 확신성 이해 능력이 충분하지 않은 것으로 볼 수 있었다. 다만, 정확도 또한 0에서 6까지 라벨을 예측하는 7분지 예 측 태스크라는 점을 감안할 때, 매우 어려운 분류과제의 성격에 비하여 일정 부분 유의미한 성과를 보인 것으로 판단되었다.
평가 결과. GNI 이사회는 평가 보고서를 검토하고, 회사 및 평가자와의 토론 등을 통해 심사숙고 하 여 평가 대상인 회사가 GNI 원칙을 성실하게 이행하였는지 그 여부를 투표를 통해 결 한다. GNI 이사회는 지난 2013년 11월 21일, 워싱턴 DC에서 구글, 마이크로소프트, 그리고 야후 등 3개사가 GNI 원칙을 엄수하는 것으 로 결 을 내렸다. 더불어, 3개사는 GNI 실행을 위한 절차와 책을 채택하고 공동의 원칙을 지키기 위해 노력한다는 사실을 확인하였다. GNI 이사회는 구글이 GNI 원칙을 성실히 준 수하고 있다고 결 했다. 구글의 경우, CEO와 구글 설립자를 포함한 상급 책임자까지 표현의 자유와 프라이버시 에 대해 중요하게 인지하고 있다는 사실을 확인했다. 구글은 GNI 원칙을 이행하기 위해 상급 책임 자의 수준에서 감독하고, 필요한 경우 회사 이사회에 그 내용을 보고한다. 사례를 살펴본 결과, 구글은 표현의 자유와 프라이버시에 대 한 잠재적인 위협을 평가하기 위해 인권영향 평가(Human Rights Impact Assessment, HRIAs) 를 실시한다는 점을 확인했다. 더불어, 인권 영향평가를 일관된 방법으로 수행하기 위한 도구를 개발하고, 평가절차에 대한 근거를 마 련하기 위한 방법을 개발한다. 구글 법무팀(legal removals team)은 콘텐츠 삭 제요청에 대한 사항을 면밀히 관찰하고 동향 을 분석하는 보고서를 연 2회 발간하기 위한 준비를 하고 있다. 구글은 부 요청에 따라 어떤 콘텐츠를 삭 제할 경우, 회사가 보유하고 있는 게시자 보를 참고하여 이메일을 통해 해당 게시물이 삭제되었다는 사실을 이용자에게 통지한다. 구글은 2010년도에 투명성 보고서를 발간하 기 시작했고, 그 다음해에는 공개된 데이터의 범위와 맥락을 확장한 보고서를 발간하고 있다. GNI 이사회는 마이크로소프트가 GNI 원칙을 성실히 이행하고 있다고 판단했다. 여러 사례를 살펴본 결과, 마이크로소프트가 표현의 자유 및 프라이버시와 연관된 부 요청에 대해 면밀히 검토하는 절차를 갖추고 있음을 알 수 있었다. 마이크로소프트는 회사 이사회와 책임자가 GNI 원칙을 완벽하게 숙지하도록 탄탄한 시 스템을 갖추고 있으며, 회사 부사장과 법률 자문위원의 감독 하에 GNI 원칙이 보다 잘 이행될 수 있도록 매일 관리 감독한다. 마이크로소프트는 특 고위험 시장영역에서 사용되는 플랫폼에 특 기능을 도입할지에 관해 의사결 을 하기 전 인권영향평가를 실 시한다. 마이크로소프트는 2013년도에 처음으로 두 개의 국제 법 집행 보고서를 발간하였고, 이는 보 요청에 대한 이용자와의 의사소통 을 도모하는 중요한 첫 걸음으로 볼 수 있다. GNI 이사회는 마이크로소프트가 GNI 원칙을 성실히 수행하고 있다고 결 했다. 야후는 표현의 자유와 프라이버시에 대한 결 을 하는데 있어 가장 중요한 역할을 하는 두 개의 전담부서와 글로벌부서와 함께 비즈 니스 인권 프로그램(Business&Human Rights Program, BHRP)을 마련했다. 야후가 제시한 여러 사례들은 GNI 원칙이 확 립되어 실제 적용되는 많은 예시들을 보여주 고 있으며, 부 요청에 대한 투명성과 관련 하여 중요한 진전을 보이고 있다는 점을 알 수 있다. 게다가, 야후는 부가 이용자 보 를 요청할 경우, 이에 대응하기 위하여 야후 관련 부서에서 사용하는 글로벌 내부 책과 절차에 GNI 원칙을 도입하여 운영하고 있다. 야후는 2013년에 첫 번째 투명성 보고서를 발간하였고, 또한 사용자 보에 대한 부 요청을 처리하는 과에 대해 상세히 기술했다.