평가 결과. 본 연구의 인공지능 평가 방법과 절차, 그리고 결과는 다음과 같았다. 학습 데이터가 인공지능 언어모델에 얼마나 잘 활용될 수 있는지 판단하 기 위해 한국어를 지원하는 대표적인 BERT 모델인 M-BERT, KoBERT, KR-BERT를 이용하였다. 전체 데이터 가운데 70%(1,256쌍)는 훈련 데이 터로, 30%(313쌍)는 검증 데이터로 활용하였다. 정답 라벨과 예측 라벨 간에 학습에 따른 선형적인 상관관계의 강도를 파악하기 위해 상관계수 를 측정하였다. 예측 정확도를 측정하여 모델의 실질적인 활용도를 측정 하였다. 4 3.18 - 0.17 0.10 0.48 5 3.17 - 0.17 0.10 0.48 6 3.16 - 0.17 0.10 0.48 2 1.54 1.07E-05 0.09 0.04 0.46 3 1.39 1.60E-05 0.24 0.19 0.49 4 0.99 1.98E-05 0.69 0.66 0.66 5 0.46 1.93E-05 0.88 0.88 0.86 6 0.21 1.87E-05 0.96 0.96 0.95 모델마다 학습의 효율성에 큰 차이를 보였다. M-BERT, KoBERT와 달 리 소규모 언어모델을 지향한 KR-BERT에서 학습 효율을 보여주었다. 훈 련 성과를 보았을 때 지속적으로 성능 향상이 나타나는 것으로 보아 올 바르게 학습이 이루어지는 것으로 관찰할 수 있었다. 검증 성과를 보아 4 에포크에서 최적의 성능을 나타냈으며 이후로 훈련 데이터에 과적합되어 나머지 새로운 테스트 데이터에 대한 일반화에 실패할 수 있었다. 최적의 결과를 보인 에포크 4에서는 피어슨 점수가 0.5에 근접하여 어 느 정도 상관관계를 보인 것이라고 볼 수 있으나, 이는 해석의 여지에 따 라 다르며, 일반적으로 0.6 이상을 유의미한 상관관계로 볼 수 있다는 관 점에 따라 인공지능 모델의 확신성 이해 능력이 충분하지 않은 것으로 볼 수 있었다. 다만, 정확도 또한 0에서 6까지 라벨을 예측하는 7분지 예 측 태스크라는 점을 감안할 때, 매우 어려운 분류과제의 성격에 비하여 일정 부분 유의미한 성과를 보인 것으로 판단되었다.
평가 결과. GNI 이사회는 평가 보고서를 검토하고, 회사 및 평가자와의 토론 등을 통해 심사숙고 하 여 평가 대상인 회사가 GNI 원칙을 성실하게 이행하였는지 그 여부를 투표를 통해 결 한다. GNI 이사회는 지난 2013년 11월 21일, 워싱턴 DC에서 구글, 마이크로소프트, 그리고 야후 등 3개사가 GNI 원칙을 엄수하는 것으 로 결 을 내렸다. 더불어, 3개사는 GNI 실행을 위한 절차와 책을 채택하고 공동의 원칙을 지키기 위해 노력한다는 사실을 확인하였다.
1) 구글(Google)
2) 마이크로소프트(Microsoft)
3) 야후(Yahoo!)