Currently, There are many problems in large-scale assessment like National Assessment of Educational Achievement such as long scoring time, huge scoring cost, and problems of human raters.
In Korean short answers, human raters score Korean short an...
Currently, There are many problems in large-scale assessment like National Assessment of Educational Achievement such as long scoring time, huge scoring cost, and problems of human raters.
In Korean short answers, human raters score Korean short answers according to the answer guideline, but it is not fair to all student answers because they include subjective element.
In this , we analyze the pattern of Korean short text answers in order to transplant the method scoring of human rater into the computer. And I define the answer template description for automatic scoring of Korean free-text or constructed answers that based on the analysis of the answer pattern. In detail, answer template use concept that is minimum unit of noun or predicate.
Finally, I designed and developed automatic scoring system. This system consists of 4 steps including input student answers and defined answer template.
I evaluated and compared the results of automatic scoring using this system to the result of human rater's scoring.
As the result of an experiment, calculated Kappa Coefficient was 0.83, that means the automatic scoring is almost identical to human rater's scoring.
현재 국가수준 학업성취도 평가의 경우 2011년에 60만 고등학생 2학년 학생들의 국어, 수학, 영어 과목을 평가함에 있어 약 한 달여 동안 채점자 4천명과 120명의 관리자가 동원되었으며, 총 15...
현재 국가수준 학업성취도 평가의 경우 2011년에 60만 고등학생 2학년 학생들의 국어, 수학, 영어 과목을 평가함에 있어 약 한 달여 동안 채점자 4천명과 120명의 관리자가 동원되었으며, 총 15억 가량의 비용을 소비하여 학생들의 답안을 채점하였다. 서답형 문항 채점에 있어 훈련된 채점자들은 채점기준표를 보고 제시된 요구사항에 따라 채점을 수행하지만 사람인 채점자들은 각자 주관적인 요소가 포함될 수 있기 때문에 동일한 답안들에 대해서 공평하지 못한 채점을 야기할 수 있다.
본 연구는 이러한 한국어 서답형(단어‧구 수준) 자동채점의 문제점을 해결하고자 실제 채점자가 채점기준표를 보고 채점하는 방법을 컴퓨터로 이식시키기 위하여 한국어 서답형 답안의 유형을 분석하였으며, 답안 유형 분석 내용을 기준으로 채점기준표를 컴퓨터가 이해할 수 있도록 정답 템플릿을 정의하였다. 정답 템플릿 안에는 개념이라는 것을 정의하여 학생 답안을 채점할 수 있도록 하였는데, 개념은 명사 혹은 서술어 형태의 최소한의 단위로 예를 들면 ‘발열’, ‘열이 나다’, ‘땀을 흘리다’ 와 같이 한두 단어로 구성되는 단위 개념을 구조체 형태로 기술한다.
최종적으로 정의된 정답 템플릿과 학생 답안을 입력으로 총 4단계의 과정을 통해 학생 답안에 점수를 부여하는 자동채점 시스템을 설계 및 개발하였다. 구현된 시스템을 사용하여 자동채점을 수행한 결과와 실제 채점자가 점수를 부여한 결과를 비교하여 자동채점 결과의 성능을 평가하였다. 실험 결과, 총 11개 문항의 평균 카파 계수는 0.83으로 실제 채점자와 비교에 있어 본 자동채점 시스템은 거의 완벽하게 일치하는 성능을 나타내었다.
，韩语论文范文，韩语毕业论文 |
