본 연구는 제2외국어로서 한국어를 배우는 학습자의 글을 평가할 때, 한국어교육 평가자의 쓰기 채점 점수가 평가자의 특성에 따라 어떠한 영향을 받는지를 교차분류 다층모형으로 밝히는 것이 목적이다. 이 목적을 위한 평가자 특성은 평가자의 채점 엄정성, 원어민과 비원어민 여부, 그리고 한국어 교수 경력이다. 평가자 24명은 한국어교육을 전공하고, 한국어교육 교수 경험이 있는 원어민인 한국인 한국어교육 교수자 12명과 비원어민인 외국인 한국어교육 교수자 12명으로 구성하였다. 평가자는 한국어 교수 경력에 따라 5년 미만의 교수자 12명과 5년 이상의 교수자 12명으로 구성하였다. 구성된 평가자가 다섯 명의 중급 학습자가 쓴 작문 다섯 편을 종합적 채점과 분석적 채점으로 평가한 자료를 바탕으로, 교차분류 다층모형을 적용하여 원어민인 한국인 평가자와 비원어민인 외국인 평가자 간 채점 점수 차이가 있는지를 분석해 보고, 평가 방법에 따른 채점의 평균 차이가 있는지를 알아보며, 원어민인 한국인 평가자와 비원어민인 외국인 평가자의 국적과 한국어 교수 경력이 평가에 미치는 영향을 분석하였다. 본 연구에서 분석한 연구 결과를 정리하면 다음과 같다. 첫째, 평가자의 특성을 구체적으로 살펴보기 위하여 교차분류 다층모형을 적용하였다. 교차분류 다층모형의 기초모형인 무조건 모형에서 나온 통계값으로 집단 내 상관(ICC)을 구하여 평가자의 채점 엄정성이 34.1%로 매우 크다는 것을 알 수 있었다. 둘째, 종합적 채점과 분석적 채점에 의한 채점 평균은 종합적 채점이 71.716 이고, 분석적 채점은 60.924 이다. 두 평가 방법의 전체적인 평균 차이는 10.792 로서, 종합적 채점 점수가 10.792 만큼 분석적 채점 점수보다 더 높게 평가되었다. 셋째, 평가자의 국적이 평가에 미치는 영향을 밝히는 연구에서는 종합적 채점에서 원어민인 한국인 평가자는 71.085 이고, 비원어민인 외국인 평가자는 72.348 이다. 분석적 채점에서 원어민인 한국인 평가자는 60.925 이고, 비원어민인 외국인 평가자는 62.188 이다. 두 평가 집단에서 종합적 채점과 분석적 채점 방법의 평균 차이는 1.263 이다. 이것은 거의 차이가 없는 것으로, 평가자의 국적은 채점에 큰 영향을 미치지 않는다는 것을 알 수 있다. 넷째, 평가자의 한국어 교수 경력과 평가와의 영향을 밝히는 분석 결과, 종합적 채점에서 한국어 교수 경력이 5년 미만의 평가자는 71.684 이고, 5년 이상의 평가자는 71.749 이다. 분석적 채점에서 5년 미만의 평가자는 60.932 이고, 5년 이상인 평가자는 60.997 이다. 두 평가 집단의 두 채점 방법에 따른 평가 차이는 0.065 으로 거의 차이가 없다. 즉, 한국어 교수 경력은 평가에 전혀 영향을 주지 않는다. 전체적으로 종합해 보면, 평가자의 채점 엄정성은 집단 내 상관(ICC)이 34.1%로 평가자의 영향은 매우 큰 것으로 나타났으며, 종합적 채점은 분석적 채점보다 약 평균 ‘/10’점 정도 더 높게 평가되었다. 평가자의 국적과 한국어 교수 경력에 관한 연구에서 약 평균 ‘±1’점 차이로써 평가에 거의 영향을 주지 않는다. 원어민인 한국인 평가자의 종합적 채점과 분석적 채점의 차이는 11.944 이고, 비원어민인 외국인 평가자의 두 채점의 차이는 9.639 이다. 이는 원어민인 한국인 평가자가 비원어민인 외국인 평가자보다 분석적 채점을 더 엄격하게 평가했다는 것을 의미한다. 본 연구의 의의는 첫째, 한국어 쓰기 평가를 교차분류 다층모형으로 시도하여 전통적인 통계 방법의 문제점들을 해결하는데 더 다가설 수 있었다. 둘째, 기존 한국어 쓰기 평가 연구에서 다루지 못한 평가자의 채점 엄정성 차이의 영향을 집단 내 상관(ICC)로 밝힐 수 있었다. 셋째, 한국어 쓰기 평가에서 연구되지 않았던 비원어민 평가자에 대한 효과를 검증해서 두 평가 집단 간 차이가 없음을 알 수 있었으며, 넷째, 평가자의 교수 경력이 채점에 미치는 영향이 거의 없다는 것 또한 밝힐 수 있었다.
참고문헌 (Reference)
활용도 분석
View
Usage
Share
|
