영어 쓰기 교육 및 평가의 중요성이 더욱 강조됨에 따라, 영어 쓰기 평가의 공정성과 신뢰성을 높이기 위해 많은 노력이 필요한 시점이다. 쓰기 평가와 같은 직접 평가(direct tests) 형태는 평...
영어 쓰기 교육 및 평가의 중요성이 더욱 강조됨에 따라, 영어 쓰기 평가의 공정성과 신뢰성을 높이기 위해 많은 노력이 필요한 시점이다. 쓰기 평가와 같은 직접 평가(direct tests) 형태는 평가자의 언어·문화적 배경, 전공 배경지식, 교수 및 평가 경험 등 다양한 변인이 평가 결과에 영향을 미칠 수 있다. 따라서 영어 쓰기 평가에 있어 평가자간 개인차 및 평가자의 개별 평가 경향은 평가에 앞서 반드시 고려되어야 할 부분이다. 이에 본 사례연구는 EFL 환경에서 활동하고 있는 영어 교사 중 4명을 평가자로서 설정하여, 각기 다른 배경을 가진 평가자들의 영어 쓰기 평가에서의 개별 평가 경향을 진단하고자 하였다.
연구를 위해, 성인 학습자 25명을 대상으로 영어 쓰기 평가를 실시하여, 동일한 영작문 표본과 평가 공통 평가 기준표를 가지고 평가자 4명이 개별적으로 채점에 임하였다. 평가 결과 분석을 위해서, 평가 점수 검증, 평가자 대상 사후 설문 조사 및 인터뷰를 실시하였으며, 이에 따른 연구 결과는 다음과 같다.
1. 본 연구에 참여한 평가자 4명의 평가자간 신뢰도 편차가 큰 것으로 보아, 공통 평가 기준표가 제시됨에도 불구하고, 평가 기준 적용 과정에서 각 평가자의 주관성이 개입되었으며, 이는 평가자 훈련의 부재 때문임을 확인할 수 있었다.
2. 연구 참여 평가자 중, 8년의 교수 경험 및 일정 수준의 영어 실력을 가진 한국인 평가자가 평가 점수에 있어서 가장 안정적인 평가 경향을 보였다. 한국어와 영어를 이중 언어로 구사하는 평가자와, 10년 이상의 쓰기 지도 경험을 가진 원어민 평가자는 엄격한 평가 경향을 나타냈다. 평가자 4명 모두 내용지식, 과업의 완성도와 같은 글의 내용적 측면을 우선 평가하는 경향을 보였다. 반면에 문법, 철자, 대소문자, 구두점 등과 같은 언어의 기술적 요소에 대해서는 관대하게 평가하였다는 공통점을 확인할 수 있었다.
3. 연구에 참여한 평가자 4명 중, 한국인 평가자는 내용적 측면 다음으로 언어의 정확성 영역에 중점을 두고, 문장이나 문단의 연결성, 문단 구성 등과 같은 글의 조직성에는 비교적 관대한 경향을 보였다. 본 연구에 참여한 원어민 평가자는 언어적 측면이나 정확성에 있어서는 한국인 평가자보다 너그러운 경향을 보였으나, 원어민 평가자는 내용적 측면 못지않게 글의 조직성과 형태에 주안점을 두는 것으로 나타났다. 한국어와 영어를 이중 언어로 사용하는 평가자의 경우, 연구에 참여한 한국인 평가자와 원어민 평가자의 평가 경향을 복합적으로 가지는 것으로 확인되었다.
4. 평가자 의견 분석과 인터뷰를 통해서, 목표 언어에 대한 자신감의 부족, 평가에 대한 낮은 자신감, 평가 영역 및 기준에 대한 주관적인 해석 등이 평가자의 평가 경향에 막대한 영향을 미치는 것으로 나타났다.
이와 같이 평가자들이 공통적인 평가 기준에 준거하여 평가에 임할지라도 평가 과정과 결과는 평가자의 주관성이나 배경 등의 영향을 받게 된다. 따라서 평가의 신뢰도를 유지하고, 의미 있는 평가가 되기 위해서는 체계적인 평가자 훈련의 과정이 반드시 필요함을 시사한다. 기존의 단편적인 평가자 훈련을 통해서는 다양한 평가자 변인을 통제하기에 어려움이 있으므로, 평가 과정에서 상시적인 평가자 협의 체제를 갖추는 등 평가자 훈련의 효과가 최대한 발휘될 수 있도록 효과적인 방법을 모색할 필요성이 있다.
This case study was conducted in order to investigate English teachers’ rater reliability in English writing assessment. The English raters who participated in this study all have experience teaching English as a foreign language in Korea. However, ...
This case study was conducted in order to investigate English teachers’ rater reliability in English writing assessment. The English raters who participated in this study all have experience teaching English as a foreign language in Korea. However, the four raters differ in their experience in evaluation of English writing, native language and educational background. The purpose of this study was to investigate if a relationship between each rater’s pattern of evaluation and their background exists. Rater1 is a Korean English teacher at a middle school and has more than eight years of experience in teaching English. Rater2 is Korean-American who is bilingual (Korean and English), and has more than five years of experience in teaching English writing. Rater3 is a native teacher of English and has more than twelve years of experience in teaching English writing. Rater4 is a native speaker of English and has one year of experience in teaching English. The process included each rater grading twenty-five test takers’ writing compositions. The test-takers’ are students who are majoring in English education at a university. The rating patterns’ were analyzed through the use of t-tests, post-questionnaires and interviews with each rater. The major findings of the study were as follows:
1. The analysis of the rating patterns showed that the raters’ have problems with consistency as they applied different rating criteria to the compositions, although the same evaluation rubric was provided. This becomes obvious when analyzing the domain of comprehension, which is interpreted and thus, not clear to the raters.
2. The rater reliability of experienced raters was higher than the inexperienced rater. The Korean English teacher(Rater1) showed the highest inter-rater reliability(rater severity) among the raters.
3. The raters all emphasized the importance of the aspect of content first and tended to be more lenient with aspects of language, such as grammar. The native English-speaking raters of this study showed more of a tendency to focus and comment on aspects of organization more than the non-native-English-speaking rater of this study. It should be noted that the non-native-English-speaking rater saw the accuracy of language skills, like grammar and mechanics in English writing, as a necessity.
4. The interviews of raters made it clear that the raters of this study were influenced by a lack of confidence in English proficiency and writing assessment.
The above-mentioned findings imply that English teachers should undergo rater training. In order to ensure a high reliability in scoring, rater training should be offered more often and more effectively. It is important that, not only pre-rater training, but also in-process rater training be employed constantly in English writing assessment. Further, customized rater training, which would be designed to build teachers’ confidence in assessing writing and proficiency in English, should be provided.
，韩语论文范文，韩语论文题目 |
