본 연구는 국내 대학이나 대학원에 진학하려는 한국어 학습자들을 대상으로 하는 말하기 시험을 설계하여 학문 목적 한국어 학습자들의 말하기 숙달도를 측정할 수 있는 평가 도구 개발을 ...
본 연구는 국내 대학이나 대학원에 진학하려는 한국어 학습자들을 대상으로 하는 말하기 시험을 설계하여 학문 목적 한국어 학습자들의 말하기 숙달도를 측정할 수 있는 평가 도구 개발을 목적으로 하였다.
한국어 학습자들의 학습 목적이 다양화됨에 따라 한국어능력시험의 다양화도 함께 이루어져야 한다. 그러나 학문 목적 한국어 학습자의 증가세와 대학 수업이 토론식, 발표식으로 변화되고 있는 현실과는 달리 학문 목적 한국어 학습자들을 위한 한국어 능력 평가 도구는 전무한 상태이며 현재 학문 목적 한국어 학습자들이 대학 입학 자격을 갖추기 위하여 치르는 국내외 유일의 공인 한국어능력시험(TOPIK)에도 아직까지 말하기 영역의 평가를 시행하지 못하고 있다. 따라서 본고에서는 학문 목적 학습자들의 한국어 능력 평가의 일환으로 학문 목적 한국어 학습자들을 대상으로 하는 말하기 평가 도구인 TAP-S(Test for Academic Purpose–Speaking)를 개발하고 평가 도구의 유용성과 평가의 타당도와 신뢰도를 검증하였다.
TAP-S는 ACTFL-OPI의 인터뷰 체계를 컴퓨터로 구현한 것이 특징이다. TAP-S는 ACTFL-OPI의 체계는 받아들이되 수험자에게는 동일한 평가 환경을 제공할 수 있는 CBT 방식을 채택하였다. 또한 CBT의 단점인 일방향성을 보완하고자 김상경(2010)에서 제안한 ‘질문 반복 요청하기’ 요소를 추가하여 질문을 반복하여 들을 수 있도록 설계하였다. 이는 평가 상황에서 빈번하게 발생할 수 있는 상호작용적 기본 요소를 제공하여 수험자가 질문을 제대로 듣지 못해 말할 기회를 놓치는 일이 없도록 하기 위함이다. 본 논문에서는 이러한 설계를 바탕으로 고안된 TAP-S를 사용하여 잠재적 수험자 97명을 대상으로 모의시험을 시행하고 평가 결과를 수집하였다. 수집된 결과는 TAP-S의 평가도구로서의 타당성 확보를 위해 두 가지 통계프로그램을 사용하여 분석하였다.
TAP-S의 타당도와 신뢰도 검증은 FACETS와 GENOVA로 진행하였다. FACETS는 문항반응이론을 토대로 하는 다국면라쉬모형을 프로그램화한 분석 도구로서 이를 통해 평가에서 가장 중요하게 살펴보고자 하는 각 국면별 분석이 가능하다. GENOVA는 일반화가능도 이론을 바탕으로 개발된 프로그램으로서 이를 통해, 새롭게 개발된 평가 도구의 일반화 정도와 최적화 요건을 탐색할 수 있다. 분석 결과, TAP-S의 평가 과제는 학문 목적 한국어 학습자들의 말하기 능력을 측정하는 데 적합하였으며 채점자 내 신뢰도와 채점자 간 신뢰도가 매우 양호한 것으로 나타났다. 한편 일반화가능도를 이용한 분석에서는 채점자 수를 두 명으로 할 경우에는 과제 수를 세 개에서 하나 줄이더라도 일반화가능도 계수가 모두 .80 이상으로 나타나 안정적이었고 채점자 수를 세 명으로 늘릴 경우에는 과제의 수를 세 개에서 두 개로 줄이더라도 일반화가능도 계수가 .90 이상을 유지하여 평가의 실용도 측면에서 매우 긍정적인 결과를 도출하였다. 또한 본 연구에서 고안하여 적용했던 세 개의 과제에 두 명의 채점자가 배정된 경우에는 일반화가능도 계수가 .90 이상으로 매우 높게 나타났다. 이것은 TAP-S가 학문 목적 한국어 학습자를 위한 말하기 평가 도구로서의 타당성을 입증하는 자료라고 할 수 있다.
본 연구는, 학문 목적 한국어 학습자들의 실제 말하기 능력이 학문을 탐구하고 동료들과 함께 연구 활동을 하는 데 큰 영향을 주고 있다는 점에 주목하여, 학문 목적 한국어 학습자들의 말하기 숙달도를 측정할 수 있는 말하기 평가 도구 개발을 시도하였다는 데 의의가 있다. 그러나 본 연구의 범위가 학문 목적 한국어 학습자들의 말하기 능력 측정에 한정되어 학문 목적 한국어 학습자들의 한국어에 대한 전반적인 능력을 측정하기에는 다소 부족함이 있다는 점이 본 연구의 한계점이라고 할 수 있다. 따라서 이는 향후 보완되고 확대, 발전되어야 할 것이다.
This study aims to develop a speaking assessment for Korean learners for academic-purpose(hereafter shorten as KLAP) who want to get admission from university or college in Korea.
The Korean proficiency test should be diversified as much as the purp...
This study aims to develop a speaking assessment for Korean learners for academic-purpose(hereafter shorten as KLAP) who want to get admission from university or college in Korea.
The Korean proficiency test should be diversified as much as the purposes of Korean learners. However, there is no academic-specific Korean assessment tool for them while the number of KLAP are increasing. TOPIK(Test of Proficiency in Korean), which is an only official test being conducted now in Korea, is designed for general purpose, not for academic purpose. Furthermore, it does not include a speaking test yet. In TOPIK, assessment is being carried on only in three language skills, reading, listening and writing, except for speaking.
Meanwhile, the importance of speaking ability for KLAP is highly emphasized than ever because speaking activities such as discussions and presentations requiring students’ active oral engagement are more frequently occurred in college classes. Therefore, this study has developed a new speaking proficiency assessment tool called TAP-S(Test for Academic Purpose-Speaking) to assess speaking ability for KLAP, and in order to examine its practicability, this study verified validity and reliability of TAP-S.
The TAP-S is a computer-based test which adapted an interview system of ACTFL-OPI. In order to compensate a one-way communication, the weakness of the CBT, it has been designed for examinees to listen to questions repeatedly by adding an element of “Requesting to Repeat Questions” suggested by Sang-Kyung Kim (2010). This is to avoid losing chances of speaking by providing interactive component in the test when examinees do not understand questions correctly. These situations occur frequently in testing. We have used the TAP-S on the basis on this design for 97 potential examinees and all assessment resultshave been collected. The collected results have been analyzed usingtwo statistical analysis programs in order to verify its validity as anassessment tool.
Verifying validity and reliability of the TAP-S has been processed by FACETS and GENOVA. The FACSTS is an analysis tool which is programed froma many-facets Rasch model based on an item response theory. It can be used to analyze each facets which need to be investigated most importantly in a performance assessment. GENOVA is a program developed based on a generalizability theory and is able to explore generalizability and optimization condition of new assessment tools.
The result of these analyses indicates that the TAP-S evaluation tasks could be proper to measure the Korean learner’s speaking skills and also provide reliability between raters as well as within raters. Meanwhile, in generalizability analysis, although the number of raters is two and the number of tasks is decreased to two from three, al lgeneralizability coefficients are more than .80 and stable. And when raters are three and the number of tasks is reduced to two, the results are higher than .90 so that it still brings positive results in practicability of the assessment. Furthermore, even though we assigned two raters for three tasks, the generalizability coefficients are more than .90 and very high. This is evidence that proves the validity of the TAP-S as an assessment tool to measure speaking skills of the academic-purpose Korean students.
Focusing on the fact that the speaking skills of the academic-purpose Korean learners influence academic research activities with their colleagues, this is a meaningful attempt of developing a speaking proficiency assessment tool for academic-purpose Korean learners. However, this study shows a limitation that it is not able to measure general Korean proficiency for academic-purpose Korean learners because it concentrates on assessing their speaking skill only. Therefore, it is needed to be followed by many studies in the future to expand and improve better assessment tools for the academic-purpose Korean proficiency.
，韩语论文，韩语论文网站 |
