이 연구는 외국어로서의 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 측정학적 특성을 비교하여 컴퓨터 기반 평가 방식이 한국어 말하기 능력을 측정하는 ... 이 연구는 외국어로서의 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 측정학적 특성을 비교하여 컴퓨터 기반 평가 방식이 한국어 말하기 능력을 측정하는 데 적절한 시행 방식인지를 검증하는 것을 목적으로 하고 있다. 이를 위해 한국어 말하기 면대면 인터뷰 평가와 컴퓨터 기반 평가의 결과 자료를 분석하여 검사 수준과 문항 수준의 측정학적 특성, 피험자 수행과 채점자 수행 측면에서 두 검사 시행 방식을 비교하였다. 연구 결과, 검사 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식으로부터 산출된 검사 점수의 상관과 교정 상관이 상당 수준의 정적 상관을 보였다. 또한 다중특성-다중방법 행렬의 수렴 타당도 계수를 통해 컴퓨터 기반 평가 방식의 수렴 타당도 근거를 확인할 수 있었다. 둘째, 구조방정식 모형 다집단 분석을 통해 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 사이에 요인 구조의 형태 동일성, 측정 동일성, 절편 동일성, 요인 분산 동일성이 확보됨을 확인하였다. 셋째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 Cronbach α와 일반화가능도계수를 산출하여 비교한 결과 두 검사 시행 방식의 검사 신뢰도는 비슷한 수준을 유지하였고 모두 .8 이상으로 나타났다. 문항 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식에서 산출된 각 문항별 난이도와 변별도는 매우 유사한 양상을 보였다. 또한 두 검사 시행 방식의 문항 난이도 평균은 동일하였으며, 문항 변별도의 평균의 차는 0.01로 매우 근소한 차이를 보였다. 둘째, 다국면라쉬모형에 근거한 문항 난이도의 평균에는 두 검사 시행 방식 사이에 통계적으로 유의미한 차이가 없었다. 그러나 시행 방식 간 문항별 차이 검증에서 4번과 8번 문항의 난이도에 통계적으로 유의한 차이가 발견되었다. 검사 시행 방식이 문항의 난이도에 영향을 준 것인지를 확인하기 위해 검사 시행 방식과 문항의 상호작용이 전체 검사 점수에 미치는 영향력을 살펴보았다. 그 결과 검사 시행 방식과 문항 사이의 상호작용 효과가 전체 검사 점수 분산에서는 차지하는 비중이 0%로 나타나 검사 시행 방식과 문항 사이에 상호작용 효과가 존재하지 않는 것으로 나타났다. 이를 통해 4번과 8번 문항의 난이도 차이는 검사 시행 방식에서 기인한 결과가 아니라는 결론에 도달할 수 있었다. 피험자 수행 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식에서 산출된 검사 총점의 평균은 두 검사 시행 방식 간 통계적으로 유의미한 차이를 보이지 않았다. 둘째, 다국면라쉬모형에 의해 추정된 피험자 능력 모수의 평균도 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 간에 통계적으로 의미 있는 차이가 발견되지 않았다. 셋째, 일반화가능도이론을 적용하여 검사 시행 방식이 전체 검사 점수에 미치는 영향력을 확인한 결과 전체 결과 점수에 대한 검사 시행 방식의 분산 비율이 0%로 나타나 검사 시행 방식에 따른 검사 점수의 차이는 거의 없으며 검사 시행 방식이 검사 결과에 미치는 영향력이 매우 미미함을 알 수 있었다. 채점자 수행 비교의 경우 첫째, 다국면라쉬모형에 근거해 추정된 채점자 엄격성 모수의 평균은 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 사이에 통계적으로 유의미한 차이가 존재하지 않았다. 둘째, 채점자 간 신뢰도는 면대면 인터뷰 평가 방식보다 컴퓨터 기반 평가 방식에서 더 높게 나타났다. 셋째, 전체 검사 점수의 분산에서 검사 시행 방식과 채점자 사이의 상호작용 분산이 차지하는 비율이 0.18%로 나타나 검사 시행 방식과 채점자 사이의 상호작용 효과가 미미함이 드러났다. 결론적으로 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 간 검사 수준과 문항 수준의 측정학적 특성과 피험자 수행과 채점자 수행의 차이는 통계적으로 유의하지 않거나 매우 미미한 것으로 드러났다. 이를 통해 한국어 말하기 평가에서 컴퓨터 기반 평가 방식은 면대면 인터뷰 평가 방식과 매우 유사하게 기능하는 것으로 볼 수 있다. 따라서 컴퓨터 기반 평가 방식은 한국어 말하기 능력을 측정하는 데 적절한 시행 방식으로 간주될 수 있다.
|
