摘要:鉴于考试的保密性准则 ,各考试机构在组织写作测试时历年采用不同的写作任务。确保不同写作任务之间的等同性关于保证考试的公平性来说至关重要。笔者从文本略论的角度 ,应用定量略论的手段对比略论了30名大学非英语系二年级本科生分别就两个议论文写作任务所写的 60篇作文在语言特征方面的异同。结果显示 ,两类文本在准确度方面不存在显著异同 ,但在流利度方面异同显著。就复杂度而言 ,两类作文在 T单位复杂度比率上有显著异同 ,但二者在 T单位长度上无显著异同。因此 ,为丰富写作任务等同性探讨 ,应对文本的语篇特征进行略论。 1. 0 引言 近年来 ,随着国际交流与合作的繁荣 ,写作 ,尤其是英语写作的重要性日益凸显。对写作的测试也成为现代语言测试的一个重要组成部分 ,被广泛应用于各种语言测试。时至今日 ,写作测试的发展历程经过了直接测试(direct assessment) 、 间接测试(in2direct assessment) 、 限时即席写作测试( the timed im2promptu writing test)以及目前较流行的档案袋写作测试 (portfolio writing assessment ) 四个阶段。( Hamp2Ly ons ,2017 ;Weigle ,2017) 虽然档案袋写作测试作为一种测试手段有其独特的优势 ,但就当前来说 ,档案袋写作测试在大规模测试中还缺乏一定的可行性。(Hamp2 Ly ons & C ondon ,1993 ;Hamp2 Ly ons &Mathias ,1994) 因而 ,采用单一写作任务的限时即席写作测试仍是当今大规模语言测试及课堂测试普遍采用的模式。鉴于考试的保密性 ,各考试机构在组织每次写作测试时采用不同的写作任务。但接踵而至的问题便是:这些写作任务之间是否具有可比性 ? 若不同的写作任务之间没有可比性 ,历年的写作成绩将无法比较 ,测试的科学性和考试分数的可解释性就会受到质疑。因而 ,写作任务的等同性问题直接联系到写作测试的效度。早在上世纪80年代 ,随着直接写作测试中心地位的确立 ,写作测试界就开始关注写作任务等同性的问题 ,并开展了大量探讨 ,既有在母语环境中进行的(Ferrara et al . ,1989 ;Hoetker ,1982 ;Ruth &Murphy ,1988) ,也有在二语环境中进行的 , (Cumming ,1989 ;Hamp2 Ly ons ,1988 ; 1991 ; Reid ,1990) ,但学界对这一问题远未达成一致。20 世纪 90 年代 ,写作测试学家(Hamp2 Ly ons et al . ,1994 ;Liu ,1997 ;Weigle ,1999)通过多种途径 ,采用多种统计略论的措施探讨写作任务的等同性问题。可是 ,难题仍未解决。有鉴于此 ,本文拟另辟视角来研讨写作任务等同性问题 ,以期为这一难题的解决提供一些实证证据。 2. 0 探讨背景 写作任务的等同性指的是不同的写作任务在多大程度上以及在什么条件下测试了相同的写作能力。(Weigle ,1999 :145) 当前 ,尽管探讨措施各有不同 ,对写作任务等同性的探讨大多用作文分数来代表学生写作能力。(Cumming , 1989 ; Ferrara et al . ,1989 ;Hamp2 Ly ons et al . ,1994 ;Liu ,1997 ;Weigle ,1999)例如 ,Ferrara &Walker2Bartnick (1989)收集了 1984 -1988 年参加马里兰写作测试 ( the Maryland WritingTest ,MWT)的九年级学生的作文分数 ,应用部分计分模式(Partial Credit model ,PCM)对 5 年内 MWT所采用的写作测试任务进行归类。探讨表明 ,PCM可以根据任务难易程度把写作测试任务划分成不同的类别。相关于 Ferrara & Walker2Bartnick (1989) 纯数理的统计措施 ,Hamp2 Ly ons &Mathias (1994)采取了人文主义色彩浓厚的“专家意见法”( expert judg2ments) 。他们邀请了2 位写作测试专家和 2 位资深的写作教师对从密执安英语语言评估测试中选取的32对(64个)写作任务采用三点量表就它们的难度水平打分 ,并对难度得分和 8 ,583 名被试的作文分数进行方留学生写论文差略论。结果显示 ,任务难度与作文分数之间存在显著的负相关 ,即任务越难 ,作文分数越高。这与探讨者先前的假设截然相反。由此也证明 ,写作任务的等同性探讨不能仅仅依据专家的意见。对写作任务等同性进行全面深入探讨的当属Liu(1997) ,Liu 首先从 3 个层面定义了等同性的含义 ,即:考试说明层面(test specification level) 、 决策层面(decision level)以及能力构成层面( skill profile lev2el) 。据此 ,作者设计了 3 个写作任务(2 个是等同的 ,另外1个不等同) ,并把所邀请的 305 名英语为二语或外语的留学生平均分成 3 组 ,就这 3 个任务进行写作。作文由经过培训的阅卷员分别进行整体和分项评分。最后 ,Liu对所有被试的得分进行了统计略论。探讨结果证实 ,Liu提出的写作任务设计框架在一定程度上确保了写作任务的等同性。需要指出的是 ,这些探讨都以作文分数为参数来考查写作任务的等同性。在写作测试中 ,作文分数是多种因素相互影响的结果 — 写作任务、 写作者、作文文本、 评分标准和评分员。( Kroll , 1998 ;Mc2Namara ,1996 ;Weigle ,2017) 写作者和写作任务之间的交互产生作文文本 ,评分员采用特定的评分标准对作文进行评阅得出分数。虽然 FACETS等统计软件在一定程度上可以略论写作任务难度和评分员松紧度等因素对作文分数的作用 ,但由于评分标准和评分员等因素交互作用 ,相同的分数未必代表相同的能力。因而 ,通过对比略论作文分数来探讨写作任务的等同问题有一定的局限性。考虑到写作者和不同的写作任务进行交互产生不同的作文文本 ,同时 ,作文文本是关系写作任务、 写作者、 评分标准和评分员的纽带 ,本探讨认为 ,通过略论作文的文本特征 ,也许能为写作任务等同性探讨提供新的思路。此外 ,据本文作者所知 ,当前尚没有探讨从文本略论这一角度采用定量略论的措施来讨论写作任务等同性问题。考生在不同写作任务上的作文的文本特征有何异同 ? 探究文本特征的细微异同也许能为写作任务等同性探讨提供新的视角。再者 ,已有探讨中所采用的作文都是由不同被试所做。因而 ,在数据略论过程中就增加了写作者这一干扰因素。虽然探讨者声称 ,这些被试的语言水平无显著异同 ,但写作涉及到写作者方方面面的知识和情感爱好。也许作文质量的异同是由写作者背景知识或家庭背景等的不同而引起的 ,而非语言能力的不同。所以 ,写作任务的等同性探讨应该略论同一批学生在不同写作任务上的作文。(Weigle ,1999)有鉴于此 ,本文拟通过对比略论同一批学生在两次写作测试中作文的语言特征来研讨这两个写作任务的等同性。 3. 0 探讨措施 |
