序

自20世纪七八十年代以来,随着整体效度观的逐步形成和发展,测试效度验证越来越重视基于辩论的验证方法。《累进辩论法及其在语言测试效度验证中的应用研究》一书在批判继承前人研究成果的基础上,针对测试辩论法研究中存在的逻辑问题、测试效度理论研究的局限性和语言测试目标构念研究的不足,分别提出累进辩论模型、累进效度观和信息能力观。同时,还进一步结合我国高考这一大规模、高风险测试进行实证研究,一方面详细介绍累进辩论法的使用方法,另一方面应用研究成果解决真实测试中的实际问题。很欣喜能看到国内测试界有如此研究成果,故欣然应允为之作序。

在测试辩论法研究方面,作者先分析了当前几个广为关注的测试辩论模型的逻辑问题及其产生的根源,后提出了一个将科学研究与理性辩论相结合的辩论模型,称为“累进辩论”。根据作者的研究,当今主要测试辩论法研究都称其辩论模型的逻辑结构为图尔明模型的辩论结构,但又都对图尔明模型进行了修改。修改后的模型中,反驳的概念不再是图尔明所指的不足为虑且不可追究的“特殊例外”,而是必须论证的“最大异议”“反面解释”“对立假设”;反驳的功能不再是限定声明,而是检验声明,即声明是否成立完全取决于反驳是否成立。但由于反驳也有自己的反驳,如果抓住反驳不放,论证过程将无限循环且自相矛盾,除非在论证反驳时强行作出声明,否则永远无法得出结论。作者进一步指出,反驳概念和功能的改变,又是图尔明模型所体现的辩论双方为各自声明进行辩护的逻辑推理过程被误解为声明的支持者和反对方的争辩过程所致。

针对测试辩论的复杂性,作者提出累进辩论法,强调通过逻辑推理的循环和递归,来解决多维相关和多层嵌套的复杂问题。“累进辩论”是在图尔明模型中增加了一个条件判断结构和一个统计分析过程构成的,不仅具备“有理有据、兼顾反驳”的理性逻辑机制,同时还具有解决复杂问题所必需的循环与递归机制。作者一方面强调,测试问题往往是多维相关且层级嵌套的复杂问题,测试辩论只有在逐步、逐级解决所有前提条件问题之后才能作出最终声明,是为累进辩论。另一方面指出,统计分析归根到底属于理性辩论,而不是与理性辩论决然对立的研究方法,纳入统计分析并不会改变辩论模型的本质特征,相反会使辩论结果更具说服力。作者还以假设检验为例,详细分析了假设检验原理(小概率原理)的理性逻辑本质及其结果解读的理性逻辑推理过程。

在测试效度理论研究方面,作者先从分类说和整体观两个阶段对测试效度概念的演变历程进行了综述,重点分析了整体观对效度理论研究发展的贡献及其自身的局限性;后在批判继承整体观并结合累进辩论法研究的基础上,提出累进效度的概念。整体观将效度定义为证据支持测试使用所需的分数解释的程度,强调分数解释与使用的合理性,并倡导基于辩论的验证方法。作者认为,从构念体现的充分性、测试使用的裨益性、验证方法的辩证观等方面而言,整体观提高了人们对效度的概念内涵和验证过程的认识,促进了效度理论的发展和验证方法的变革。但是,整体观否认测前环节具有效度,否认测试效度为测试本身的固有属性,否认有效测试和无效测试之说,作者对此一一进行了反驳。首先,每个环节的数据都应该充分体现测试的目标构念,数据使用都应该具有理想的裨益性,否则最终分数的解释和使用没有意义,因此,每个环节都具有效度,都应该进行效度验证;其次,如果测试效度不属于测试而属于分数的解释和使用,那么测试效度就不是测试效度而是分数的解释和使用效度,这显然不符合逻辑;再次,尽管效度是一个程度问题,而不是绝对的“有”或“无”的问题,但只要效度达到了可以接受的程度,测试就是有效的,否则即为无效测试。效度验证的结论中,首先必须对测试是否有效明确表态而不能含糊其词,然后再对其有效性程度进行合理限定。

作者提出从“数据解释与使用”而不是“分数解释与使用”的角度来认识和界定测试效度,认为效度是相对于测试环节而言的,指当前及所有前任环节数据在多大程度上体现了或有利于体现测试的目标构念。一个测试通常包括设计、开发、施测、评分、使用等几个主要环节,并且每个环节均可与某个外部测试的对应环节互为参照。当前环节以前任环节为基础,并对所有后续环节产生影响,但后续环节无法反过来影响前任环节。一个环节的效度是所有前任环节效度层级累进的结果,是为累进效度。效度只能通过理性的逻辑推理进行主观评判,而不可能使用数学公式进行精确计算,因此不存在所谓的效度系数;一个环节的效度不可接受,所有后续环节都没有效度可言,因此效度并不等于各环节效度之和,而是最大不大于最薄弱环节的效度。

在语言测试的目标构念研究方面,作者首先对当前影响较大的两种语言能力观——交际语言能力和认知活动能力——进行了分析,并认为两种语言能力观都是在宏观层面分别对语言能力的构成成分或认知活动的心理过程进行描述,但都没有深入到微观层面语境意义的生成和理解。作者认为,语言测试的命题、答题和评分归根到底都离不开具体话语中的语义;语言表达能力主要通过考生生成语义的质量和数量来体现,语言理解能力主要通过考生理解语义的速度和准确率来衡量。基于这一认识,作者通过借鉴系统论、信息论和控制论这“信息三论”的主要观点,并结合计算机面向对象技术的原理和方法,提出话语信息的认知处理能力,相应的构念观简称为信息能力观。

作者首先以系统论为指导建构了话语信息认知处理系统框架和话语信息认知处理能力模型;其次,借鉴信息论中有关信息和信息量的基本观点,明确未知内容的信息价值及其对信息量的贡献、已知内容的非信息本质及其在信息处理中的作用;再次,基于控制论的信息处理过程及自动化调控原理,探讨话语信息的输入、加工和输出等认知操作和目标管理、过程监控、情感调节等元认知操作,以及相应的认知与元认知策略能力;最后,通过借鉴哲学世界观和计算机认识世界事物的方法,提出语义的分类范畴及其认知量化的结构形式和计算单位,然后在此基础上进一步提出信息最大化命题方法,强调通过最大化计算、抽样加权、归类整理、题目编写等几个命题环节的质量控制,来确保测试的开发效度,提高命题的质量和效率。

《累进辩论法及其在语言测试效度验证中的应用研究》一书,研究内容全面深刻,不仅全面覆盖了设计、开发、施测、评分、使用、参照等各个测试环节,更深入到了辩论方法、效度概念和构念本质等测试学基础理论;研究方法注重理论与实践相结合,理论研究横跨多学科领域且能追溯到问题的根源,实践研究突出成果的实用性和推广价值;结果发人深省,既有对前人研究成果的继承和发扬,更不乏理性批判和独到见解。读后不难发现,作者不仅具有深厚的理论功底和坚实的专业基础,其研究成果的取得更得益于作者追求真知和勇于创新的研究精神。期待该书的出版能进一步丰富和促进语言测试的理论和实践研究。

是为序。

邹申

上海外国语大学教授、博士生导师;

教育部高等学校外语专业教学指导委员会委员、

英语专业教学指导分委员会副主任委员

2018年8月

于上海