1.2 测试辩论研究中的谬论

测试效度的验证方法历来以实证研究为主,基于逻辑推理的辩论法效度研究的兴起,与测试效度概念的演变密不可分。自20世纪七八十年代以来,效度整体观逐步形成,并取代了效度分类说。整体观认为效度是一个整体概念,不再存在类别之分,指对分数解释及其使用的综合评价(参见Cronbach 1971,1980,1988,1989;Messick 1975,1980,1988,1995)。根据这种观点,效度不再是测试本身固有的属性,而是分数解释及其使用的合理性,合理程度即为效度。解释过程是由因及果的逻辑推理过程,需要提供理由充分的证据(因),才能得出符合逻辑的结论(果)。因此,效度验证过程也就被界定为多方面收集证据对分数解释与使用的合理性进行辩论的过程。一个合理的解释,不仅需要有充足的证据和充分的理由,也要经得起持反面意见的人的反驳。经过辩论得出的结论往往更具合理性和说服力,所以自整体观提出以来,效度验证越来越重视基于辩论的方法。

20世纪90年代初,Kane(1990,1992)提出辩论法效度研究史上的第一个辩论模型——解释辩论(Interpretive Argument,IA),用于对分数的解释和使用进行辩论。 21世纪初,Mislevy(2003)和Mislevy et al. (2003)通过引入哲学领域的逻辑辩论模型——图尔明模型(The Toulmin Model),提出了一个测试设计辩论模型——以证据为中心的设计(Evidence-Centered Design,ECD),用于指导测试的设计与开发。 Bachman(2005)综合前两个模型,提出测试使用辩论(Assessment Use Argument,AUA)框架,并声称AUA不仅可用于分数的解释与使用,同时还可为测试的设计与开发提供理论指导。近年来,Bachman极力推介测试使用辩论法,并于2010年对AUA框架进行了修正(Bachman & Palmer 2010)。这三种辩论法对测试研究都具有深远影响,可谓是辩论法效度验证研究的典型代表。

上述三种辩论法研究都声称其辩论模型的逻辑结构为图尔明模型。虽然Kane最初提出IA时(Kane 1990,1992;Kane et al.1999),并未对其模型与图尔明模型之间的关系进行说明,但自ECD提出以后,Kane(2004: 148)也对图尔明模型作了详细的阐述,并参照图尔明模型解释IA的推理结构。该模型的扩展模型,如Chapelle et al. (2008,2010a)的效度辩论模型、Xi (2010)的测试公正性辩论模型,也都明确表示其辩论结构为图尔明模型。ECD(Mislevy et al.2003: 11)和AUA(Bachman 2005: 9;Bachman & Palmer 2010: 98)则都是直接将其基准辩论的结构图标为“图尔明辩论结构图(Toulmin diagram of the structure of arguments)”。

图尔明模型是图尔明为了攻击亚里士多德的三段论(Syllogism)而提出来的一个哲学辩论结构。在三段论式辩论中,大前提(Major Premise)和小前提(Minor Premise)都是“非是即否”的绝对命题(Absolute Proposition),得出的结论(Conclusion)也是非真即假、非对即错。 Toulmin(2003)认为,三段论式“大前提—小前提—结论”逻辑结构适于基于形式逻辑(Formal Logic)的机械推理,但并不适用于现实生活中的实用辩论(Practical Argument)。实用辩论以理性逻辑(Rational Logic)为基础,推理过程中应该考虑有可能导致结论不成立的例外情况——图尔明称之为反驳(Rebuttal),推理的结果通常不能以绝对的“真/假”、“对/错”或“是/非”而论,而是一个合理性程度问题,所以在得出结论——图尔明称之为声明(Claim)时,应该用一个适当的限定词(Qualifier)对结论的语气强度加以限定。这种观点与20世纪七八十年代逐步形成的整体效度观(Unified Concept of Validity)不谋而合。整体观认为测试效度既不是取决于某个单一指标,也不是简单的有效或无效的问题,而是基于各种情况的整体考虑,并且是一个有效性程度问题。

但是,前面提到的三个辩论法研究在应用图尔明模型建构辩论框架时都对其基本结构做了修改。所做修改不仅改变了图尔明模型作为实用辩论模型的根本性质,而且导致了严重的逻辑错误。首先,修改版模型都删除了语气限定词。其次,又在模型中增加了一个要素,用来对反驳进行论证。前者使得图尔明声明又沦为Toulmin(2003)所批判的三段论式结论,后者则是逻辑错误产生的根源:反驳情况多种多样,并且许多反驳情况是不可预计或想象不到的,那么,究竟该论证哪些反驳? 有可能一一排除所有反驳吗? 此外,反驳也有自己的反驳,并且一个声明的反驳的反驳正是声明自身。如果坚持论证反驳的原则,那么在论证反驳时也必须论证反驳的反驳,即原声明。如此一来,论证过程将无限循环且自相矛盾。

既然强调论证反驳,那么在反驳得到证实或证伪以前,所谓的“声明”就不是声明而实为假设。没有声明,就无所谓辩论,一方还未提出观点,另一方如何与之争辩? 所以,没有声明的模型,本质上就不是辩论模型。上述几个模型虽然名称上称为“辩论模型”,但并不能用于解决实际的辩论问题。如果将模型中的“声明”还原为假设,模型也不足以成为假设检验模型,因为模型中并没有接受或拒绝假设的条件判断机制,到底该接受还是拒绝假设仍然不得而知。再者,测试数据往往比较复杂,一般情况下难以凭借逻辑推理直接得出结论,而应该先进行数据分析,得出有说服力的证据之后再进行逻辑推理。但是,前述几个测试辩论模型均不具备数据分析机制,而无不是直接使用图尔明模型进行逻辑推理的。可见,在复杂的测试数据面前,上述几个辩论模型都不具实用价值。