天才一秒记住【久久文学】地址:https://www.jjwxx.com
第四节题目在线更新
banner"
>
题目在线更新本来并不是计算机化自适应测验的必要功能模块,但是随着题目更新对题库维护的作用越来越重要,加上CAT在数据采集方面的独特优势,题目在线更新功能将成为CAT系统中具有巨大附加值的模块。
一、题目内容更新
题库在使用的过程中,有些题目的内容可能已经不适合新的情境了,题目的参数可能也会随着测试总体的发展而发生变化,另外,随着题库使用率的提高,也需要增加新的题目。
题目在线更新主要涉及两个方面的问题:一是题目内容更新,包括增加新题和对已有题目内容的修订;二是题目参数的在线标定,同样包括对新题参数的标定和对已有题目参数的重新校准。
题目内容的更新主要涉及的是计算机软件设计技术问题,从功能上保证题目内容更新过程的可用性和便利性。
CD-CAT题目参数的在线标定与IRT-CAT的题目参数在线标定并没有什么本质的不同,但CD-CAT题目参数的在线标定包括了题目的测量学参数和题目属性的在线标定,主要涉及两个方面的问题:一是数据的采集方式设计;二是参数的在线标定方法,两者的目的均是为了保证题目参数标定的精确性。
二、在线标定数据采集方式设计
关于数据的采集方式,主要是考虑如何将题目分配给被试作答,包括随机分配和自适应分配。
随机分配就是将新题目随机分配给不同的被试,而且题目在测试过程中的位置也是随机插入的,随机分配完全没有体现现代测量理论数据采集的基本要求和优势。
自适应分配就是尽量预先获得关于题目参数的初步估计值,如通过领域命题专家标定或通过部分作答数据获得初步估计值,然后自适应地分配给相应水平的被试,正如自适应地估计被试水平一样,通过自适应的方式分配题目也可以节省采集的被试样本容量。
当使用部分作答数据对题目参数进行初步估计时,被试的选择就显得非常重要。
当前研究者主要关注的是如何设计测验以更好地诊断被试属性掌握模式,关于如何为估计题目参数而选择被试的研究还未受到关注,也许我们可以借鉴认知诊断计算机化自适应测验的设计模式。
在CD-CAT情境下,被试属性掌握模式和水平可以通过旧题的施测估计出来,于是可以在这个基础上选择合理的被试进行测试,按照一般规律,应该选择不同属性掌握模式的被试,但在每单个属性上的掌握模式应该从整体上进行平衡,当然,这种模式还需要经过实验论证。
数据采集方式需要考虑的另外一个问题与参数标定方法的使用有关。
如果参数标定时需要进行等值,那么,数据采集过程中就需要考虑等值的设计要求。
在线标定中的等值设计模式是,一组被试作答的旧题中会包含一定数量的锚题,再加上部分新题。
在采集了足够的作答数据后(被试能力值会在各自的CAT测试结束时用所有旧题估计得到),用条件估计方式同时估计锚题和新题的参数,然后通过锚题新参数与题库中的已有参数建立等值关系,将新题参数等值到题库的参数单位系统上去。
基于等值设计的在线标定方法由于通过锚题进行了参数校准,因此能够保证新题参数不会受到具体被试样本带来的误差的影响,但这种方法需要给一组被试插入一定数量的锚题,会影响自适应过程的实施。
每个被试测试应该插入多少个新题为宜,这个似乎没有统一的标准,应该是在保证精确估计被试水平的前提下,以不引起被试疲劳效应为主。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!