近年来,随着企业越来越重视心理测验工具的应用,他们也开始频繁地借助于专业机构的力量,希望开发一套适合自己企业的心理测验工具,帮助企业提升在人才选拔、考核、培训、激励等工作中的准确有效性,进而促进员工与企业的可持续发展。但在测验开发过程中,企业与专业机构又常常存在着这样的“冲突”——专业机构表示开发一套好的心理测验工具费时又费力,需要较长的开发周期和较高的开发成本;企业则认为现在市场上如此多的心理测验工具,针对性地改编一下不就可以用了吗?为什么定制一套心理测验工具的周期有时会高达半年以上,甚至还需要给予高额费用?
为什么开发一套好的心理测验工具是费时又费力呢?
首先,开发心理测验工具是一项很复杂的工程,不是一件“出题目——给答案”的容易事,而是有着一套严格的开发流程,并且每个流程都需要开发者投入大量的时间、精力以及物力成本。接下来笔者就结合心理测验工具的开发流程,向企业阐述一套好的心理测验工具是如何开发的。
心理测验工具开发的一般流程需要经历三个环节,分别是目标分析、题目编制和完整开发,如图1所示:
图1、心理测验工具的一般开发流程
一、目标分析
目标分析主要包含三个步骤,一是明确测验用途,二是明确测验内容,三是明确测验形式。可以这么理解,该环节是明确测验工具拿来解决什么问题、测什么内容和怎么测的。具体流程如图2所示:
图2、目标分析环节流程
首先,明确测验用途。企业常见的测验用途有人才招聘、职业发展、员工激励、岗位配置、绩效考核等方面。在此阶段,测验开发者明确企业此次测验是给谁用,用来干什么,在什么情况下用。比如以人才招聘为例,开发者明确测验给谁用,需对团队特质进行分析,是招聘高校应届生,还是招聘社会人士;是招聘技术岗还是招聘行政岗;是招聘本科及以上还是硕士及以上……通过工作年限、岗位类别、学历、年龄等方面的团体特质分析,明确给谁用。再明确此次招聘是用来干什么的,是测量潜力的、还是规避心理健康风险的、亦或是用于发展的领导力评估的……通过描述性、诊断性、预测性等用途的分析,明确此次人才招聘主要干什么。最后,明确此测验在什么情况下使用,是用于线上招聘,还是线下招聘;是基于某次考核后使用,还是在某次考核前使用……通过使用场景的分析,明确在什么情况下使用。
其次,明确测验内容。开发者在明确了测验用途是给谁用、用来干什么、在什么情况下用之后,再进一步细化此次测验的具体内容是什么。笔者以评估人才招聘——产品设计的潜力为例,阐述明确测验内容的流程(明确测验内容的事例流程如图3):
图3、明确测验内容的流程
如图3,开发者需对已确定的测验内容进行深挖,明确此次预测产品设计活动的具体内容是什么,可以分为两个阶段。第一个阶段,开发者通过大量的工作分析及实地调研,分析可能存在哪些心理或行为特征影响着产品设计活动达到成功,比如影响因素可能是创造力、空间想象能力、逻辑思维能力等;第二个阶段,围绕以上影响因素阅读大量资料,把这些能力转化为可操作性指标,比如把创造力指标转化为流畅性、灵活性、独创性、详尽性等四个操作性指标。这两个阶段,需要开发者理清各指标之间的关系,使他们具备独立性、稳定性、理解性、代表性等特点,避免存在含糊不清的关系。
最后,明确测验形式。在明确测验内容之后,开发者要思考如何测量操作性指标。测验内容怎么测?采用哪种测验形式测量?以图3评估人才招聘——产品设计的影响因素创造力中的详尽性为例,开发者需从多个角度思考此次测验形式。如从目的角度,可以采用诊断性的方式进行测验;从方法角度,可以选择笔试的方式进行测验;从题型角度,可以选择填空题的方式进行测验,测其自由联想;从测验方式角度,可以选择个别测试进行测验,对其做具体测验分析……开发者通过分析测验用途与具体内容,选择相对更能准确有效的测验形式对目标内容进行测量。
可以看出,在第一个目标分析环节,测验开发者需严格按照三个步骤——明确测验用途、明确测验内容、明确测验形式,投入大量时间去调研目标群体、阅读大量相关资料、认真严谨分析归纳,才能将目标内容转化为合理的可操作性指标,才能在正式编制问卷时有明确的指导方向,为题目编制与完整开发两个环节打下良好的基础。
二、题目编制
测验开发者在明确测验目标之后,开始进入题目编制环节,主要包含三个阶段:搜集资料、明确命题要求、编写题目形成题库。可以这么理解,第一个环节目标分析是搭建目标框架,明确解决什么问题、测什么、怎么测,而这一环节就是为目标框架编制合适的内容。题目编制环节流程如图4所示:
图4、题目编制环节流程
首先,在确定了测验解决什么问题、测什么、怎么测之后,就要开始搜集相关资料,主要搜集两种资料,一是搜集关于测验内容的典型行为表现,以达到测验内容的可操作化;二是根据工具特点收集资料(如工作情境),以利于题目编制时的参考指导性。搜集资料的主要方法有:访谈法、问卷法、工作分析法(工作说明书)、胜任特征模型(建模用的资料)等,在此阶段,开发者需要搜集尽可能多且全的资料,并且确保资料是可以准确有效地测到目标内容,为编制题目提供优质的原始材料。为此,也有三种常见的搜集资料渠道,一是搜集与目标测验相关的已成型测验,如创造力的测验可以参考《南加利福尼亚大学测验》、《芝加哥大学创造力测验》等测验;二是通过理论知识与专家经验来搜集题目资料,如创造力的经典理论、创造力研究领域专家的经验;三是通过临床观察和记录的方式搜集题目资料,如通过实地调研分析创造力好的人与较差的人之间的主要差异体现在哪些方面,并做记录整理。
其次,明确命题要求,主要体现在五个方面。一是内容方面,命题的资料内容是否符合测验目的,是否有代表性与典型性;二是文字方面,命题的文字是否准确、通俗易懂、简洁;三是理解方面,命题的层次是否符合该团体的知识水平和理解能力,不会产生歧义;四是社会敏感性方面,是否过于偏激或过于积极,导致受测者出现社会赞许性效应;五是统一测评形式,一套测验工具尽量保持相同的测评形式,如统一采用评分量表、是非题或选择题等形式,方便后期计分与统计分析。
最后,编制题目形成题库。开发者将搜集的相关资料,进行整理分析,明确每个操作性指标的典型行为表现(如工作情境中的常见表现),严格按照命题要求和目标框架编制题目,编制的题目要反复进行SME(行业专家)的讨论和修改,形成最终的测验题目库。题库要求题目涵盖目标内容的各个指标,并且题目数量应是正式测验工具的1.5-2倍,以备筛选或编制复本。
可以看出,在题目编制环节,开发者需要一直把控资料与题目的方向,能敏感地抓住大量资料的重点,严格按照命题要求,投入大量的时间、精力把每个题目进行反复打磨审定,这样才能形成一个准确有效的题库。
三、完整开发
完整开发是三个环节中最重要的一步,是论证测验工具是否准确有效的关键。这个过程包括测验试测、数据检验、制定常模、编制技术手册。可以这么理解,以上两个环节是搭建框架与编制内容,而这个环节是通过数据反馈来修订完善形成最后的测验工具。完整开发环节流程如图5所示:
图5、完整开发环节流程
第一步是进行测验试测。测验开发者将题库题目根据难度、作答习惯等方式进行编排,再开展小范围试测,并对试测结果作质性与量性的分析:开发者先根据受测者的反馈,把题库中存在明显问题的题目剔除或修改,再根据项目分析(难度、区分度)结果了解题目质量,选取一些好的题目再做调整。在此阶段,为保证测验工具的准确有效性,开发者寻找的测试对象应与正式测试人员相近的团体、施测过程应与正式施测过程保持一致。
第二步是数据检验。在通过测验试测,从题库中选出比较好的题目之后,再对正式测试团体进行大范围施测,将所得数据作难度、区分度以及信效度的分析检验。在此阶段,测验开发者根据数据分析,确认测验题目是否存在过于简单或者复杂的问题(难度),是否存在鉴别受测者高低心理特质的能力(区分度),是否能准确有效地反映到实际想测到的目标(信效度)。最后根据以上分析结果对题目重新打磨修订,使测验工具的题目具备0.2-0.8的难度,0.2以上的区分度,以及具备良好的信效度。
第三步是制定常模。信效度检验通过后,为了让测验分数之间可以进行比较,需要编制测验的常模,将测验分数转换成可以计算和比较的常模分数。在此之后,为了让使用测验的人理解测评最终得到的分数,还需要对分数进行解释,即制作测评报告和分数解释系统。
第四步是编制技术手册。在通过测验试测阶段确定题目是否初步可用,信效度检验阶段确定该测验是否准确有效,制定常模阶段确定测验分数的代表意义之后,就开始编制技术手册,帮助施测者对测验工具深入理解。该技术手册内容包括:(1)本测验的目的及功用,(2)编制测验的理论背景及选择题目的根据,(3)测验的实施方法、时限及注意事项,(4)标准答案和评分方法,(5)常模资料,包括常模表,常模适用的团体及对分数的解释系统,(6)信效度资料,包括信效度系数及这些数据取得的背景。
可以看出,在完整开发环节,开发者会投入更多的精力去分析题目可能存在的问题,并且也会付出更多的时间去打磨题目,这样才能保证测验工具可以准确有效地反映企业的待测问题,助力企业更高效地解决实际问题。
小结
希望企业通过阅读此篇文章,能对专业机构的测验开发流程有一定了解,并且也清楚一套好的心理测验工具是如何开发的。
也希望企业了解到开发一套好的心理测验工具,不仅需要开发者从流程上严格遵循目标分析、题目编制、完整开发三个环节,还得从开发者自身角度出发,需要其具备扎实的理论基础,严谨耐心的编制态度,充裕的时间、精力与物资。所以这对于专业机构来说,开发一套好的心理测验工具是需要较长开发周期和较高开发成本的。
最后,希望企业借助专业机构的力量,可以开发一套适合自己企业的心理测验工具,了解到员工的真实心理水平,开展针对性的选拔、考核、培训、激励等工作,进而促进员工与企业的可持续发展。