国家重点实验室评估专家的若干问题研究

　　摘 要：在分析国内外基础研究同行评议专家遴选状况及其研究进展的基础上，提出了国家重点实验室评估专家遴选原则；建立了实验室评估专家评分产生偏差的若干效应概念。 

　国家重点实验室是我国基础科学研究自主创新的主要力量，实验室评估则是国家重点实验室宏观管理的主要手段。2004年以来，科技部调整了实验室评估的政策，由过去定性与定量相结合并以定性评估为主，改变为完全依靠专家进行定性评估。由此可见，实验室评估办法一旦确定，评估专家就是实验室评估工作的决定因素。深入地研究实验室评估专家的有关问题，避免非工作因素对评估工作的影响，从而正确发挥实验室评估的导向作用，对于不断提高国家重点实验室整体水平具有重要的意义。 

　　 
　　1 实验室评估专家遴选 
　　 
　　1．1 实验室评估专家遴选的原则 
　　1．1．1 学术权威性 国家重点实验室是在我国自然科学领域和部分关系国民经济发展的重要领域选择的学术水平最高的队伍。评估专家选择的首要原则是学术权威性，即评估专家在某个研究领域曾经做出过或正在做比较有价值的研究工作，具有较高的学术水平和学术名望。 
　　学术权威性有三个内涵，一是评估专家具有较广博的专业知识，二是评估专家具有旺盛的创造力和较高的学术水平，三是评估专家对本领域的国际前沿和国内的研究工作状况具有足够的了解．三个内涵相辅相成，缺一不可，共同构成了学术权威性的范畴。较广博的专业知识是评估专家具有学术权威性的基础，旺盛的创造力和较高学术水平是评估专家具有学术权威性的关键，对国际前沿和国内相关研究工作状态的了解是评估专家发挥学术权威性的前提。 
　　1．1．2 来源广泛性 评估专家都有自己的工作单位和所属部门，因此一般或多或少地都带有一些部门色彩，个别评估专家的部门倾向还相当严重。为了消除这些因素可能给评估造成的影响，评估专家应该具有比较广泛的来源，注意部门之间专家数量的平衡。不至于由于评估专家来源的偏颇使得实验室评估结果出现偏差。 
　　根据实验室工作的性质和特色，还应该邀请一些非参评实验室所属部门尤其是一些大型企业研究院所的专家参与实验室评估工作。一是充分体现代表的广泛性，二是能够让科研与生产相结合的企业的专家来评价实验室的应用研究成果。 
　　实验室评估应该有一定数量的管理专家参加。管理专家应该懂得管理科学理论与方法，具有较丰富的管理实践经验，特别是科学研究管理和组织行为学方面的专家。管理专家不能够充分发挥作用，会使得在实验室评估中担当比较重要角色的管理专家变得无足轻重，使得管理专家的角色出现不到位甚至于缺位。 
　　 
　　1．1．3 结构合理性 评估专家应该具有合理的年龄结构、知识结构和学缘结构。 
　　年龄结构合理，即老、中、青专家相结合，评估专家中既有德高望重的学术权威，又有年富力强的中年学术带头人，也有颇具锐气学有所成的青年学术骨干。学术权威具有较高的学术威望、广博的知识面和对国内外同行研究状态的了解，是评估专家中的核心力量，在实验室评估中不可或缺；年富力强的中年评估专家学术水平较高，与实验室同行有更多的合作与交流，因而更加熟悉实验室的真实情况和研究工作的水平，是评估专家中的骨干力量；青年学术骨干则具有初生牛犊不怕虎的闯劲，敢于发表比较尖锐的意见。老中青相结合，互相补充，互相激励，可以发挥不同年龄层次的优点，构成评估专家合理的年龄结构，是评估专家正确的年龄取向。 
　　合理的知识结构是专家结构合理性的重要组成部分。实验室一般具有3－4个或更多的研究方向，有的实验室研究方向属于交叉学科，有的研究方向较窄甚至基于三级学科。现场评估一个小组有6－9个实验室，评估专家只有10位，所以现场评估对评估专家知识结构的要求相当高，不仅要有本专业深厚的理论基础和较高的学术造诣，而且要了解相邻学科的知识内容。 
　　合理的学缘结构，如一个小组的评估专家尽可能毕业于不同的学校，可避免由于评估专家对母校的某种情节而可能使评估结果出现不应出现的偏差。 
　　1．1．4评估公正性 要求评估专家站在国家利益的高度，严格遵守科学研究同行评议行为规范，按照客观公正的原则，公平、公正地对待任何―个实验室，不因为任何原因偏袒任何―个实验室。 
　　遴选实验室评估专家的上述原则可以在源头上控制或减少不公正因素的出现或形成。评估专家来源的广泛性，意味着专家具有广泛的代表性，可以维持部门或单位利益上的均衡；年龄结构的合理性，可以在一定程度上减少单一年龄结构固有的不足；合理的知识结构则可以避免在评估中出现对实验室研究工作认识上的偏差。 
　　 
　　1．2 实验室评估专家数量的确定 
　　一般地，评估专家的数量越多，专家个体对评估结果的影响越小，评估结果的可靠性越高。但是，评估专家越多，所付出的成本也越大。因此，在保证实验室评估结果可靠性的基础上，尽可能地减少评估专家的数量，是确定实验室评估专家数量的主要任务。可以应用数理统计理论确定容量的方法确定专家的数量。 
　　即专家数量n与置信区间长度的平方成反比，要有较短的置信区间长度，就必须增大n的数量．通常可以采用试差法确定n的大小，即评估专家的数量。 
　　 
　　2 影响实验室评估专家评分的若干效应分析 
　　 
　　根据对国家重点实验室评估数据的分析，由于评估专家的学术背景、科研经历、心理特征、思维模式、标准把握等等都有可能存在差异，因此不同的评估专家对于同一客观事实的认识和判断就有可能不同，评估结果就不能够准确地反映实验室客观情况。为了分析评估专家在评估过程中可能形成偏差的原因，建立以下有可能产生偏差的若干效应概念。 
　　 
　　2．1 惯性思维效应 
　　由于同行专家往往与实验室有了较长时间的交往，这些专家对实验室价值的判断已经形成了固有的认识，因此在对实验室进行评估时，有的专家并不是根据实验室在一个评估周期内提供的新的判断依据敏锐地进行分析和判断，而是“先人为主”，好的实验室总是好的，差的实验室总是差的，这种现象称作惯性思维效应。惯性思维效应产生的原因可能是由于某些人受事物第一印象的左右，不肯接受新信息而造成的，由此在实验室评估时产生明显的偏差。 
　　 
　　2．2 个人偏好效应 
　　个别评估专家在对实验室进行评估时，往往不以评估指标体系等标准而是根据个人偏好的“标准”进行判断，这种现象称作个人偏好效应。如有的专家偏好论文及相关学术刊物的影响因子，只要在较高影响因子的刊物上发表论文就认定该实验室是一个好的实验室；个别专家甚至要求实验室计算发表论文杂志的影响因子总和、人均影响因子等指标。偏离甚至废弃实验室评估指标体系，以专家个人偏好“标准”进行评估，容易以偏概全，产生认识和判断上的失误。 
　　 
　　2．3 同行偏好效应 
　　评估专家对相同学科领域的实验室表现出一定程度的偏爱，由同行偏好所产生的效应称为 同行偏好效应。产生的原因可能是对相同研究领域的实验室比较熟悉或由于熟悉而产生对小同行的好感；另外的原因可能是学科保护主义，即个别专家可能认为自己担负着为同行说好话从而使这些实验室不至于吃亏的责任，在评估时对同行的实验室表现出一种偏袒的色彩，打分明显高于其他专家的评分值。同行偏好属于普遍性偏好，即一般意义上，评估专家都存在一定程度的同行偏好。 
　　 
　　2．4 学术权威效应 
　　在长期的科学研究工作中，一些曾经做出过重要贡献的科学家在我国科学研究专家队伍中脱颖而出，逐渐成为各个学科的学术权威。他们不仅在科学研究工作方面作出过杰出的贡献，有的还具有较强的组织管理能力，对我国某个领域的科学研究工作的发展作出过重大贡献。但个别学术权威逐渐成为某个研究领域的“学霸”，在对实验室进行评估时往往是“一言堂”。由于种种原因，别的专家在发言时也大多附和，不敢或不愿提出不同的意见。由此，专家集体对实验室的评估有可能变为学术权威个体对实验室的评估，专家组的集体作用未能得到正常和有效的发挥。当学术权威的评价意见与客观事实相左时，实验室评估结果就有可能出现较大的偏差。 
　　分析学术权威效应所以能够产生不恰当的作用，一是有的专家盲目迷信权威，虽然同为评估专家，但是专家在学术界处于不同的层次，处于下层的青年学者有可能迷信处于上层的专家，所以不能够发表不同的意见；二是有的专家虽然有不同意见，但由于种种顾虑而不敢发表。上述情形与学术权威霸道的行为相辅相成，形成一种恶性循环，在实验室评估中是极为有害的。 
　　 
　　2．5 同情心理效应 
　　由于个别学科领域参评实验室较多，专家的评分值就有可能挤在一个较小的区域内，如有时专家评分的平均值在1分之间能够排列5至6个实验室之多，而这很难确定实验室之间的差异，从而容易产生较大的偏差。产生这种偏差的原因是由于有关部门实行排序在后的若干实验室要被淘汰这一政策后，有的专家“心慈手软”不忍心给较差的实验室打低分。同情心理效应有可能造成实验室排序特别是末尾部分实验室排序混乱的情况，有可能使得确实较差的实验室死里逃生，而不至于被淘汰的实验室却遭遇厄运，严重影响实验室评估的客观性和公正性。 
　　 
　　2．6 非共识效应 
　　专家在评估实验室时，对某实验室的判断和其他专家的整体判断出现不一致的现象。非共识效应的产生可能是以下几个方面的原因造成的。 
　　2．6．1 专家对个别实验室不熟悉 虽然实验室评估专家的研究工作属于大的学科范围，但是由于一些实验室研究方向过于狭窄或过于宽泛等原因，评估专家可能对某实验室的某些研究工作并不熟悉，对实验室进行评估时，判断发生失误，形成了非共识偏差。 
　　2．6．2 和实验室关系的好恶 由于国内同行专家尤其是小同行专家的数量较少而难免在研究工作的各个方面的接触中产生友谊或发生矛盾，这些可能使得专家们形成了各种错综复杂的关系。在实验室评估时，个别专家有可能不恰当地掺杂了一些个人感情色彩方面的因素，评分时表现出了异乎寻常的偏好或偏见，由此产生了对实验室判断的严重偏差。 
　　2．6．3 “真理在少数人手中”由于基础研究工作的不确定性和风险性，可能大多数专家的判断有误，而个别专家却清醒地看到实验室所具备的未来发展潜力或极有可能出现的重大创新性成果使实验室能够达到某种良好的态势，由此产生了与大多数专家相偏离的判断。一般地，此类状况需要通过长期跟踪来检验。 
　　非共识偏好属于非普遍性偏好，只在少数专家评分时出现。分析近几年实验室评估的数据，对优秀实验室的评估，由于事关重大，评估专家尚能谨慎从事，评分值起伏不大，非共识偏好对评估结果的影响较小。除此之外，非共识偏好对实验室评估结果存在影响，有的影响还相当大。