湖北省科学技术厅

一、融合评价基本框架

“融合评价”并非简单的将定性评价和定量评价进行叠加,而是需要制定标准确定哪些成果类型和评价场景采用定量和定性评价,把握二者的“结合度”。制定标准要尊重成果类型和学科规律、考虑政策因素,保证导向正确、公平公正。融合评价基本框架见图1。

图1 融合评价基本框架

在融合评价框架下,具体评价方法可分为三类:

1、传统定量评价(计量评价)。即:当计量数据具备可靠性高、共识度高、获取公平、符合评价目标等特征时,可以直接使用定量评价方法。

2、传统定性评价(同行评议)。即:当定量数据很少,几乎没可用及可比的数据,评价对象体现定性特征时,可采用定性评价方法。

3、融合评价方法。即:提取计量评价与同行评议中的“优质元素”,根据评价场景,把握二者的结合度,将计量评价与同行评议有机结合,取长补短,提升评价的质量。

在不同的评价场景中,计量评价与同行评议中的“优质元素”不一,评价对象可能呈现出计量评价多、同行评议少,或同行评议特征明显、计量指标相对缺失等不同特点。根据计量评价与同行评议结合程度,融合评价方法可进一步分为融合的计量评价与融合的同行评议。

融合的计量评价是将同行评议优质元素融入评价过程,最终通过计量评价的方式形成结果,其表现形式如:专家给出纠正系数,为定量评价指标提供“矫正”;专家制定信息量表,作为计量分析评价的依据等。

融合的同行评议是将数据及计量优质元素融入评价过程,最终通过同行评议的方式形成结果,其表现形式如:计量指标直接对同行评议进行约束、引导;计量数据为同行评议提供重要参考,但不直接影响最终结果等。

二、融合评价实践案例分析

在湖北省科技厅的指导与支持下,课题组与襄阳市科技局、湖北隆中实验室展开合作,组织实施“湖北隆中实验室科技专项”同行评议工作,将“融合评价”相关理念与评价方法融入实践工作。该同行评议工作为“融合评价方法”研究提供了可检验、可评判、可感知的实践场景,为推行“融合评价方法”提供了典型案例参考。本部分将以该实践工作为案例,以评议工作流程阶段为主线,分析“融合评价”范式、方法和实施途径。

(一) 申报书模板修改与优化

为更好地辅助后续专家的评审工作,项目课题组对湖北隆中实验室科技专项项目申报书模板进行修改和优化,对原模板进行修改共计43处,编写《武汉大学科教管理与评价中心项目申报书》,以便于后续专家评审等工作的开展,具体工作概述如下:

1、规范项目申报书格式,便于专家针对性评审。课题组在前期调研基础上,参考不同类型的项目申报书,对项目申报书内容进行补充,新增“回避专家名单”“个人简历”等内容,对“项目基本信息表”进行完善,新增“项目关键词”“项目简介”等基本信息,使项目申报书内容符合规范;对项目申报书中每一项内容均辅以详细的文字说明,帮助申请人明确撰写要点,要求申请人提供确凿的数据或相关信息,使项目申报书清晰易懂,同时便于评审专家有针对性地开展评审工作。

2、凝练项目申报书内容,支撑后续评审工作需要。课题组对项目主要内容进行合并总结和逻辑梳理。在项目主要内容安排上,设置“项目基本信息表”“项目主要研究内容”“项目负责人及研究团队组成人员”“项目经费安排”“项目现有工作基础”等五方面内容,从项目基本信息的清晰性、主要内容的完整性、实施的基础支撑等方面对项目内容进行凝练,收集更充分的项目信息满足后续评审需要。

3、对标立项需求,提供评审工作必要线索。考虑到襄阳市“湖北隆中实验室科技专项”遴选项目的产业化特色和襄阳市对相关产业链提档升级的核心需求及相关评价标准要求,课题组在项目申报书“项目主要内容”部分,强调项目成果应用转化的市场前景与风险评估,以及给襄阳市乃至湖北省带来的社会经济效益。在融合同行评议理念的指导下,课题组要求申请人在填写相关内容时,务必有明确、可参考的数据支撑和详细的论证过程,相关数据将作为专家评审的参考依据,为评审工作提供必要的信息线索。

(二)评审指标体系构建

在融合评价理念下,通过明确评价标准与规则,可以实现定量数据和证据为同行评议提供指导或约束,克服专家主观不确定性和非学术因素影响。为此,课题组编写《武汉大学科教管理与评价中心项目评审评分表》,设计“研究内容”“技术方法”“目标设置和研究方案”“研究团队与工作基础”“预期成果与风险分析”“经济效益”“评审意见”等七个方面内容,为专家评审工作提供更加明确、可量化的线索。

1、明晰评审标准设置,规范评审要求。新的评分表在每个评价内容下设置2—4个评价指标,每个评价指标具体设置“优秀”“良好”“一般”“较差”“很差”5个评审得分,格式规范清晰,方便专家评审工作;在“评审意见”一栏,要求专家对不易量化的评价内容,在评价指标评分的基础上补充评审意见定性结果,使得评审意见结果更完整、立体,提高评审意见的准确性、可靠性。

2、对标襄阳市核心需求,“矫正”量化指标得分。量化指标得分将作为后续立项决策的重要依据,但不同指标对评审活动的重要性不同,需要专家给出纠正系数,“矫正”指标分数可能存在的偏差。在此次同行评议中,在各项评审指标的评分设置方面,综合考量项目组“助力车用新材料及交通装备制造领域科研攻关,推动襄阳市相关产业链提档升级”等目标导向,结合专家意见,对“技术方法”“经济效益”两方面指标赋予更高权重,优先筛选更具先进技术优势和对襄阳市乃至湖北省有卓越经济效益的项目。

(三)专家数据库构建与专家遴选

因湖北隆中实验室前期未有同行评议评审专家资源储备,课题组针对待评审项目内容特点,融合评价理念,新建评审专家数据库,并通过精确匹配生成评审专家推荐名单。

1、综合定性信息与定量数据,制定专家入库标准。结合襄阳市“湖北隆中实验室科技专项”的项目特点,主要从社会属性、学术水平等维度设置入库标准。其中,社会属性表现了评审专家的基本信息,包含职称、荣誉称号和社会影响等内容,优先考虑具有较高社会影响力的领域内资深学者;学术水平主要指专家在特定评审领域的学术产出、学术影响以及学术兼职,这是同行评审专家做出专业判断的前提与基础。根据待选专家在学术产出、学术影响等方面的科学计量评价指标,结合专家在科研经历、技术实践、管理经验等各方面的综合表现,综合定量与定性评价,最终形成学术专家(具有突出的学术表现)、技术专家(具有较高的技术创新水平)、行业专家(具有丰富的企业管理经验)相结合的多元化专家队伍,为同行评议质量保障提供基础。

2、协同系统算法与专家智慧,生成专家推荐列表。为保障专家遴选的准确性和公平性,课题组基于同行评议专家数据平台,采用混合推荐算法,落实专家回避、交叉评审等原则,生成“湖北隆中实验室科技专项”评审专家推荐列表。一方面,对项目语料库和专家语料库进行分词处理、术语抽取和词项规范化,并对专家发表成果按照年份分配权重(最新的成果赋予更高的权重);利用TF-IDF等方法提取项目语料库和专家语料库的特征项,将其表示为空间向量,从职称、学术成果等角度对专家进行评分,得到系统推荐的专家名单。另一方面,为落实专家交叉评审原则,基于前述系统评分推荐结果,通过人工干预调优,尽可能保证每个专家评审两个及以上的项目,协调评审专家在不同项目中的分配,便于专家进行横向比较,最终得到评审专家推荐列表。

(四)评审反馈结果分析

襄阳市“湖北隆中实验室科技专项”第一阶段预遴选立项项目3项。在融合评价理论指导下,课题组对回收的项目评审意见进行数据加权计算和专家建议分析,在襄阳市“湖北隆中实验室科技专项”第一阶段的项目遴选要求的基础上,对10个项目进行综合推荐排序。从排序结果上,相较其余6个项目,排名前四的项目有较明显的优势,故为了更好辅助项目组织方进行第一阶段结果筛选,最终选出优先推荐立项项目4项。相关工作概述如下:

1、评分结果分析。在评审指标设计过程中,设计了“研究内容”“技术方法”“目标设置和研究方案”“研究团队与工作基础”“预期成果与风险分析”“经济效益”“评审意见”等七个方面的内容。每一项内容包含多个评分细项及评分说明,对项目的各个维度进行考评,评分结果反映出该项目受到专家的认可程度。对各项目的评审得分进行比较分析,从评审总分、平均得分、各方面(模块)得分、专家打分分布等方面对项目进行比较,选出得分靠前、无明显缺陷的项目。

2、评审意见分析。在收集专家评分结果的同时,要求评审专家对难以量化的内容给出具体评分意见或建议,作为评分的补充。课题组对各专家给出的评审文本意见进行人工分析,梳理总结各项目的优势、缺陷和可待进一步提升的方面,根据湖北隆中实验室科技专项评审目标导向和实际需求,选出具有较强创新型、技术路线完整可行、研究团队完备,且拥有较好的市场前景和经济效益的项目。

3、基于项目熟悉程度加权的融合评价分析。在评审数据之外,课题组采集了评审专家对项目的熟悉程度信息。结果显示,83.7%的专家对评审项目“非常熟悉”,16.3%的专家对评审项目“一般熟悉”,这既表明专家遴选匹配工作的精准性,也为融合评价的顺利推行奠定良好的专家基础。由于专家对项目的熟悉程度不尽相同,其评价得分结果的直接比较可能存在偏差,需要对原得分指标进行“矫正”。对此,根据评审专家对项目熟悉程度的不同,课题组对评审结果进行加权分析,对项目“非常熟悉”的专家所给的评审结果将得到更高的权重。同时,综合专家的评审意见和评分结果,首先基于评审文本意见,遴选出综合表现靠前的项目,对项目的推荐与否给出粗略分类;再根据给项目评审具体得分,对项目各项得分进行细致比较,得到明确的优先顺序排名。最终按照推荐顺序,向湖北隆中实验室反馈4项优先推荐立项项目,并对不推荐项目给出详细理由。

(五)同行评议模式优化与专家激励探索

融合评价的应用落实不仅需要对评价流程进行改进,对评价方法进行革新,还要关注融合评价结果的利用。为激发评审专家积极性,进一步加强评审双方联系,充分利用评价结果,将专家智慧融入项目的优化提升中,助力项目实施开展,课题组创新性地提出聘请优秀评审专家为特约咨询顾问、项目特聘指导专家等评审专家激励方法。具体实现步骤包括:

1、项目申请者表明是否有意愿与评审专家合作;

2、评审专家对项目提案进行评审,提交评审意见。若有参与项目的意愿,同时向项目申请者提交参与项目申请;

3、项目申请者阅读评审意见,决议是否接纳评审专家参与项目。

在具体操作层面,课题组在与“湖北隆中实验室科技专项”项目工作组达成一致意见的情况下,采集评审专家实质参与某个项目的意愿信息。反馈数据表明,在回复了参与意愿信息的26个专家中,有17个专家表示愿意参与到某个项目,占比65.4%。验证了该专家激励方案的可行性,同时也可以预期,在与评审专家展开深度合作之后,将有助于立项项目更好地实现预期目标。

三、相关政策建议

(一)重视融合评价方法,推广规范化的应用方案

本研究立足湖北隆中实验室科技专项同行评议实践工作,打破“非定量即定性”的惯性思维逻辑,将定量定性深度融合,取得良好评价实践效果。建议省有关部门将湖北隆中实验室同行评议实践作为典型案例,加强对同类评价实践探索的支持力度,关注不同目标导向、不同评价场景下定量评价和定性评价的特点,研制融合评价的规范应用方案。在湖北省内推广隆中实验室项目评价的实践案例经验,树立融合评价理念,引导对原有评价方法的改革,将定量评价与定性评价深度融合,取长补短,互为补充,提升评价的质量和效果。同时进一步凝练总结湖北经验,将典型案例中的优秀经验向全国推广,为国家科技成果评价改革工作贡献湖北智慧和方案。

(二)关注实践需求难点,推动融合评价实施落地

融合评价的推行不仅需要评价理念上的革新,还要在具体的评价方法、流程上做出改进,以支持融合评价的顺利开展。建议在树立融合评价理念的同时,关注融合评价实践的难点,例如:专家评审的数据信息从何而来?评审指标设计如何体现专家智慧,避免误读?建议湖北省相关部门加大对评价实践难点的关注,参考隆中实验室同行评议实践经验,研制出台合适的评价工作指导方案,为定量评价和定性评价创造“融合”的基础条件,使得专家评价有据可依,定量指标有理可循,真正促进定量评价与定性评价的交互融合,切实推动融合评价方法实施落地。

(三)创新专家遴选方法,提升专家评审效能

在此次湖北隆中实验室科技专项同行评议实践中,课题组创新专家遴选方式,根据评审项目内容有针对性的构建项目评审专家数据集,兼顾专家遴选的专业性和公平性。在学术专家之外,创新性地补充技术专家(具有较高的技术创新水平)、行业专家(具有丰富的企业管理经验),建立多元化评审专家队伍,有效提高了评审质量。建议湖北省相关部门在面对重大项目评审时,定制化评审专家数据库,避免大同行、非同行评审,从不同维度遴选专家,保证评审专家队伍的多样化构成,提升专家评审的精准性和有效性。

(四)探索专家激励方法,优化融合评价结果利用

融合评价兼具定量评价与定性评价的优势,其评价结果具有可靠性高、可用性强等特点。例如,在此次湖北隆中实验室科技专项同行评议实践工作中,最终所得评审意见结果有助于申请人优化项目设计和实施方案,助力项目实施开展,对评价对象具有重要意义。而评审专家是评价活动中的重要主体,为充分利用融合评价结果,建议创新专家激励方法,例如本研究所提出的聘请优秀的评审专家为特约咨询顾问、促成专家与申请人合作等激励方法,调动专家评审的积极性,进一步加强评审双方的联系、为双方创造深入合作的机会,实现“以评促优”,将评价结果转换为助推评价对象改进优化的动力。本研究提出的激励方法经湖北隆中实验室科技专项实践验证,适用于产学研合作类项目评审,建议省有关部门委托相关专家团队,进一步验证该激励方法在其他评价场景的适用性,同时探索其他激励方法,优化专家激励机制,提高评审质量、增进对评价结果的利用。

注:本报告为2022年度省软科学研究项目——《“融合评价”在科技评价改革中的理论探索与实践应用》(项目编号2022EDA025)研究成果。

项目负责人:张琳 武汉大学教授