专家熟悉度对技术预见的影响评估及参数优化

　　摘要:基于“中国工程科技2035技术预见”的专家调查数据，采用复杂网络和统计分析等方法，评估基于Delphi法的技术预见中不同熟悉度咨询专家意见的影响，优化不同熟悉度咨询专家比例和权重。通过复杂网络和显著性检验方法，分析技术预见中各领域不同熟悉度咨询专家分布特征、网络关系以及评分差异;统计比较不同熟悉度专家筛选关键技术的准确性，评估不同熟悉度专家意见对关键技术选择的影响。研究发现:自评估“很熟悉”的咨询专家在技术评估中相对乐观，自评估“较熟悉”的咨询专家在技术评估中相对保守;在不考虑专家人数影响的情况下，自评估“熟悉”的咨询专家的意见相对更为准确。最后通过统计检验和优化算法，优化技术预见中咨询专家人数、不同熟悉度咨询专家比例和权重等参数，为后续技术预见活动提供了参考。

　　关键词:技术预见;Delphi法;专家自评估熟悉度;参数优化

　　0引言

　　通过系统研究未来较长时期内的科学、技术、经济和社会的发展趋势，确定具有战略意义的研究领域，选择对经济和社会利益具有最大化贡献的关键技术是技术预见研究的主要内容[1]。鉴于技术预见在国家和地区科技政策制定、实施和实现方面的有效性和重要性，日本、英国、德国、韩国和中国等国家越来越重视技术预见的作用，纷纷加强技术预见研究力度[2]。

　　在此背景下，中国工程院与国家自然科学基金委员会共同组织开展针对中国工程科技的技术预见活动[3]。由于未来战略研究和通用新技术的研究具有很强的专业性，技术预见一般以依靠专家评估的Delphi法为基础，并结合情景分析、文献计量、专利分析等方法开展研究[4]。

　　基于Delphi法的技术预见研究主要包括调查问卷设计、备选技术清单选择、专家调查和调查问卷统计分析等多个环节，一般通过两轮Delphi调查对备选技术清单进行评估和筛选[5]。技术预见是一项耗时耗力的政府决策工具，为了提升技术预见的科学性和有效性，在每次技术预见之后都很有必要进行一次系统评估[6]。Georghiou和Keenan[7]指出当前还缺少对技术预见效果评估的系统研究，特别是将技术预见看作一种科技创新决策工具的效果评估。尽管如此，部分学者仍然开展了针对国家战略层面技术预见活动的评估研究。

　　日本从1996年第六次技术预见开始，在每次技术预见活动中都对以往技术预见结果的实现情况进行评估，并把相关内容整合到本轮技术预见报告[8]。Tichy[9]通过分析德国在1993年和澳大利亚在1998年的两次技术预见的实现情况，探讨了自评估不同熟悉度专家的评分效果以及自评估方法的有效性。可以发现，以往技术预见评估主要是针对技术预见中已到预估实现时间的技术项，研究周期相对较长。

　　但是对于国家战略层面连续滚动的技术预见活动，难以通过这种方式及时评估上一轮技术预见的结果，并优化下一轮技术预见活动。因此，在缺乏技术项最终实现情况的条件下及时对已开展技术预见进行评估，较为可行的思路是采用对比分析、交叉验证等方法对上一轮技术预见的方法、数据和结果进行评估。在Delphi专家调查过程中，咨询专家需要对被评估技术项的熟悉度、技术核心性、带动性、对经济社会国家的重要性以及预计实现时间等指标进行评分。咨询专家自评估的熟悉度一般分为“很熟悉”“熟悉”“较熟悉”和“不熟悉”四个等级。

　　在调查数据的统计分析过程中，不同熟悉度咨询专家会被赋予的不同权重，因此专家自评估熟悉度对技术预见的结果具有重要影响[10]。Tichy[9]通过对技术预见实施效果的评估发现，自评估熟悉度高的专家在评价过程中往往会低估技术实现和传播等问题，评价结果相对乐观。在“中国工程科技2035技术预见”实践过程中，也存在咨询专家整体熟悉度高、各项指标评分靠前，但最终没有被确定为关键技术的技术项[3]。因此，为了评估技术预见的效果，优化后续技术预见活动，并为其他技术预见活动提供参考，有必要开展不同熟悉度咨询专家意见的准确性分析，专家权重对技术预见结果的影响等方面的及时评估研究。

　　针对专家意见评估、以及专家比例和权重优化等问题，国内外学者进行了深入研究。相关研究大体可以分为两类:一类是优化方法设计，Galanc和Mikus'[11]设计了一种针对长期技术预见中咨询专家选择的二进制优化方法，确立了最少专家人数与技术预见调查相关领域的关系;Pankratova和Malafeeva[12]提出了基于人工智能和自动化工具的检测Delphi调查中专家意见一致性的方法;俞立平等[13]针对科技评价中专家权重赋值优化问题，通过分析比较不同专家分级评价结果与加法平均及证据理论分级结果的差异性，从而提出了一种专家修正自我权重的定量比较方法。

　　另一类是专家调查数据挖掘，Brandes[14]针对英国科学技术办公室(OfficeofScienceandTechnology)在1995年发布的技术预见白皮书中预估在2006年前实现的技术，分析相关技术的实现状况，从而评估专家自评估熟悉度方法的准确性和有效性;程家瑜[15-16]以我国信息、生物、新材料、能源、资源环境、先进制造、农业、人口健康和公共安全领域的技术预测调查数据为基础，研究了各领域中熟悉专家与一般专家评价意见的差异性，并采用统计分析方法对咨询专家人数、权重和评价意见的正态性等问题进行了讨论。

　　为了评估“中国工程科技2035技术预见”的效果，发现存在的问题和不足，优化后续的技术预见活动，以有效支撑国家战略研究，本文利用“中国工程科技2035技术预见”的专家调查数据，基于统计分析、复杂网络和显著性检验等方法，开展技术预见中不同熟悉度咨询专家的意见影响评估以及比例权重优化研究，评估不同熟悉度咨询专家意见的差异，为后续技术预见活动提出咨询专家人数、不同熟悉度咨询专家的比例和权重等方面的优化建议。

　　本文主要分为四部分:首先，整体介绍“中国工程科技2035技术预见”的各领域不同熟悉度咨询专家的分布特征;其次，基于“中国工程科技2035技术预见”的专家调查数据，采用复杂网络和显著性检验方法，研究不同熟悉度咨询专家的网络关系和意见差异;然后，根据统计分析模型和关键技术选择结果，评估不同熟悉度咨询专家评分对技术预见的影响;最后，利用关键技术的咨询专家评估数据，通过统计优化方法，确定合理的咨询专家人数以及不同熟悉度咨询专家比例和权重。

　　1各领域不同熟悉度专家分布情况

　　统计“中国工程科技2035技术预见”第二轮Delphi调查中各个领域不同熟悉度专家人数，分析不同熟悉度专家的分布特征。针对“中国工程科技2035技术预见”的各个领域，对项目数、参与专家人数、收回问卷数以及“很熟悉”“熟悉”和“较熟悉”专家人数(由于“不熟悉”专家人数较少，忽略“不熟悉”专家)进行统计。

　　2不同熟悉度专家意见分析

　　2.1基于复杂网络的专家意见分析

　　为了研究咨询专家的主要类型，分析不同熟悉度咨询专家与被评估技术项的网络关系以及理解不同熟悉度咨询专家的行为差异，采用复杂网络方法研究不同熟悉度咨询专家与技术项评估之间的关系。由于信息与电子领域 技术预见效果整体较好，专家意见可信度高，因此以信息与电子领域为例，开展基于复杂网络的专家意见分析。基于复杂网络方法，建立不同熟悉度咨询专家和被评估技术项的有向网络图。其中，网络节点为咨询专家和技术项，网络连边表示咨询专家对技术项做出了评估。进一步，以技术核心性指标为例，基于复杂网络分析信息与电子领域的不同熟悉度咨询专家的评分差异。

　　3专家熟悉度对关键技术筛选的影响

　　3.1统计分析模型与关键技术选择

　　基于Delphi专家调查数据，通过统计分析模型对各领域的技术项的重要性进行排序，然后通过专家研讨确定各领域最终的关键技术。因此，评估不同熟悉度咨询专家对关键技术选择的影响，首先需要明确统计分析模型和关键技术选择的结果。

　　3.1.1统计分析模型

　　根据咨询专家的问卷调查情况，开展单因素排序的统计分析，相关指数包括:技术核心性指数、技术带动性指数、经济发展重要性指数、社会发展作用指数和保障国家国防安全作用指数。所有指数的专家评分和统计方法类似，因此以技术核心性指数为例进行详细说明。

　　4参数优化建议与主要研究结论

　　通过对“中国工程科技2035技术预见”专家调查数据的分析，发现了各领域不同熟悉度专家评分的特征。根据这些特征，基于统计分析方法和优化算法，优化咨询专家人数、不同熟悉度咨询专家的比例和权重，提出合理的建议，并总结全文。

　　4.1专家人数和不同熟悉度比例建议

　　将“中国工程科技2035技术预见”最终确定的关键技术分为两类，一类是Delphi调查分析排名前10、前15、前20技术中与关键技术相一致的技术，另一类是排名不在前10、前15、前20的关键技术，统计分析两类关键技术的咨询专家人数。

　　排名前10、前15、前20的关键技术项的咨询专家人数与其余关键技术项对比，中位数没有明显差距。排名前10、前15、前20的关键技术项的咨询专家人数分布整体差别不大，中位数呈现略微递减的趋势，与其余关键技术项咨询专家人数比较，箱体分散程度较大，中位数较高。为了求出较优的咨询专家人数，只选取排名前10的关键技术项组的咨询专家人数为研究对象。计算排名前10的关键技术项组的咨询专家人数的95%置信区间，可得最优的咨询专家人数为[35.72，43.31]。通过分析发现，技术项评估需要合理搭配不同熟悉度专家的比例，才能得到更为准确的结果。为了求取不同熟悉度专家的合理比例，分析排名前10的关键技术项组的和其余关键技术咨询专家不同熟悉度的比例数据。

　　工程论文投稿刊物：《中国工程科学》(月刊)创刊于1999年，由中国工程院主管、中国工程院和高等教育出版社共同主办。杂志反映我国工程科技领域研究动向，记载我国工程科技领域学术成果，探讨我国工程科技领域未来发展。

　　本文基于“中国工程科技2035技术预见”的专家调查数据，通过统计分析、复杂网络和显著性检验等方法，开展了技术预见中咨询专家熟悉度影响评估以及专家人数和熟悉度相关参数优化研究。通过本文研究可以发现：

　　(1)基于复杂网络和显著性检验的评估方法能够有效支撑技术预见中不同熟悉度专家意见的及时评估。

　　(2)研究结果验证了Delphi调查过程中自评估很熟悉专家在技术项评估中相对乐观，自评估较熟悉专家在技术项预测中相对保守;同时发现在不考虑专家人数影响的情况下，熟悉专家的意见相对更为准确。

　　(3)通过对关键技术的咨询专家数据的统计分析，本文确定了具有95%置信度咨询专家人数以及不同熟悉度专家比例的选择区间;同时基于BruteForceGridSearch方法，优化不同熟悉度专家权重，为后续技术预见研究专家人数比例选定提供了参考。

　　参考文献：

　　[1]BENM.Foresightinscienceandtechnology[J].TechnologyAnalysis&StrategicManagement，1995，7(2):139-168.

　　[2]NationalInstituteofScienceandTechnologyPolicyofJapan.The10thscienceandtechnologyforesightscenarioplanningfromtheviewpointofglobalization[R].NISTEPREPORTNo.164，2015.

　　[3]王崑声，周晓纪，龚旭，胡良元，孙胜凯，宋超，侯超凡，陈进东.中国工程科技2035技术预见研究[J].中国工程科学，2017(1):34-42.WANGKunsheng，ZHOUXiaoji，GONGXu，HULiangyuan，SUNShengkai，SONGChao，HOUChaofan，CHENJindong.TechnologyforesightonChina'sengineeringscienceandtechnologyto2035[J].EngineeringSciences，2017(1):34-42.

　　作者：陈进东1，3，张永伟2，周晓纪2，孙胜凯2，梁桂林2