人文社科学术著作评价指标体系构建及实证研究

　　摘要:[研究目的]科学合理的人文社科学术著作评价指标体系能够为优秀成果评选、职称评定、项目评审及人才评价等学术评价活动提供理论依据与方法参考。[研究方法]以高等学校科学研究优秀成果奖(人文社会科学)第3届至第7届获著作奖的27个学科的2175本著作为对象,做指标特征分析。综合考虑各项原则,遴选出5个一级、11个二级、28个三级评价指标,并进行学科分类。使用专家调查法、层次分析法、熵权法确定不同学科分类指标权重,完成评价指标体系的构建。以申报第8届高等学校科学研究优秀成果奖(人文社会科学)中的人文类、社科类和综合类的577本著作为实验数据,对指标体系进行了实证验证。[研究结论]哲学、社会学实证结果与实际获奖情况比较一致,管理学则与实际获奖相关性不高。从学科属性、数据源等方面分析了原因,提出应加强书评数据库建设和著作全文本分析。

　　关键词:人文社科;学术著作;指标体系;补充计量学

　　0引言

　　学术著作作为学术成果的重要形式之一,具有信息量大、专业性强、学术影响力持久等特点,凝聚了著者多年的学术积淀。相比论文评价,关于学术著作评价,无论在评价理论,还是评价方法研究方面均较为薄弱,难以适应和满足包括代表作评价在内的各类学术评价现实需求。以往学术著作的评价均以同行评议为主,甚至将同行评价作为唯一的评价方法。但同行评议具有难以克服的专家主观性、专家知识的局限性、评价时间的制约性等缺陷。

　　随着网络和信息技术的发展,学术文献撰写、编审、出版、存储、传播整个流程的数字化成为发展趋势。由于技术手段的进步,图书综合评价的部分指标(如下载量、阅读量、引用率、评价数等)更易于获取,使得在网络条件下基于定量评价的基础更为可靠。与此同时,各类定量评价模型的逐步成熟,也为学术著作的科学评价带来了契机。电子图书馆、网上书店的发展及评价系统的建立也为学术著作评价研究提供了新的思路。因此,导入符合学术著作特点的基于多源多维数据的评价指标,科学合理地将其与同行评议相结合已经成为著作评价的方法论基础和方向。

　　1文献回顾

　　现阶段国内外关于著作评价的研究主要集中在评价数据、基础数据库、评价指标、评价体系、评价模型等这几个方面。著作评价的基础数据库研究方面,国外学者从GoogleBookSearch、Springer图书引用角度进行的评价研究较多,汤森路透集团也推出了图书引文索引(BKCI);国内的读秀学术搜索网站从2011年开始发布“图书被引用情况报告冶,并按高被引图书的类别、作者、出版社等进行分类;苏新宁教授团队基于CSSCI引文数据。

　　开展并完成了《中国人文社会科学图书学术影响力报告》;中国图书评论学会和南京大学合作建设的“中文学术图书引文索引冶(CBKCI)项目也取得了阶段性成果;中国科学文献计量评价研究中心研制的《中国高被引图书年报》(2016版)已发布;百度学术亦能实现对学术专著引用数据的获取[1-4]。国外在著作评价的指标与模型研究方面,WhiteHowardD提出了librication指标,即某本书被纳为馆藏的图书馆的数量,ZuccalaA验证了该指标在学术著作评价中的适用性[5-6]。

　　JuanGorraiz提出在线书评可以作为图书评价的指标之一,ZuccalaA,ZhangCheng鄄zhi等人先后使用不同评论平台的读者书评进行了图书影响力评价研究[7-9]。KoushaK、ThelwallM提出并证实了许多评价期刊论文的Altmetric指标可用于评价图书,如:Googlebookcitations(谷歌图书引文)、Libcitations(馆藏)、Onlinereviews(在线书评)、Pub鄄lisherprestige(出版者声望)等[10-12]。Torres-SalinasD使用文献计量学软件证实了涵盖图书馆馆藏、浏览量、下载量及引用量等18个补充计量指标与传统计量指标的互补性[13]。国内在著作评价的指标与模型研究方面,叶继元教授及其团队提出“形式评价、内容评价、效用评价冶三维全评价法[14]。李雁翎提出作者、出版社、图书馆、销售和网络舆情五维图书综合评价体系[15]。

　　张玉利用层次分析法构建了包括引用、网络书评、图书利用,基金、获奖等指标的科技图书学术影响力评价体系[16]。姜春林以资源形式指标、影响形式指标、引用价值指标、图书馆馆藏指标、网络利用指标构建了人文社科著作影响力评价指标体系[17]。王伟以图书馆藏、图书引用、图书获奖、著者学术成就等指标构建了人文社会科学外译图书评价指标体系,并利用熵权法进行了实证分析[18]。

　　从已有文献来看,国内外对学术著作的定性评价多采用书评和专家评价法;书评作为同行评议的依据在国外得到了一定认可。国内以客观数据为依据的定量评价得到较多关注,其中应用最广的是引文分析法。目前对于著作评价主要集中于书评分析、书目分析和引文分析,较多依赖单个指标和单维度评价,基于多维度的著作综合评价研究相对较少。

　　2指标体系构建

　　2.1构建原则

　　随着人文社会科学研究范围日益扩大,影响研究成果的因素愈加复杂,给学术专著评价工作带来更大挑战。以更加科学、客观、公正地对人文社会科学研究成果进行评价是当前的紧要之需。为保证学术专著评价的结果更具科学性、合理性与公正性,所构建的评价指标体系需遵循科学性原则,数据透明原则,可比、可操作、可量化原则等。

　　2.2指标选取

　　通过阅读统计大量文献总结现有著作评价方法及指标,发现现有的著作评价方法大致分为形式层面评价方法和内容层面评价方法,形式层面评价方法主要为文献计量学和补充计量学(Altmet鄄rics)两大类,文献计量学的主要评价指标大致包括获奖情况、基金资助情况、引用情况、传统使用情况(如馆藏量、销量、再版次数等)等,补充计量学的主要评价指标大致包括社交媒体的提及次数、评论数,电子文库的下载量、浏览量等;内容层面评价方法主要为引用内容分析法和著作内容综合评价法,引用内容分析法的主要评价指标大致包括引用位置、引用篇幅等,著作内容综合评价法的主要评价指标大致包括书评、媒体宣传、阅读推广、销售平台导读等。

　　总体来讲,形式层面评价虽具有易于操作、可量化、效率高等优势,但同时也存在忽视著作内容、核心价值、知识贡献评价的缺陷;相反内容层面评价方法,虽然从著作内容出发,一定程度上能揭示著作的核心价值和知识贡献,但存在主观性强、可操作性不强、费时费力等缺陷,两类评价方法各有优缺点且呈互补关系。

　　我们在对人文社科著作进行评价时,既要注重利用领域专家的专业知识对著作内容质量和学术价值进行评判,也要力求用客观数据来刻画著作影响力。基于对上述形式及内容指标的理论可靠性、可量化性、可获得性、时效性等多方面考量,综合选取了包含形式评价与内容评价指标在内的著作外部资源、著作被引、基金与奖励、书评、著作利用五个一级指标。每个一级指标下设不同的二级指标,二级指标下设三级指标,最终构建的人文社科学术著作评价指标体系。

　　2.3指标赋权

　　本文对人文社科学术著作进行了学科分类。根据不同指标的学科差异,结合专家调查法和层次分析法,确定不同学科分类评价指标的主观权重。利用熵权法确定各学科分类评价指标的客观权重,最后综合主客观权重值得到最终组合权重。

　　2.3.1学科分类

　　任何一本著作都有其特定的研究内容及所属学科,不同学科类别的著作在研究内容及特性上存在巨大差异,难以用统一标准进行衡量与评估,但是同一类别内的不同学科由于其具有相似的知识属性和研究范式往往呈现相似的学科特征。以高校人文社科奖第三届至第七届获论文著作奖的27个学科的2175本著作为获奖著作指标特征分析的实验样本数据。本文综合考虑国家标准学科分类、人才培养学科目录、人文社科奖获奖著作的中图分类,将高校人文社科奖受理范围设置的28个学科分为人文类,社科类、综合类三大类进行分类分析。

　　3实证验证

　　3.1数据来源与数据处理

　　第八届高等学校科学研究优秀成果奖(人文社会科学)于2019年1月开始申报,受理范围为2014-2017年,受理学科为27个。根据其审核结果公示,共计有9405项申报成果符合申报要求。本文以哲学(206项)、社会学(88项)、管理学(324项),去除英文著作16项,多卷本25项,剩余哲学(179项)、社会学(83项)、管理学(315项)共577项申报成果为本文实证对象。

　　以申报著作的名称、著者、出版年份及出版社作为源数据,从中国国家数字图书馆及中央宣传部出版物数据中心上获取该著作的ISBN号,从CSSCI上获取该著作的被引次数;使用IS鄄BN号为源数据从读秀数据库上获取该著作的馆藏数量、总被引次数、被图书引用次数,并获取该著作的豆瓣评论、当当图书评论以及畅想之星电子图书馆的阅读、荐购、下载、收藏次数。并以前期对期刊书评、报纸书评的数据集为数据库,获取该著作的报纸书评和期刊书评数据。

　　3.2实证验证

　　以哲学、社会学、管理学作为人文类学科、社会类学科和综合类学科的代表,根据构建好的指标体系和标准化后的样本数据计算综合评分并排序,预测可能获奖的著作。本研究将利用本指标体系计算出的各学科申报成果综合得分排名前20%左右的申报成果记为拟定获奖成果,前2%记为一等奖,将排名前3%-12%记为二等奖,将排名前13%-17%记为三等奖,其后将根据本体系得出的获奖名单与实际获奖名单对照分析,以证实本体系的有效性与可行性。

　　3.2.1人文类著作评价指标体系验证结果

　　第八届高校人文社科奖的申报项目中哲学类中文单行本著作成果共计179项,根据本指标体系预测获奖著作30本,其中一等奖4本,二等奖17本,三等奖9本,评奖办根据其评审办法评审获奖30本,其中一等奖3本,二等奖18本,三等奖9本,预测获奖著作与实际获奖著作对照如表6所示,其中是否获奖预测与实际一致的共计14本,获奖等级预测与实际一致的共计9本,预测获奖著作的综合评价结果与著作实际获奖结果具有较高的相关性,个别著作的预测评价结果与实际获奖结果差异较大,这与人文社科学术成果奖评审过程中可能出现的主观倾向与人为平衡现象有关。

　　从综合评价结果来看,根据本评价指标体系获得的人文类著作排名结果及预测获奖结果与实际获奖结果之间相关度较高,具有合理性。获得一等奖的《仁学本体论》其综合评分也稳居第一位,其它两本获得一等奖的论著其综合排名分别处于第37、54位,也处于较高排名,获得二等奖的论著其综合排名大部分处于70位之前,只有个别处于100位以上,这与论著的研究主题及著作类型均有一定的关系。获得三等奖的论著其排序也均在80位之前,无异常数值。

　　从综合评价结果来看,根据本指标体系得到的综合类著作排名结果及预测获奖结果与实际获奖结果之间并无显著相关性,著作获奖评审更加着重于其应用价值,获得一等奖的《中国土地和矿产资源有效供给与高效配置机制研究》、《土地整治规划设计研究》、《扶贫开发与区域发展———我国特困地区的贫困与扶贫策略研究》等其研究主题都与现下社会迫切待解决的热点问题息息相关,且对于国家相关部门解决相关问题具有一定的参考借鉴作用;获得二等奖的《中国农村养老保险体系框架与适度水平》、《中国社会保障税税收设计研究》、《基于博弈论和CGE模型的碳税政策研究》、《企业创新生态系统论》等学术著作、其研究问题多为社会或是企业管理长期关注问题,且为这些问题的解决提供了适当的参考建议。

　　4结论与讨论

　　人文类与社科类学术著作综合排序及预测获奖结果与实际获奖结果一致性较高。当然也有些不一致的地方,其原因是多方面的。首先,由于著作的类型不同,部分著作由于被指定为教材或教辅读物,其图书利用率可能会受此影响;其次,由于著作的研究主题不同,被引或被利用的频率与其研究主题是否为热门主题有很大关系,但不可否认非热点研究话题的学术价值与社会价值;再次,由于不同著作的出版时间不同,部分指标可能会受时间因素的影响。例如出版较早的著作在参评时比出版较晚的著作更具优势。

　　不过体系中添加年均被引来平衡这一差异,且著作评审时间一般都过了著作被引高峰。如第八届申报时间为2019年,参评成果范围为2014-2017年出版的著作,而被引高峰一般发生在其出版的第二年;此外,由于指标体系中的多数指标数据是来自搜索引擎的搜索结果,偶然出现的错检、漏检现象可能会对评价结果有一定的影响。

　　由于学者的工作单位不是一成不变,本研究中虽然在智能采集后进行了人工辨别,但是难免会有纰漏;最后,学术著作获奖与否一定程度上受到人为因素的干扰,如不同科研机构之间获奖数额的平衡以及著者学术地位的影响等。总体来说,本研究所构建的评价指标体系对人文类和社科类学术著作评审具有一定的合理性与可操作性,可以作为著作类学术成果奖项评审时的参考依据,并经过不断的实践检验而逐步完善,以降低仅依赖专家评审的时间成本及经济成本,提高评奖过程的客观性。

　　综合类学术著作综合排序及预测获奖结果与实际获奖结果相关性不高,其主要原因在于综合类学术著作偏向于应用型的学术著作更多,在此类著作评审时,可将决策建议被采纳作为主要评审指标,本文由于数据采集难度大并未添加这一指标。在综合类学术著作评审时可由申报者提供是否有决策建议被采纳的相关佐证材料。

　　本指标体系的评审结果可为此类著作评审提供参考作用,帮助评判著作的学术影响力及部分社会影响力。学术评价是一项高度复杂和有挑战性的工作,任何评价方法都不可能十全十美。学术著作评价的关键除了构建科学合理的评价方法体系,还需要构建与评价方法相适应的评价治理体系。在著作评价治理体系中直接或间接存在多种显在和潜在的委托代理关系。

　　如高校人事部门与评聘委员会、文献数据提供者、学会协会、出版社就是委托代理关系。委托代理关系的存在与运行或者需要建立一套正式制度,通过制度契约来保障双方责任的履行,如著作评价的正式文件;或者通过潜在的非正式的心理契约来履约,如专家声誉和第三方机构独立性。为降低评价“交易成本冶,避免“合谋冶,有必要建立信息公开和监督机制;为了实现评价的公信力,有必要建立结果公示机制、反馈机制、争议投诉机制。在评价治理体系的建构中,要注意发挥专家同行评议和科学计量评价方法各自优势。

　　专门的书评书目数据库对于著作评价体系完善有着积极的推动作用,我国需要尽快推动专业机构或者数字企业建立包括报纸书评、期刊书评、社交媒体书评、著作序跋在内的专业书评索引库,以更好地支撑学术研究、服务学术评价和科研管理。国内可借鉴美国BookReviewDigest和TechnicalBookReviewIndex综合类和专业类书评索引建设经验,依托有影响力的数据公司及学术评价机构建立我国的专业书评数据库和索引库。

　　当前国内外部分学者正致力于基于全文本分析的引文指标的研究,试图使用技术手段使学术评价中关于内容评价更加可视化,即通过施引文献全文数据的获取、引用信息识别、引用语境识别、引文指标计算等方式,分析被引文献在施引文献中的引用次数、引用位置及引用语境等,从而分析被引文献在施引文献中的作用,但是这一方法多用于论文评价。由于著作体量大及技术手段限制,较少被用于著作评价。随着技术手段的跟进,此类指标的加入将使学术著作评价指标体系得以进一步完善。

　　参考文献：

　　[1]苏新宁.中国人文社会科学图书影响力评价报告[R]北京:中国社会科学出版社,2012.

　　[2]中国科学文献计量评价研究中心.中国高被引图书年报(2016)[R].北京:《中国学术期刊(光盘版)》电子杂志社有限公司,2016.

　　[3]薛志红.中文人文社会科学优质图书资源统计与应用分析———基于CBKCI(1992—2012年)来源图书数据[J].科技与出版,2018,37(8):158-163.

　　[4]北京世纪读秀技术有限公司.图书被引用情况报告(2020)[R].北京:北京世纪读秀技术有限公司,2020.

　　[5]WhiteHowardD,BoellSebastianK,YuHairong.Libcitations:Ameasureforcomparativeassessmentofbookpublicationsinthehumanitiesandsocialsciences[J].JournaloftheAmericanSoci鄄 etyforInformationScience&Technology,2009,60(6):1083-1096.

　　[6]WhiteHD,ZuccalaAA.Libcitations,worldcat,culturalimpact,andfame[J].JournaloftheAssociationforInformationScienceandTechnology,2018,69(12):1502-1512.

　　[7]GorraizJuan,GumpenbergerChristian,PurnellPhilipJ.Thepow鄄erofbookreviews:asimpleandtransparentenhancementap鄄proachforbookcitationindexes[J].Scientometrics,2014,98(2):841-852.

　　[8]ZuccalaAA,VerleysenFrederikT,CornacchiaRoberto,etal.Altmetricsforthehumanities:comparinggoodreadsreaderratingswithcitationstohistorybooks[J].AslibJournalofInformationManagement,2015,67(3):320-336.

　　[9]QingqingZhou,ChengzhiZhang.Measuringbookimpactviacontent-levelacademicreviewmining[J].ELECTRONICLI鄄BRARY,2020,38(1):138-154.

　　作者：姜春林郭琪琴张光耀