国内学术期刊综合性评价指标的实证研究——基于马克思主义理论学科CSSCI来源期刊的样本分析
摘要：文章以常用的期刊评价指标为基础，
补充了国内重要的基金项目成果等论文影响力指标，
并从规模(指数)影响力、篇均影响力、论文影响力三个维度
构建了国内学术期刊影响力综合评价指标体系；
然后以马克思主义理论学科CSSCI来源期刊为样本进行实证研究。结果显示，
该评价结果既与h指数、g指数、p指数等高度正相关，
又兼顾了篇均被引、篇均下载、国家级基金论文等多维指标，
可以较为准确地识别出高质量期刊。
关键词：学术期刊评价；规模影响力；篇均影响力；论文影响力
学术期刊是科学研究成果对外公开的重要载体，对促进学术交流和科技创新有着极为重要的意义。目前中文期刊的种类和数量很多，对中文学术期刊质量、学术影响力等进行分析与评价，有利于发现高水平的期刊、核心作者和各领域的专家队伍。自Gross 1927年提出关于学术期刊评价研究[1]以来，国外的期刊评价研究取得了丰硕成果，出现了多种广泛使用的评价指数。近年来，国内对学术成果和学术期刊的研究方兴未艾，成为学术界和信息计量学领域的重要热点之一。纵观国内学术期刊评价指标的研究，多是借用国外的期刊评价指数，如h指数、g指数、p指数等，对其进行拓展或延伸研究，未能很好地将国内重要的学术评价指标纳入其中。本文将从规模(指数)影响力、篇均影响力、论文影响力三个维度，吸收篇均被引、篇均下载、国家级基金论文等多维指标，以“马克思主义理论”学科中文社会科学引文索引(简称CSSCI)来源期刊为样本进行分析，探索国内学术期刊综合性的影响力评价指标。一、国内外学术期刊评价的主要指标
作为学术期刊评价研究的标志性指标——影响因子，是1972年Garfield首次提出[2]，并由此将影响因子作为SCI核心期刊的定量指标，后来被全世界广泛地用来衡量期刊的影响力[3]。1976 年，美国学者 Gabriel Pinski和 Francis Narin 提出以引用某论文的论文被引频次作为权重, 迭代计算引文影响权重的思想[4]。在Google公司创立的PageRank 算法基础上，2007年，美国华盛顿大学的 Carl T.Bergstrom和Jevin D.West等人发布了期刊评价新指标——Eigenfactor(特征因子)[5-6]，开创了一种新的期刊评价的维度和指标，并由此得到了广泛应用和认可。在上述评价思想之下，各类学术期刊评价指标纷纷出现，如总被引频次、他引量、期刊载文量、半衰期、即年指数、SJR指数等。与此同时，在对学者或期刊影响力的评价研究中，以发文量和被引量为维度，学者们构建了众多评价指数。2005年，美国加州大学圣地亚哥分校的物理学家乔治·赫希(Jorge E.Hirsch)提出了评价科学家学术水平和科研绩效的h指数，后经匈牙利学者Tibor Braun 等的推广应用，将h指数扩展为学术期刊的评价指标[7]。随后，通过对评价指标和使用方法的改进，又纷纷提出了多种期刊评价指数，如2006年Egghe提出g指数[8]，2010年 Prathap 提出p指数[9]等等。国内期刊评价指标研究缘起于1992年国家科学技术委员会制定的《科学技术期刊质量要求及评估标准》，开启了以“质量评估”为基础的期刊评价研究与实践。同年，北京大学图书馆第一版《中文核心期刊要目总览》编辑出版，全面拉开了评价机构进行期刊定量统计与评价的序幕[10]。随后，南京大学“中文社会科学引文索引(CSSCI)来源期刊”、中国科学院文献情报中心“中国科学引文数据库(CSCD)来源期刊”、中国科学技术信息研究所的“中国科技论文与引文数据库”、中国社会科学院文献信息中心“中国人文社会科学核心期刊”、万方数据股份有限公司的“中国核心期刊遴选数据库”等成为国内重要的核心期刊评价标准。近年来，国内学术界对学术期刊评价的研究方兴未艾，尤其是在引入国际上发明的文献计量评价方法基础上加以吸收与改进之后[11]，创建了多样性的期刊评价分析方法。比如多源数据融合[12]、hq2指数[13]、htop 指数[14]、引文指标和Altmetrics指标综合评价[15]、熵权TOPSIS及因子分析指标[16]、组合赋权和VIKOR综合评价[17]、DEMATEL和Choquet积分分析[18]、主成分分析[19]、DEA/AR 博弈交叉效率分析[20]、PLS结构方程模型[21]等等，有力地推动了国内学术期刊的发展。纵观学术期刊的各类评价指标体系，均以定量评价研究为方法，构建一定的算法和模型，以计量化的数值评价学术期刊质量和影响力评价。显然，科学的评价指标有助于对期刊进行正确的认识和定位，对推动期刊学术质量和出版质量的提高、促进科学的发展和新知识的发现有着重要意义。然而，当前学术期刊的评价指标也存在着缺点和不足，影响着评价指标的认可度。主要表现为：第一，评价指标过度单一。无论国际上广泛使用的h指数、g指数、p指数，还是国内学者建构的hq2指数、htop 指数、PR8指数等，评价的指标多是以高被引论文量、影响因子、被引频次等较为单一的指标作为数据来源，存在着评价的片面性和局部性等问题。第二，评价方法极为复杂。近年来，学者们建构了大量的学术期刊的评价模型，但多数仍处于探索和少量的实证分析阶段，加之模型和算法都极为复杂，均未形成被广泛认可和应用的标准效应。第三，一味追求国外指标的引进，缺少对国内公认的学术评价指标的吸收。在众多的评价指标研究中，多数是对国外的定量分析指标进行深化或者重构，但是否是国家自然科学基金、国家社会科学基金、973/863项目以及面向国家重点科技攻关课题等高水平项目成果这一指标却很少被纳入其中，以致国内很多高水平的科研成果因一味地追求科学引文索引(简称SCI)收录和对学科的基本科学指标数据库(简称ESI)贡献度，都竞相发表于国外学术期刊，未能很好地成为引领国内高水平学术期刊建设的动力。二、综合性评价指标的选取
本文将从规模(指数)影响力的分析评价指标、篇均影响力的分析评价指标，并同时赋予国家级科研项目成果等论文影响力的分析评价指标出发，对三类指标进行综合权重分析，构建更加全面的期刊评价指标体系。(1)基于规模(指数)影响力的评价指标：以h指数、g指数、p指数为代表h指数是指在“期刊发表的全部论文中，有h篇论文且h篇论文中的每篇论文被引次数至少为 h，h 这个数值即为该刊的h值”[22]。Egghe L.认为“引入g指数作为对h指数的改进，用以衡量一组文章的引文表现，该指数是指引文量最大的前g篇文章至少共有g2条引文，并得出g≥h”[8]。p指数的计算公式为 p=(C2/N)1/3=(C×(C/N))1/3(其中C为被引频次，N为发文量)[23]。从h指数、g指数、p指数的概念和算法可知，三者都是通过对发文量、引用量等的定量分析，并通过相应的数据处理获得的指标数据。从中我们可以直观地认识到，三者均是以排名靠前的高引文论文数量为基础的评价指标，这必然会导致其对期刊的发文量和被引量的规模影响力高度敏感。本文以CSSCI(2019-2020)来源期刊目录中“马克思主义理论”学科的19种期刊为样本，将期刊发表论文的时间跨度设置为2009-2018年，被引年度跨度设置为2009-2019年，对CNKI“中国引文数据库”进行检索。根据检索和计算，可以得出19种马克思主义理论期刊的规模数据，以及h指数、g指数、p指数数据，见表1。表1 19种马克思主义理论期刊规模(指数)影响力指数一览表注：N表示发文量；Nc1表示被引篇次;S表示下载总量; C1表示总被引数；C2表示总被他引；CMax表示最高被引数。为了进一步了解各指数与发文量、被引量等规模指标数据之间的关系，我们使用SPSS24.0统计软件对所计算的19种期刊的规模(指数)影响力指标进行Spearman相关性分析(见表2)，可以得出h指数、g指数、p指数与期刊的规模指标高度正相关。注：“**”表示相关性在 0.01层上显著(双尾)。h指数、g指数、p指数虽是国际上较为普遍的期刊评价指标，但其基于规模影响力的评价指标，很难将一年只出版1次且发表数仅十篇文章的某种期刊，与一年出版12次且发表数百篇文章的期刊放在一起进行评价。由此，选取期刊的篇均影响力评价指标显然是更显公平和极有意义的补充。在对国内期刊评价指标的综合分析后，本文选取被广泛认可的篇均被引频次、篇均他引频次、篇均下载量、平均复合影响因子、平均综合影响因子、即年篇均被引频次之和等指标。这些指标能分别从被引量、下载量、影响因子、即年指标等多维度考量期刊的篇均影响力。按照同样的检索条件对“中国引文数据库”进行检索，并进行数据处理，可以得出19种马克思主义理论期刊的篇均影响力评价数据，见表3。表3 19种马克思主义理论期刊篇均影响力指数一览表注：Ic1表示篇均被引频次；Ic2表示篇均他引频次; Is表示篇均下载量; IF1表示平均复合影响因子；IF2表示平均综合影响因子；∑Ic表示即年篇均被引频次之和。众所周知，在国内期刊和学术论文评价中，被SCI、EI(The Engineering Index)、《中文核心期刊要目总览》、CSSCI、CSCD收录等是重要的参考指标。由此，在引文评价中，重要期刊的引用率也应该是期刊评价的重要维度。同样，国家级纵向基金课题是国内科研水平的重要衡量指标，由此而产生了国家级基金项目的发文量和发文率，被国家级基金项目论文引用量和篇均引用频次等，也应该被纳入到期刊质量评价的指标中。通过对19种马克思主义理论期刊的数据分析发现，全部论文均有被引用过，也就是说论文的被引率均为100%。但进一步分析发现，被引2次以上的论文比例相差较大。所以本文在这一指标的选取中，采用了“2次以上被引率”代替了通常的“被引率”，以便在刨除仅被1次引用的论文量后，使该指标更具评价意义。按照同样的检索方法，进行数据处理，可以得出19种马克思主义理论期刊的论文影响力评价数据如下，见表4。表4 19种马克思主义理论期刊论文影响力指数一览表注：Nc2表示被引2次以上篇次；Inc2表示2次以上被引率; Nc3表示被重要期刊引用篇次；Inc3表示被重要期刊引用率；Nh表示国家级基金发文量；Inh表示国家级基金发文率；Ch表示国家级基金被引频次；Ich表示篇均被国家基金引用频次。规模(指数)影响力、篇均影响力、论文影响力构成了本文学术期刊综合性评价的指标体系，但上述纳入评价的指标存在着条目过多、部分重复等现象。经过整合，本文采用的规模(指数)影响力指标为h指数、g指数、p指数。在篇均影响力指标中，将“篇均被引频次”与“篇均他引频次”整合为“篇均被引量(Ic)”，将“平均复合影响因子”与“平均综合影响因子”整合为“平均影响因子(If)”。在论文影响力指标中，“被引2次以上篇次”与“2次以上被引率”是显著关联的指标，文章只选取“2次以上被引率(Inc2)”这一更加均衡的影响力指标。同理，选取了“篇均被国家级基金引用频次(Ich)” “国家级基金发文率(Inh)”“被重要期刊引用率(Inc3)”等指标。三、指标权重及数值的选取与结果
由于上述评价指标选取的数据来自不同维度，计算出的数值大小差距大、可比性差。为此，学术界也对评价指标进行了多样的模型建构和算法处理研究，但总体上，模型和算法通常都太过复杂，以致非文献计量学专业人员对指标的理解、计算和应用难度较大。本研究对各指标设置同样的权重，以简便的方式对各指标数值做标准化处理，即通过对数值进行整十倍的扩大或缩小，使得每一项指标的最大值与最小值的差距保持在1与10之间。比如标准化处理后的h指数，1≤hmax-hmin≤10。经过标准化处理以后，19种马克思主义理论期刊的综合评价数据如下，见表5。从表5可以得出的评价结果是，经过标准化处理后的“总值”越大表明该期刊在同学科期刊中的影响力越大，这能比较准确地识别出马克思主义理论学科中业内公认的高质量期刊。从评价结果看，它既与h指数、g指数、p指数等高度正相关，又兼顾了篇均被引、篇均下载、国家级基金论文等多维度指标，是对已有的期刊评价指标的继承、发展和创新。四、结 语
2020年2月18日，教育部、科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》的通知，指出“鼓励定性与定量相结合的综合评价方式，探索建立科学的评价体系，引导评价工作突出科学精神、创新质量、服务贡献，推动高等学校回归学术初心，净化学术风气，优化学术生态”[24]。在探索科学的评价体系过程中，以文献计量学为基础的期刊定量评价指标理应重视国内对学术研究成果的评价，积极将国内公认的国家级科研项目成果、面向国家发展的战略性和解决卡脖子技术的攻关性科研成果纳入期刊的评价指标，并积极探索将以同行评议为基础的定性评价指标吸收进来，构建国内学术期刊的评价和引导机制，为推动学术的初心回归，为加强国内世界一流的学术期刊建设提供动力和支持。[1] GROSS P L K, GROSS E M.College libraries and chemical education[J].Science，1927(1713): 385-389.
[2] GARFIED E.Citation analysis as a tool in journal evaluation: Journals can be ranked by frequency and impact of citations for science policy studies[J].Science，1972(178):471-479.
[3] 俞立平.影响因子的时间修正研究:R影响因子——兼谈影响因子评价误差的测度方法[J].图书情报知识,2016(4):69-73.
[4] PINSKI G, NARIN F.Citation influence for journal aggregates of scientific publications: theory, with application to the literature of physics[J].Information Processing and Management，1976(5):297-312.
[5] BERGSTROM C T,WEST J D,WISEMAN M A.The eigenfactor(TM)metrics[J].Journal of Neuroscience,2008(45):11433-11434.
[6] 刘艳华,华薇娜.期刊评价新指标——特征因子[J].情报杂志，2010(7):122-126.
[7] BRAUM T，GRAZEL W，SCHUBERT A.A hirsch-type index for journals[J].The Scientist，2005(22): 8.
[8] EGGHE L.Theory and practise of the g-index[J].Scientometrics，2006(1):131-152.
[9] PRATHAP G.Is there a place for a mock h-index[J].Scientometrics，2010(1):153-165.
[10] 李艳.我国学术期刊评价体系现状及发展趋势[J].中国科技期刊研究，2015(5):507-512.
[11] 李超.国内期刊评价及其方法研究的进展与实践[J].情报科学，2012(8):1232-1237.
[12] 陈荣,朱雯,孙济庆.基于多源数据融合方法的期刊评价及实证研究[J].中国科技期刊研究，2019(6):685-692.
[13] 俞立平,韩亚茹,张再杰.考虑载文量影响的 h 指数优化研究——hq2指数[J].现代情报，2020(2):114-121.
[14] 俞立平,王作功,张再杰.h 指数的综合修正研究：htop指数——以学术期刊为例[J].情报学报,2018(12):1188-1192.
[15] 李鑫,任俊霞,基于引文指标和 Altmetrics 指标的期刊影响力综合评价研究[J].情报杂志，2020(1):146-153.
[16] 奉国和,周榕鑫,武佳佳.基于熵权 TOPSIS 及因子分析的学术期刊综合评价研究[J].图书情报工作，2018(17):84-92.
[17] 刘天卓,余颖.基于组合赋权和VIKOR的学术期刊综合评价研究[J].数学的实践与认识，2019(1):311-320.
[18] 张发明，王伟明.基于DEMATEL和Choquet积分的学术期刊综合评价研究[J].情报科学，2018(5):71-75.
[19] 辛督强.基于主成分分析的13种力学类中文期刊综合评价[J].中国科技期刊研究，2012(2):224-227.
[20] 李琳,黄海军,汪寿阳.基于DEA/AR 博弈交叉效率方法的学术期刊评价研究[J].管理科学学报,2016(4):118-126.
[21] 熊国经,熊玲玲,陈小山.基于PLS结构方程模型进行学术期刊评价的实证研究[J].情报理论与实践，2017(8):117-212.
[22] 徐怡珊.h 指数在期刊评价中的应用——以环境科学类中文核心期刊为例[J].出版科学，2019(2):53-59.
[23] 许新军.h指数与p指数的比较分析[J].情报杂志，201808):158-161.
[24] 中华人民共和国教育部.关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见[EB/OL].(2020-03-02)[2020-04-01].http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html.
作者简介：刘荣清(1973-)，男，安徽合肥人，博士，副研究馆员基金项目：安徽省高等学校图书情报工作委员会基金项目重点课题(TGW18A01)文章来源：合肥工业大学学报(社会科学版). 2021,35(01)