重构期刊评价体系,报告会举行

“国际科研评估的方法与实践”报告会举行

清华新闻网5月22日电 5月20日下午,“国际科研评估的方法与实践”专题报告会在清华大学主楼举行,该报告会是第17次科研工作讨论会的系列报告会之一。报告人是汤森路透知识产权与科技事业部中国区首席科学家岳卫平博士。

澳门凯旋门官网 1

岳卫平博士作报告。记者 张 宇

岳卫平博士从全球科研和决策机构面临的挑战讲起,指出了科研评估的重要性。政府关注国家间的科技实力对比,资助机构分析基金项目的产出和影响,以及大学和科研机构进行战略决策常常采用科研评估。

科研评估分为定性和定量两类。定性的同行评议是采用小范围内,自下而上的视角,基于主观认知和判断,并受较早以前研究成果的影响。而定量的绩效分析是采用全球化,自上而下的视角,加权的、相对的度量方法,能够揭示最新研究的贡献。定量分析并不是要取代专家(同行评议),而是为了能够对研究工作进行观察和评论。有时两者均要使用。

岳博士还介绍了定量评估指标的演变、定量评价基础指标与思路,概述了美国、英国、澳大利亚、新西兰、荷兰、日本、巴西等国的科研评估体系,重点讲述了基于事实型数据的定量科研评估。她认为对使用引文分析来进行定量评估的效果来说:基础研究优于应用研究,整体评价优于个体评价,长期评价优于短期评价,相对指标优于绝对指标,多指标优于单指标。

岳博士还从学者个体、研究机构、学科发展等不同层面展示了具体评估的实践案例。比如,对科研人员进行绩效分析时,可以采用发表论文数、引文影响力、H指数、学科规范化的引文影响力指标CNCI和期刊规范化的引文影响力指标JNCI(论文篇均引文数)等多个指标来综合评估。

澳门凯旋门官网 2

报告会现场。记者 张 宇

清华大学科研院、文科处、学科办、人事处、政策研究室、研究生院等部门的负责人和工作人员,教育研究院、社会科学学院等院系老师50多人参加了会议,并与报告人进行了深入的讨论和交流。会议由科研院、文科处主办,科研院成果办王燕主任主持。

供稿:科研院 编辑:蕾蕾 李含

中国学术文献评价参考系统正式亮相中国知网 www.hnedu.cn发表时间: 时间标签来源:中国教育新闻网 点击: 点击数

学术期刊评价在我国的学术评价活动中具有非常重要的地位。同时,对于学术期刊评价的结果,在学术界也历来争议不断。当前,从多方面对定性评价机制进行改进和完善,意义尤为重要。

2016年7月11日,汤森路透公司宣布以 35.5 亿美元出售旗下包括SCI在内的知识产权业务和科学信息业务(IP & Science)。美国微生物学会接踵而来,宣布旗下期刊不再支持影响因子。之后,期刊及出版界(包括Nature的国际顶级期刊)联合发文呼吁期刊出版商对期刊影响因子不予重视,准备重塑期刊评价体系。本文分析影响因子何以深受诟病,并探讨如何构建中国特色的期刊评价体系,强调中国学术界应当乘势而上,在构建评价体系中发出自己声音。

定性定量评价学术论文

学术期刊;定性评价;完善

影响因子为何会引起学界争议

中国学术文献评价参考系统亮相中国知网

学术期刊评价在我国的学术评价活动中具有非常重要的地位。同时,对于学术期刊评价的结果,在学术界也历来争议不断。当前,从多方面对定性评价机制进行改进和完善,意义尤为重要。

澳门凯旋门官网,影响因子(Impact Factor,IF)是汤森路透公司出品的期刊引证报告(Journal Citation Reports,JCR)中的一项指标数据。该指标于1963年由加菲尔德等提出,其目的是为了《科学引文索引》(Science Citation Index,SCI)数据库在遴选期刊时更具有可操作性。

同时发布机构科研成果评价系统、创新人才评价系统、《中国学术期刊影响因子年报》、《中国学术期刊海外引证报告》、个刊学术影响力统计分析系统和中英文科技文献创新点数据库等一系列科研与出版评价数据库。

反思学术期刊定量评价

一个期刊的影响因子等于,该期刊在前面两年发表的源刊文本(source items)在当年度的总被引用数,除以该期刊在前面两年发表的论文总数量。该指标综合考虑了发文量和被引次数两个因素,在本质上是一个均值型算法,即期刊前两年发表论文的篇均被引次数。理论上来讲,一种刊物的影响因子越高,表明该期刊的影响力越大,所发表论文传播范围也更广。

对学术文献的学术价值进行客观、科学、公正的评价,是推动学术研究创新发展的重要机制,但评价方法的科学化却一直是困扰科研管理、创新人才管理、学术期刊管理的重大难题。中国科学文献计量评价研究中心认为,突破这一难题的关键,一是要打破以刊论文的传统模式,建立学术论文评价体系;二是采用定性、定量相结合的评价方法,克服定量评价的模糊性和同行评议的主观性与局限性;三是要将评价与管理实践联系起来,为形成科学合理的评价与管理体系服务。

学术期刊评价最初只是作为文献计量学研究的一个重要组成部分,通过对学术期刊的发展规律和增长趋势进行量化分析,揭示学科文献数量在期刊中的分布规律,为优化学术期刊的使用提供重要参考。

鉴于全球每个科研领域和每个学科中都有大量专业期刊,科研人员都希望将自己的学术成果发表到能有较大概率产生更大影响的学术期刊或传播平台上去,以发挥更大的效用、产生更大的影响,这本是无可厚非的事情。基于科研人员的这种诉求,汤森路透公司通过影响因子指标所构建的SCI、SSCI、A&HCI数据库,实际上是基于期刊的传播范围和使用率构建的一种论文检索工具。

中国科学文献计量评价研究中心从2002年至2009年,每年编制出版一次《中国学术期刊综合引证报告》,旨在全面反映科技、人文和社科的跨学科研究。近年来,该中心基于全面统计分析全国学术期刊的发文和引用情况发现,我国学术期刊出于多层次知识传播的需要,定位于基础研究、技术研究、政策研究等不同类型,且综合类期刊较多,论文整体分布与 布拉德福定律 严重不符,大多数学科不存在二八法则意义上的核心区。简单沿用二八法则选取引文统计源期刊所得到的计量指标,不能客观反映期刊的学术影响力。

学术期刊评价的方法经过了一个演变过程:由早期基于文献集中与分散分布规律的以“发文量”为主要指标评选核心期刊,到基于引文分布理论以“引文数量”为基础,通过计算期刊近两年的平均被引率即期刊影响因子来对期刊的影响力进行量化分级,再到近十年将“发文数量”和“引文数量”相结合、通过H指数和兼顾“引文数量”和“引文质量”的特征因子来对期刊进行复杂评价。以上方法都是通过期刊刊载文献数量或者被引数量进行量化统计并进而评价学术期刊,我们称之为学术期刊定量评价方法。

但是,在实际的科研活动过程中,这一索引工具的原始功能被逐渐异化。在研究生学位授予、科研人员职称评审、课题申报甚至研究机构评价与排名中,都把在SCI等引文数据库中所收录期刊上发表论文作为一项重要指标。如2003年上海交通大学推出世界大学学术排行榜和2004年《泰晤士高等教育》推出排行榜,都将SCI论文引用情况作为其中的核心指标。2012年下半年,教育部学位中心进行了第三轮学科评估,将基本科学指标数据库(Essential Science Indicators,ESI)高被引论文数量纳入指标体系。不论是大学排名还是学科评估,其结果又会进一步影响主管部门对大学的评价。因此,SCI逐渐从一个索引工具异化为一个评价工具,各研究机构和高校基于SCI收录期刊的影响因子,制定了本单位的科研人员绩效考核办法,进一步放大了期刊影响因子的评价导向效应。此外,这又引申出来一个现象,即许多科研机构、高校甚至学术同行越来越依赖于以期刊影响因子来评判一篇论文甚至作者本身的科研水平,进而影响他们的职称评定和获取科研项目资助等机会。这也就是通常所说的“以刊评文”、“以刊评人”的评价怪象。

为此,该中心于2010年首次明确界定了引文统计评价指标的适用范围,提出了从学科领域、研究层次两个维度评价期刊学术质量的方法,编制出版了《中国学术期刊影响因子年报》与个刊影响力统计分析系统,并从2011年起编制出版《中国学术期刊海外引证报告》。此外,该中心为了探索评价论文学术价值的科学方法,于2006年在中国知网发布了《中国学术文献引文数据库》,创建了我国第一个单篇学术论文的引证评价系统,供免费查询。

学术期刊定量评价方法被广泛应用于图书情报学界,其初衷是为图书馆采购遴选出各学科重要的期刊或者为引文数据库建设遴选来源期刊。但是,随着期刊评价结果被用于科研管理,职称晋升、学术奖励和资源分配都与其息息相关,社会各界也对其争议不断。学者逐渐开始反思定量方法在学术评价中的作用。2012年《关于科研评价的旧金山宣言》主要矛头就是指向学术界对期刊影响因子的滥用;2014年《关于科研指标的莱顿宣言》明确指出,量化的评价应当辅助而不是取代定性的专家评估,尽管定量指标可以弥补同行评议中的偏见,但是评估过程应该参考这些定量信息,而不是使决策力让位于指标数字。因此,学术期刊评价中如何使用专家定性判断再次成为关注的热点。

影响因子深受诟病的另一主要原因,要从其算法本身的局限性说起。期刊影响因子是计算期刊前两年的被引数量与发表论文数量的比例。首先,期刊影响因子的高低并不能代表单篇论文质量或创新性的高低,即“以刊评文”存在逻辑上的错误嫌疑。其次,期刊的影响因子也不宜跨学科比较。影响因子高低取决于所属学科的发展情况,学科越不成熟,越需要相互印证,导致引用就多,影响因子就高。但是不同学科其文献更新速度、学科发展情况存在差异,靠单一影响因子来进行期刊评价甚至跨学科的期刊评价,就会有失公允。再次,从引用行为本身来看,也会受到出版时滞、传播途径、名人效应等各方面的影响。最后,也不排除有些期刊为了提高自己的影响因子,人为要求作者强制引用该刊文章甚至与其他期刊建立互相引用联盟,扩大自己的被引次数。

该中心最近开发了我国第一部支持单篇论文评价的中国学术文献评价参考系统。据中国科学文献计量评价研究中心主任、清华大学教授杜文涛介绍,评价参考突破了定性评价的五大操作难点。一是客观反映小同行评价意见,避免专家主观因素造成的误判。其方法是利用先进的文本挖掘技术,将论文引证文献中反映引证动机的内容提取出来,加以规范处理和合理分类,为同行评议专家提供论文评价的客观依据。二是提供创新点比较分析系统,为专家判断论文创新性提供参考。其方法是利用先进的知识挖掘技术,将内容相似论文的创新点提取出来,建成《中英文科技文献创新点数据库》。三是提供AMLC学术不端行为检测系统,为专家提供证伪工具。四是用定量分析方法进行定性分析,方法是将论文引证网络和论文下载量可视化,揭示论文的学术影响力和学术地位。五是构建小同行专家数据库,解决同行评议工作的组织难点。方法是全面、系统、及时、准确地建设我国学者的成果数据库,并使其具有查找、评价专家的功能。上述五大操作难点的突破,将为我国学术论文质量和价值的评价提供有效的信息化手段。另外,参考系统还设计了论文的综合影响力分析指标、传播指标、资助来源、出版者评价、读者评价、学科贡献率等评价维度。

优化学术期刊定性评价机制

评价体系该何去何从?

为了便于各单位、各部门进行日常科研评价与管理,该中心基于上述评价参考研制了机构科研成果评价管理系统和创新人才评价系统,针对科研项目管理、人才资源管理的实际需要提供个性化服务。该系统可以全面、系统、实时提供国家各级各类科研项目。

同行评议(peer review),是定性评价方法中的一种,也称同行专家评审,指同一个学科、研究领域或同一个研究方向的专家按照一定的标准对学术期刊、研究成果、人员、机构等进行的评价活动。同行评议始于17 世纪学术期刊初创之时,如1665 年创刊的世界上最早的期刊之一、英国的《哲学汇刊》就实行同行评审制度。后来,同行评议逐步从学术期刊的审稿发展到评审项目、决定经费的分配。学界普遍认为,将同行评议等定性评价理念应用于学术期刊评价实践,能在一定程度上弥补发文数量、被引次数、影响因子等传统定量指标的不足。

伴随着各界对以“影响因子”为主要指标进行科研评价这一现象的批判,汤森路透近些年又新推出了一些期刊评价指标,包括期刊规范化引文影响力、期刊期望引文数(Journal Expected Citations)等新指标。从计算方法上来说,期刊规范化引文影响力和期刊期望引文数是对以引文为主导的评价体系的一种改良,是旨在对同一类型学术成果中的超过平均水平并提高期刊被引频次的研究成果的一种发现算法,旨在评价学术成果在其所属学科或期刊中的表现情况。

责任编辑:唐雯娟

目前,国内的学术期刊评价体系几乎都明确声称采用定量和定性相结合的方法,但是评价过程中,很多评价体系仅仅公布了定量指标及权重,而对定性具体指标及其权重却未提及,实际操作中将定性评价仅仅作为参考、补充,所占比重很低。因此,定性评价在学术期刊评价体系中还存在诸多问题,需要从多方面对定性评价机制进行改进和完善。

自从科学研究作为一种科研活动和职业正式诞生以来,围绕科研活动的评价问题就层出不穷。特别是在影响因子诞生至今,科研评价从最初的定性评价转向定量评价并在这条道路上越走越远,出现了各种类型的评价指标,它们都试图解决科研活动和学术研究的有效管理问题。同时,评价本身也是一项极具导向性的工作,背后隐藏着巨大的价值导向和创新精神。从当前国内外形形色色的评价指标的推出,到各种权威机构和权威杂志要重构科研评价体系,实质上这是争夺科研评价甚至科学活动研究导向话语权。因此,我们认为,评价工作应该是一项非常重要且意义深远的工作,应该引起我们的高度重视。具体来说,评价工作应该具有和坚持以下原则。

明确评价目的。学术期刊定性评价的目的与学术期刊评价的目的是一致的。学术期刊评价的目的可以有三个层次:整体的期刊综合质量评价、局部的期刊学术评价或者编校出版质量评价、基于单一指标的评价。评价目的明确,才会有相应的评价标准、指标和评价方法。除此之外,明确期刊评价的目的有助于评价专家对期刊评价工作有清晰明确的认识,有助于其在期刊评价过程中根据评价目标进行判断,做出比较客观公正的评价。

一、评价工作应具有鲜明的价值导向。评价工作的导向性自不必说,有什么样的评价体系,就产生什么样的结果,在科研活动中亦是如此,评价的指挥棒作用会被层层放大。从现有的评价活动来看,评价对象关注的学术性得到充分强调,但政治方向和价值导向却未被充分体现。中国社会科学院中国社会科学评价中心在2014年发布的《中国人文社会科学期刊评价报告》,在期刊评价体系中首次设立了“价值导向”指标,在这一方面进行了探索。

设计科学合理的定性评价指标体系。定量评价需要一套指标体系,定性评价也需要科学合理的评价指标体系。指标设计时既要考虑指标体系的科学性,又要考虑实际的可操作性,同时还要根据期刊评价的目的有针对性地选取指标。定性评价指标可以参考以下五个方面:期刊的学术性(指期刊内容的学术含量及比重)、期刊刊载论文的创新性(选题观点、论证、资料、方法等的原创性)、编校质量(编辑策划、栏目设置及编校水平)、学术规范性(论文写作规范及引文著录规范)、社会声誉(学术水平与学风的社会认可度)。根据评价目的选取适合的指标并设置指标权重,比如评价目的是期刊的学术水平,那么期刊的学术性和论文的创新性就应该是评价的主要方面,而其他指标即使设置,权重也应该相对较小。

二、评价工作应坚持定性和定量相结合。评价活动的定性与定量相结合,这是一个比较陈旧的话题。在评价作为一项科研活动被提出以来,就有坚持定性与定量相结合的说法,但是实际上,这项原则往往作为一句原则性的口号被束之高阁,在具体操作过程中变成了一种摆设,没有真正发挥同行评议的应有效果。或者因为简单易操作等原因而重定量、轻定性,将专家意见仅仅作为一种参考;或者专家从定性评价的角度来否定定量评价,这也从主观上造成了两者的不可兼容。这些做法都有失偏颇。

定性评价形式要多样,同行专家要全程参与。学术期刊定性评价总结归纳起来主要有三种形式:问卷调查、专家访谈和会议讨论。问卷调查最常见的方式就是给出学术期刊列表,让专家或同行根据一定的标准对每种期刊进行打分,计算每种期刊的得分;专家访谈主要通过实地调研与专家面对面就期刊评价等相关问题进行交流;会议讨论则是集中组织专家对期刊评价体系或者方法建言献策,或者针对某个学科的期刊进行集中评审。目前的学术期刊评价体系中,一般都只使用了调查问卷或者专家会议讨论,并没有充分发挥出同行专家在期刊评价中的重要作用。各评价机构应最大程度发挥同行专家在期刊评价中的作用,从前期通过访谈或者座谈形式让专家参与到期刊评价指标体系的设计,中期专家对具体期刊的评价,再到后期专家对期刊评价结果进行审读做最后的把关,使专家全程参与到期刊评价过程中。

三、评价工作应区别计量与评价的关系。当前在社会上和学界有一种误解,认为计量分析就是评价,这是一种概念的混淆。计量分析是根据某个或某些指标对分析对象某方面的现象、规律等的一种揭示和描述。例如影响因子就是对期刊过去两年发表的论文的被引平均情况的一种统计和计算,从学术传播范围和利用率方面揭示了期刊的基本事实,并不具备期刊质量和创新性的好坏评价功能。而评价不同,它是基于一定的评判规则,在一定的维度和空间上对被评价对象做出好坏判断,是一种理念和应用的创新,也是对评价主体发展方向的指引。因此,在明确了计量与评价关系的基础上,开展评价工作,就需要构建科学的评价指标体系,基于多指标开展全方位、多角度的诊断,从而判别优劣。

同行专家遴选机制要完善。作为学术期刊定性评价的主体,专家的遴选尤为重要,既要考虑宏观层面专家结构的合理性,又要保证微观层面专家研究领域与期刊所属学科领域的匹配性。定性评价专家整体上可分为三个群体:主管部门内熟悉期刊业界发展的专家,此类专家可以从政治方向和价值导向上进行把控;学科专家,可以从学科专业角度对期刊的学术水平进行评价;期刊编辑专家,不仅可以评价期刊的学术水平,还可以评价期刊的编辑出版质量。针对学科专家和期刊编辑专家,遴选时要多维度多层次考虑:尽量覆盖分支学科;平衡专家的机构和地域分布;兼顾老中青各年龄段的学者。在微观层面需要通过建立专家库汇总专家基本信息、专业背景、从业信息和诚信情况等,以便遴选出责任心强、品德高尚且能与评价对象在专业领域上匹配的专家。

四、中国学术界应当乘势而上,在构建评价体系中发出声音。长期以来,我国的学术期刊评价一直受到来自国外评价体系的影响。在全球都在重构期刊评价指标体系之际,我国应该抓住时机,加快构建我国的期刊评价乃至整个学术评价体系,在国际学术界发出中国声音,抢占国际评价的话语权。

重视读者在学术期刊评价中的作用。学术期刊的传统读者是学术共同体的成员,既包括知名专家学者,也包括初入学术殿堂的研究生。尽管期刊定性评价中有了一定数量的评审专家,但是评审专家相对于广大的读者群体而言,样本数量还是较小。仅仅以专家作为定性评价的主体,评价结果难免偏颇,因此有必要将读者纳入到学术期刊定性评价的主体。为了区别于同行专家,此处读者可以包括在读博士、在站博士后和具有初、中级职称的青年学者。他们处于学术的上升期,对学术期刊也比较了解,其评价意见能够反映此类读者对学术期刊的看法。

2016年5月17日,习近平总书记在哲学社会科学工作座谈会上的讲话中上指出,“要加强优秀外文学术网站和学术期刊建设”,“要建立科学权威、公开透明的哲学社会科学成果评价体系”。期刊评价体系建设是哲学社会科学成果评价体系的重要组成部分。中国社会科学院中国社会科学评价中心在2014年创造性地提出了期刊评价新标准,提出了“AMI”评价体系(A—吸引力,M—管理力,I—影响力)。整套评价体系采取“定性定量相结合”、“客观评价与主观评价相结合、以客观评价为主”的方式。AMI指标体系为5级,共计76项子指标,指标权重全部由行业专家确定。对于难以量化的定性指标,通过将定性评价的分析结果进行定量分析,达到科学评价的目的,取得可信的结果。经过反复测试,该评价中心研发的AMI评价体系可涵盖科研机构评价、科研工作评价、出版物评价、学科评价、个人评价等,具有丰富的内涵和广阔的延展性。AMI评价体系对于有效纠正当前“重数量、轻质量”、过分推崇转载率、影响因子等倾向具有积极意义。

定性评价过程公开透明。目前的学术期刊评价体系中,定性评价结果往往淹没在期刊评价结果中,其中的指标体系、评价方法等都没有公开。部分学术期刊评价体系中的定性评价部分仅对公众公布极少内容,专家姓名被公布,但并未公布其评议的具体是哪些期刊,也不公布评议流程和细节,因此难免会使公众将评价结果与暗箱操作联系起来。如果实行公开透明的评议,那么同行评议将被置于公众视野之下,这样的期刊评价会增加评价专家的责任感和约束力,评价结果的可信度也会提高。因此,定性评价不仅要公开学术期刊评价的范围、对象,而且要公布评审专家的入选条件、定性评价的标准和程序以及评价的结果等。

总之,构建具有鲜明中国特色的哲学社会科学评价体系,归根到底要形成具有中国特色、中国风格、中国气派的哲学社会科学创新体系,推出能体现中国立场、中国精神、中国水平的研究成果。应从辩证、综合和动态的视角出发,全面认识哲学社会科学期刊评价体系,更具建设性地推进学界乃至整个社会对该问题的思考,真正促进哲学社会科学期刊评价向着更规范、更科学、更公平的方向发展。

(作者单位:中国社会科学评价研究院)

(作者系中国社会科学院中国社会科学评价中心主任、研究员;中国社会科学院中国社会科学评价中心助理研究员)

作者简介

姓名:耿海英 工作单位:中国社会科学评价研究院

本文由凯旋门074网址发布于澳门凯旋门官网,转载请注明出处:重构期刊评价体系,报告会举行

您可能还会对下面的文章感兴趣: