查看原文
其他

当期荐读 2020年第3期 | 用户动机视角下的Altmetrics指标研究(内含视频摘要)

图书情报知识 图书情报知识 2021-03-14

ISSN 1003-2797

CN 42-1085/G2

双月刊

同行评审期刊



刘晓娟   王晨琳

(北京师范大学政府管理学院,北京,100875)


目的/意义

从用户动机视角对Altmetrics指标的本质和价值进行分析,使Altmetrics的应用更为科学合理。

研究设计/方法

首先对相关文献中的动机进行组织提炼与规范化表述。在此基础上引入用户行为理论解释和分析用户动机体现的指标价值。再选取Twitter提及量指标,使用内容分析法进行案例研究。

结论/发现

提炼出19种用户动机,其中有6种动机会降低指标应用价值。

创新/价值

探索Altmetrics数据的产生机制,在一定程度上回答了Altmetrics指标可用性问题。

关键词

Altmetrics 指标  社交媒体  用户动机  科研评价  

内容分析法


1


引言

Altmetrics指标的数据来源于用户在社交媒体等各类Web应用上对文献的某种操作,如Mendeley读者数对应用户在Mendeley中保存某篇文献的次数,Twitter提及量对应用户提及某篇文献的推文数。用户出于何种动机进行这些操作,这些动机是否体现用户对文献价值的认可,这些因素直接关系到Altmetrics指标在科研评价中的应用价值[1]


自Altmetrics提出以来,科研领域对此开展了大量研究,其中一部分研究是在认可Altmetrics指标可用性的前提下,探索其在学术成果、期刊、学者等影响力评价[2-4]中的应用,以及在图书馆服务创新[5]和机构知识库建设[6,7]中的应用,这类研究工作建立在Altmetrics能够胜任影响力评价的假设之上,这样才能为研究结论提供一个明确合理的解释。针对这个假设,研究人员也从多方面进行探索,包括Altmetrics指标与引文的相关性分析[8,9];Altmetrics指标对被引量的预测能力[10];Altmetrics指标的数据质量[11,12];Altmetrics指标的理论框架[13,14];Altmetrics指标的数据产生动机[15,16]等。这些研究在一定程度上明确了Altmetrics的应用价值,但仍有大量问题需要深入探讨,特别是从用户动机视角对Altmetrics指标的本质和价值进行分析,这是Altmetrics能否应用于影响力评价的最关键的因素,如果缺乏对用户行为动机的深入研究,任何解释都终将只是假设[17]。因此,对Altmetrics指标的用户动机开展系统性研究十分必要。一方面,深入指标数据的产生情境,了解数据背后的用户动机,能够使Altmetrics指标的应用更加有理有据,在学术成果影响力评价上做出更准确的判断;另一方面,引入用户行为理论,分析用户动机所体现的指标应用价值,有助于完善Altmetrics研究的理论体系以及科学评价体系。


那么,Altmetrics指标的用户动机是如何构成的?不同动机如何影响指标在科研评价中的应用价值?不同应用价值的指标数据又如何投入到实践应用中?为解决这些问题,本研究梳理提炼已有研究中,Altmetrics指标的用户动机;结合用户行为理论分析用户动机对指标应用价值的影响;并选取典型指标进行案例分析;最后给出Altmetrics指标的应用建议。


2


相关研究

当前从用户动机视角展开的Altmetrics研究多为实证型研究。这些研究通常选定某一Altmetrics指标对应的用户行为场景进行动机研究,常见的场景包括大众社交媒体如Facebook上的用户转发、点赞行为;学术社交媒体如Mendeley上的用户保存、收藏行为。Syn等[18]发现Facebook用户转发文献的行为存在为他人提供信息、学习新事物、支持社群利益等动机;Mohammadi等[19]发现用户在Mendeley中为文档添加标签的动机有预引用、更新知识储备、用于教学活动等。研究结论符合行为与动机的一般辩证关系,同时又体现Altmetrics集学术影响力与社会影响力于一体的特点。此外,也有部分针对Altmetrics动机的理论型研究,这些研究通常以经典动机理论或行为理论为基础,结合Altmetrics指标的对象多元化、公众参与广泛[20]等特点,从用户内在需求、外在环境因素以及二者的相互作用等方面解释Altmetrics指标数据的产生机制。如Haustein等[21]从引用行为理论和社交行为理论角度分析社交媒体行为,对Altmetrics的本质进行解读;Katvala等[22]基于注意力经济理论解释altmetric数据来源,并结合Facebook数据进行定性和定量研究,他们认为信息内容的相关性、社区性和互动性是引起用户关注的三大因素,使得Altmetrics既能反映科学研究或出版物的学术影响,又能反映其社会影响。


在研究方法上,当前研究主要采用了两类方法。第一,使用问卷调查法调查用户动机。如Ghaisani等[23]通过问卷调查获取用户真实想法,以此了解社交网络中分享行为的用户动机。第二,针对社交平台上的UGC(用户生成内容)数据,使用内容分析法或文本挖掘法分析用户的情感倾向或行为动机。如Shema等[24]综合考虑博客的参考文献特征以及典型内容,通过内容分析法研究博客引用行为的动机;赵琳玉[25]使用文本分析法还原微博博主的信息传播表征,并用内容分析法分析粉丝心理动机。问卷法和内容分析法这两种研究方法也常用于一般性的动机研究,相比于问卷调查,内容分析法的数据来源于社交平台的用户行为轨迹,更加客观。但不论是哪一种方法,都需参考基础性的动机理论建立动机类别体系。


综上所述,针对Altmetrics指标的用户行为动机研究逐渐兴起,当前研究大多针对某个指标的用户动机进行研究,且均发现同一Altmetrics指标存在不同的动机。然而,由于研究方法、研究视角的差异,不同文献对同类动机的表述差别较大,因此有必要将现有文献中常见指标的用户动机进行组织提炼,并在此基础上根据用户行为理论对动机进行解释和分析,明确不同动机对Altmetrics指标应用价值的影响情况,使Altmetrics的理论体系更加丰富。


3


Altmetrics指标的用户动机理论研究

3.1

用户动机提炼

考虑到当前已有很多学者针对Altmetrics的用户动机开展了研究,得到了非常有价值的结论,因此本研究采用文本分析法,选取国内外较具代表性的22篇相关文献,从中提取Altmetrics指标的用户动机并进行归类整理。这些文献涉及Twitter提及量、F1000prime评论数、Facebook点赞数、Facebook转发量、Mendeley读者数、Mendeley书签数以及学术博客的引用量等七个Altmetrics指标。


由于不同文献对指标动机的表述存在差异,因此需根据语义对其进行提炼和规范化表述。首先,将不同文献中的相同指标的同类动机进行合并。例如对于Facebook转发量指标,有的学者[26]提到用户动机包括“reciprocity”(互惠),有的学者[27]认为用户动机之一为社会资本(包括反馈机制、互惠性),所以将他们归纳整合为“互惠动机”。其次,参考普遍说法,将含义相同但描述不同的动机进行规范化表述。例如将“用户通过共享信息与人保持联络”[28]和“维系良好社会关系”[29]统一成“社群参与动机”。以动机为划分维度,最终得到表1中的19种用户动机。



3.2

用户动机分析

参考Haustein等[80]对社交媒体行为的理论分析,选取引用需求理论(包括马太效应、概念符号理论)和社交需求理论(包括社会资本理论、注意力经济理论、印象管理理论)等五种用户行为理论来分析用户动机。对应地,从语义学角度可以将19种用户动机划分为引用和社交两大类需求动机。


3.2.1  引用需求类动机

用户的引用需求类动机主要反映Altmetrics指标的学术性,包括从众动机、择优倾向、预引用动机、论证动机、简化表达等5种动机。从众动机指的是用户出于跟风从众心理而触发点赞、转发等社交行为。与其类似的择优倾向指的是用户在潜意识中更偏好高影响力作者或知名期刊。这两种动机就是马太效应在社交媒体中的体现,即“对有一定声望的科学家所作的特定科学贡献的认可度增加,而对尚未取得成就的科学家则不予认可。”[81]由于无法反映用户本身的真实态度,从众动机和择优倾向会降低Altmetrics指标在科研评价中的应用价值。预引用动机指的是用户事先保存或标注文献以方便后续对其进行引用,论证动机指的是用户引用文献支撑个人观点。已有研究表明,引用可以在施引文献与被引文献中的论点间建立联系,从而使概念符号[82,83]传递下去,由此产生的指标应用价值较高。但要注意的是,在概念符号传递的过程中,会经由不同学者解读加工,比如施引学者根据自身研究的需要,将原始文本拆分成几个方面引用,此过程中原文如果被施引者错误解读或过度简化,则会导致概念符号的原本含义无法被准确传递。因此简化表达动机使得用户数据仅体现文献的表征信息,无法完整且准确地体现用户对文献的评价,会降低相关指标的应用价值。


3.2.2  社交需求类动机

用户的社交需求类动机主要反映Altmetrics指标的社会性,包括社群参与动机、互惠动机等14种动机。


社群参与动机是指用户出于参与社群活动、维护人际情感的目的进行活动,被动动机指的是用户受发布人身份压制,迫不得已点赞、转发等。根据社会资本理论,这些动机的产生是由于人类是社群动物,需要与自己所在的社群紧密联系[84];并且社群成员通过构建和维护社交网络来保持联系,可以从中积累自己的社会资本。然而这些动机产生的数据无法体现用户的真正态度,特别是被动动机,使得指标的应用价值大打折扣,由此产生的数据甚至可视为无效数据,不建议用于科研评价中。


而与社会资本相关的动机也有积极的一面,如互惠动机和获利动机。其中互惠动机指的是用户出于反馈社群、反馈社会的目的进行相关社交活动;获利动机指的是用户通过在评价对象与自身之间建立联系,以获得未来的潜在利益。由于网络社群改变了传统人际关系的架构模式,使得个体的人际社会资本最大化[85],且社会资本具有高度的自我增值能力[86]。这就使得有意识地进行学术人际投资可以给用户带来潜在的学术效益。以获利动机为例,用户在学术博客中引用文献时,可能是出于与评论内容建立联系的目的,丰富自己在同行评审中的经历;也可能是出于与文献本身建立联系的目的,若是推荐了优秀作品,自己的名誉也能得到加强;还可能是出于与文献作者建立联系的目的,了解该作者的研究方向与观点思想,以便之后进行相关合作。虽然这种动机的目的性很强,但能够体现用户对文献观点的认同度,出于自我责任意识,用户会主动保证评价的质量,因此所产生的指标数据的应用价值较高。


兴趣动机指的是用户对内容感兴趣而进行相关社交活动;成本最小化动机指的是用户出于提高社交效率的目的进行相关社交活动,从而能降低获取和筛选信息的时间成本;自我提升动机是出于更新专业知识或学习新事物的目的;教学动机是出于教学目的;传播推荐动机是出于推荐、传播有趣的研究的目的;关注动机是出于吸引他人关注,同时关注他人的目的。根据注意力经济理论[87],用户需要付出有限的注意力来得到有用信息,为了使效率最大化,用户会使用各种手段来减少筛选海量信息的时间;而为了吸引更多用户的注意力,信息提供者则会发布更有价值的信息。这就保证了所产生的指标数据的质量。因此上述动机产生的指标数据应用价值较高。相反地,无意动机(无目的或无意识的社交行为)、消遣动机(娱乐或消磨时间而引发社交行为)产生的数据应用价值很低。


名誉维护动机指的是用户出于塑造个人形象,或建立自我价值认同的目的而进行相关社交活动;利他动机指出于为他人提供有用信息或最新信息的目的而进行社交活动。根据印象管理理论[88],人们在沟通交流时会有意或无意地树立自我形象,并在社交过程中维持这种形象,以此来使别人对自己形成一种预期的固定印象。出于印象管理需求,用户要对自己的形象负完全责任,因此会更加重视所传播的文献内容,对文献做出的点评力求贴合自己的形象,以免造成“人设崩塌”,因此这两种动机产生的指标数据的应用价值较高。



由以上分析可知,由于社交媒体用户动机的复杂性,不是所有动机产生的Altmetrics指标数据在科研评价中都具有高应用价值。从众动机、消遣动机、无意动机、简化表达、被动动机、社群参与动机等6种用户动机反而会产生负向影响,降低指标的应用价值;择优倾向、预引用动机、论证动机、名誉维护、互惠动机、利他动机、获利动机、关注动机、传播推荐动机、兴趣动机、成本最小化动机、自我提升动机、教学动机等13种动机可以使指标的应用价值处于较高水平,具有正向影响。


3.3

主次动机划分

由动机提炼结果可知,Altmetrics指标动机多元,每个指标都包含多种动机,而每种动机对指标应用价值的影响不同。根据组织行为学[89]与动机心理学[90],一个人的行为由其整体动机结构中强度最高的动机所决定。社交媒体用户动机按照作用强度可分为主要动机(优势动机)和次要动机(辅助动机),主要动机所起的作用较为强烈、稳定,处于支配用户行为的地位;次要动机作用较弱,较不稳定,处于辅助地位。结合信息行为论[91],用户的信息行为由其主要动机所决定,主要动机对用户行为产生的Altmetrics指标数据的价值影响最大,因此需要在多元动机中划分主次动机,以此估算指标的总体价值。


结合已有研究,识别主要动机有两种思路:①先通过问卷或访谈获取被试数据,再使用回归分析法(特别是通径分析法)得到动机的相关系数[92,93],以相关性划分主次动机;②先用大数据方法获取UGC数据,再使用文本分析方法和数据统计方法得到各类动机占比[94,95],以比例高低划分主次动机。其中,问卷或访谈方法存在一些弊端。社会心理学家McClelland[96]指出,问卷/访谈方法测量的是用户的个人认知而不是自发表现出来的动机;此外,问卷/访谈的样本量和样本群体对用户主次动机的判断也存在很大影响。相对而言,社交媒体UGC数据是用户在社交媒体中的真实言行轨迹,呈现了用户内隐的、潜意识中的动机。在当今大数据技术背景下,互联网中海量的社交媒体用户行为完全可以实现精准数字化,因此可以根据量化分析后的各类动机数据占比直观划分出主要动机和次要动机。


4


Twitter提及量的用户动机分析

本部分选取一个Altmetrics指标进行案例分析,在具体情境中分析Altmetrics数据的产生机制。用定量研究补充定性分析,可以更好地从用户动机视角理解Altmetrics指标的应用价值。考虑到Twitter是当今最具代表性的社交媒体之一,且Twitter提及量在多种学科里均属于覆盖率较高的Altmetrics指标,因此选取Twitter提及量进行案例研究,以深入了解Twitter用户提及行为的具体动机,挖掘更深层次的指标价值。


4.1

研究设计

4.1.1  数据集

对altmetric.com公布的2018年最受关注的100篇论文数据进行学科分析可知,医药健康学占比最高,本文选取该领域排名前五的论文进行研究,具有一定的代表性。但由于altmetric.com的数据接口限制,我们只能提取到每篇论文的前1万篇推文,而TOP1论文的Twitter提及量为16,847条(数据获取时间2018-12-11),超出了此上限,存在数据缺失问题,因此最后确定为医药健康学领域最受关注TOP2-6论文。在altmetric.com网站中爬取Twitter用户提及这些论文的推文。每条数据包括提及的时间戳、用户昵称、用户名、推文内容,剔除大量无意义的转发性推文后,最终获得5,103条数据。


4.1.2  研究方法

本研究借鉴Na[97]的动机框架,使用内容分析法对样本论文的推文进行分析。Na使用内容分析法分析了Twitter用户提及心理学领域论文的动机。由于心理学与医药健康学在社交媒体中均引发健康类话题,且社交媒体用户具有参与话题类型集中的特点[98],即同类话题下活跃用户构成相近,用户评论动机构成也相近,因此Na的用户动机体系对本研究有借鉴意义。本文先选取10%的数据集进行预编码,根据医药健康学领域的话题特点进行内容类别增删调整,使预编码结果更符合本研究要求。最终得到用户在Twitter中提及医药健康学领域论文的动机的内容类别,包括讨论、批判、建议、触发、扩展、自我、争议、数据、伦理、其他10大类,共31个动机。


4.2

数据分析

4.2.1  编码结果

对数据集进行内容分析,通过单人两次编码与一致性检验,编码一致性系数达到95%。编码结果见表3,编码过程示例见图1。



4.2.2  结果讨论

由编码结果可知,大部分数据能体现Twitter提及量指标的价值效度。在所有提及内容中,讨论类占比最多(41.86%),特别是提及论文研究内容或发现,这体现了用户对于文献所提供的信息的兴趣与关注。此外,提醒特定对象/人群关注文章与推荐赞美文章的占比也名列前茅(分别占比13.52%和12.48%),这两者体现了用户对文献的传播推荐动机以及潜在的利他动机。由于医药健康与人类生存活动息息相关,用户在社交媒体中更易关注医药健康类论文[99],并发起健康话题的讨论,如健康的影响因素、生活方式、治疗手段等,并将文章推荐给特定对象,扩大科学成果的传播,这些都体现了文献对公众的影响力,这类动机所产生的指标数据具有较高的应用价值。以数据占比来看,以上都是Twitter提及量指标的主要动机,具体包括兴趣动机、关注动机、传播推荐动机和利他动机,由3.2中用户动机分析可知,这些动机对指标价值有正向提高作用,因此指标的总体价值较高。


此外,有19.93%的内容属于无实际意义的推文,这部分数据仅提供文章超链接或仅包含文章标题,没有明确表示赞成或质疑,具体的用户动机难以判断,因此这部分提及次数不适合作为评价科研成果影响力的指标,但可以在一定程度上体现文献在社交媒体中被关注的程度。


虽然Thelwall等[100]认为Twitter提及量主要由自动转发引起,且这部分数据几乎无法反映学术价值,但本研究由以上分析发现,剔除了转发数据后的Twitter提及量指标在反映论文的社交媒体影响力上是有意义的,在科研评价中有较高的应用价值。对于转发推文数和仅包含文章链接的推文数等无实际意义的指标数据,虽然无法反映指标的学术价值,但可作为热门话题推荐指标应用于社交媒体中,或作为大众偏好统计指标应用在商业报告中。此外,在使用Altmetrics工具进行科研评价时,剔除这些无法反映学术价值的指标数据,得到有真正意义的Twitter提及量数值,可以使这个指标所反映的影响力更加准确和客观,有助于完善科研评价指标体系的构建和利用。


5


结论与展望

当人们在数值层面推动Altmetrics指标的应用之时,对数据寻根溯源,探究数据的产生机制,为应用实践寻找理论支撑,是十分关键的。社交媒体上的用户动机复杂多样,不论是一手调查获取还是从二手资料总结,都要结合用户行为理论深入分析和判断。因此本研究从用户动机视角分析了Altmetrics指标的应用问题,从已有文献提炼出19种用户动机,并结合用户行为理论分析了用户动机对Altmetrics指标应用价值的影响,通过文本内容分析探讨Twitter提及量的应用价值。研究发现:①同一Altmetrics指标的动机构成多样;②不同动机使得指标在科研评价中的应用价值存在差异;③使用内容分析法可以得到Altmetrics指标的具体的用户动机,对于指标的真实价值判断和应用有实践意义。


经过对Altmetrics指标的用户动机分析,指标数据的产生机制不再只是“黑箱”,相应的指标应用价值也能得到进一步明确和揭示,Altmetrics在科研评价中的应用不再只基于“假设”。在后续研究中,仍有必要继续从用户动机视角研究Altmetrics指标。一方面,需要将用户动机分析应用于更多Altmetrics指标,对Altmetrics指标动机及应用价值进行全面性把握,当应用于实践中时,面向不同的评价对象就可以选择相匹配的评价指标。另一方面,需要继续从动机视角深入Altmetrics指标的价值划分。由于论文的在线数据激增,学术活动在社交媒体中的界线越来越模糊,多元化的用户动机导致Altmetrics指标的价值构成复杂。而从动机视角深入细分指标价值,可以使数据利用效率最大化。学术价值高的指标数据可用于科研影响力评价,而对于学术价值不高的指标数据,则可用于预测引用量、挖掘大众偏好,在数字图书馆或商业数据库中显示科研成果,作为推荐热门话题、热门领域的参考指标。从总体价值角度,用户行为动机虽然多元,但也存在主次要动机,基于UGC数据进行主次动机划分,可以为总体指标价值的判断提供参考,例如可以将主要动机产生的数据占比作为指标的总体可用性概率,以提高科研评价的准确率。


本研究在解释动机对Altmetrics指标价值的影响时,虽采用了经典的用户行为理论,但仍不够全面,例如没有考虑到环境、设备等客观条件对用户的社交媒体行为动机的影响,这也是下一步工作应该考虑的内容。此外,动机对指标应用价值的影响分析结果仅包括正向和负向,下一步工作拟结合实际数据,更加明确地区分指标的动机层次,进一步探索不同动机对指标应用价值的具体影响程度。


参考文献



*本文原载于《图书情报知识》2019年第6期63-70

版权归《图书情报知识》所有,欢迎转发到朋友圈,转载请联系后台。


制版编辑 | 姚志臻

END





当期荐读 2020年第3期 | 移动端到PC端的微信跨渠道使用行为研究(内含视频摘要)

当期荐读 2020年第3期 | 中国档案学研究热点与前沿问题探讨

当期荐读 2020年第3期 | “数智”赋能时代图情档变革之思考

当期荐读 2020年第3期 | 数字图书馆信息服务的融合与创新———基于2019 年JCDL 年会论文的综述(内含视频摘要)

当期荐读 2020年第3期 | 当计算机科学遇到信息科学 ———马里兰大学信息学院院长Keith Marzullo教授学术访谈

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存