学术出版中的质量控制：互联网时代的新挑战

学术出版中的质量控制：互联网时代的新挑战

Michael Nentwich   

 

摘要：本文主要论述了电子出版（e-publishing）的质量控制将会成为未来学术出版质量控制系统的基础工作。信息通讯技术的发展不仅影响着我们传统的工作方式而且还对学术出版领域的质量控制技术措施构成了挑战。各种新型式的事前和事后控制可能会部分取代和修补同行评议和基于出版商信誉的引文指标和质量过滤器。评估开放的同行评议，网络评论，评级，access counts和使用跟踪进而提出观点。为反驳人们通常认为的电子出版（e-publishing）会导致出版质量的下降，本文提出了一个关于未来质量控制系统的设想。未来我们最有可能会见到一套结合了新旧元素并且针对多样学术领域呈现多样形式的学术出版质量控制混合系统。

 

1、概述

毫无疑问，信息通讯技术的利用已经深深改变了我们的科学研究。学者交换电子邮件，参与网络讨论，远程协助，远程数据库的使用，计算机建模和利用互联网给学生授课。学术出版（academic publishing）因互联网的出现而极大改变：在许多领域，电子期刊的出现，出版社提供在线电子期刊，而且图书馆也正缓慢的转变为提供各种学科数据库资源的窗口。此外我们也可以发现一种只能以数字格式生成而不可能存在于传统的纸质环境里的学术出版物。超文本携带着除文本信息以外的更多信息，多媒体文件增强了传播和交流信息的效果，而且通过数据库沟通研究成果也变的更加普通。总之，研究人员如何正式沟通已经在根本上被新的技术选择所挑战。在这里被广泛讨论的就是“质量”。

当学术出版系统中的质量控制只是现今学术研究体系内的“中心装饰品”时，电子出版正在影响着这一传统。一方面，新技术让位于新形式的裁判（尤其是开放的同行评论和评级制度）挑战着目前的系统。另一方面，个人出版（self-publishing）产生了大量缺乏质量控制的文章。在本文中，我将历数在互联网时代（cyberscience）所发生的这些变化，并评估未来的学术出版质量控制系统。

 

2、互联网时代的发展和机遇

2.1新形式的事前质量控制

互联网的交际和沟通潜力，尤其是与电子邮件和web邮件结合后的网络出版使得开放的同行评论更加具有可行性，无论是在一个纯粹的变异（1）或混合了传统的审阅系统（2）里。此外，它还允许有区别的判别标准（3）。

（1）           同行评价

传统意义上，研究人员只有在确认投稿的文章刊登出来时才会最终确认其文章的投稿成功，但是在电子期刊上公开形式的评论就可以宣告这篇被评论文章的投稿成功。文章被上传到期刊的服务器上并且所有人可以浏览它。文章修改过的注释也是可见的。此外，编辑并不独断地作出录用与否的决定，而是设置一种公共开放的评价机制对文稿进行评判。一般而言，作者和公众的身份都不会伪装，虽然有时候匿名者也会有很优秀的观点，那么让一个位于幕后的人（Smith 1999）去独断的评价其他人的成果显得很不合理

同行评价的理念就是参与评价的人越多则评价的效果越好。非匿名的程序将会更加民主化，少一点独断专行的评价。此外，作者也可以改变过去只能被动被告知自己文章的评价结果而可以通过各种交互方式主动的参与到评价的过程中来。在这之前，传统的审阅机制一直是一种“孤独”的活动，而这种开放交互的机制将会促使很多有趣并很完善的思想和成果涌现。

但是，金无足赤，同行评价也并不是毫无缺点的。像后面段2.2中就要谈及的事后变异一样，有如下的4个威胁存在：

a           许多文章将不会得到任何评论，尤其是那些存在很大缺陷的文章；

b           吸引积极评论的竞争将会很激烈。可能加剧目前学术研究圈子里的宗派小集团趋势(Tomlins 1998, p. 138)；

c           参与同行评价的个体是否都是与作者具备同样水平的专家，换句话说真正的专家会不会参与到同行评价中来。或许仅仅是那些处于这个圈子之外然后没有其他途径引起注意和关注的人才会积极参与到同行评价中来。

d           同行评价将使得编辑等评价人员有时候不敢真实表达自己的意见（因为以往的匿名评价机制可以让编辑独立自由的评价而不需要承担任何风险）。

考虑到以上因素，所以本文认为开放的同行评价机制不应整个的取代学术出版质量控制混合系统而更应该成为其一个重要而且有效的补充部分。

（2）           混合系统

创新性较强的期刊编辑们尝试着整合了传统和开放的同行评价二者的长处，一些混合系统的模型在他们手上被试验出来。

其中一个方案便是引入开放性和透明性并将之应用于裁判过程。比如：评论人员的意见可以提供开放性的的浏览和互动（(Davenport and Cronin 1990).）。评论者的意见（反驳意见和其他评注都可以）在加以修订和整理的的情况下，可以连同被评论的文章一同出版发表（如果这些附带意见的主人同意）（Harnad 1998a）。

另外一种方案，将匿名的评价机制和开放的同行评价机制整合，实现不同的评价人员参与不同的评价过程。这种方案已经在Journal of Interactive Media in Education (JIME)施行。这套微妙的系统由两阶段构成，首先是封闭阶段即专门的审阅人员在一个专门的网站上对文章原稿进行审阅，然后便是开放的阶段即将文章预先打印出来提供同行评价，只有当经过大约两周的网上评论和辩论后，一篇文章才会最终发表出来。

其他的混合系统方案也是包含两个（甚至更多）审阅阶段，一个开放阶段，一个受限阶段。与JIME的方案相反：在这里，同行评价将会先于专门的主编和编辑，编辑随后也会了解同行评价的情况。经合组织OECD的一份A提案（1998）中记录了多重的同行评价阶段。

（3）           有区别的评价标准

电子出版的环境呼唤有区别的评价标准。

首先，不同学科不同水平的专家审阅评价不同的部分。不过这样分割开来的做法也有其局限性。为了保证评价过程的质量，就需要一个“超级审阅人”能综观这些分割开来的部分并且整合之。

其次，电子出版的环境也使得原本不受传统期刊欢迎的科学研究内容（并不是这些研究内容不符合期刊的质量要求，而是不符合期刊的“风格定位”或仅仅就因为太长了）得以有机会发表出来。

无论如何，文章的质量是要控制的，但是对于“现实性”和“创新性”却应该区别对待。

2.2新形式的事后质量控制

在基于纸张的传统学术出版环境中不存在事后质量控制，一旦质量控制失误，那么后果将会无法挽回。而在互联网时代的数字环境，却有一系列的事后质量控制措施。下文我将会讨论3种新颖的事后质量控制措施：注释（1），评级（2）和使用跟踪（3）。

（1）           在线（事后）评论/注释

新技术使得读者的评论意见可以及时附加到既定的文章上，这样文章的质量就会随时得到监控和控制，所以一旦有问题也可以及时得到发现。积极的评论将会提升文章的重要性，而负面的评论或者没有评论会使文章慢慢被边缘化。但是这种做法尚缺乏实际的验证和完善。

（2）           评级/积分

在线评论/注释的做法有2个不足：首先，评论者必须花费很多时间和精力去同读完文章然后写出自己的评论和意见。其次，后续的读者一般会决定看完大部分的评论后再决定是否去读原文。而引入一套文章等级（或得分）机制，将会很有效的解决这2个难题。等级可以由读者自己投票决定，这就像迅雷电影影评社区里对各种电影的评分和排名方法一样。

但是施行级别/得分这种措施又将会导致参与者的无法控制，就是可能会出现这样一种情况即作者或其利益相关者会自己帮自己投票并不持续多次，就如同“明星博客门”事件一样“王婆卖瓜，自卖自夸”造成等级/得分的不客观和失效。这时候就需要建立一套封闭的体系，在这个体系内所有人都有严格的访问限制（每个人只能有一个用户ID和密码），于是每个人（排除作者）实行一人一票制，这将会使得等级/得分的生成更加独立客观。

另外一个难题就是如何处理具有争议的结果。比如，一篇文章要么全部都是正面评价要么全部都是负面评价，甚至有时候既有极度正面的评价同时又有非常负面的评价，这时候就需要计算机引入一个标准偏差额，在这之上或之下就要忽略不计而计算正常部分，如同演唱比赛统分时略去最高分和最低分一样，只不过显然这要复杂的多。另一种解决这个问题的方式是借助一套更加区别化的积分系统，这是一种多层次的积分系统，不仅仅是一个总分而已，如同有时候高考成绩看总分也会看你单科的。

（3）           访问和引文分析，使用跟踪

实际上，纸质出版物的质量评估已经通过其使用情况进行确定。在纸质出版时代，使用情况只是简单的计算学术期刊和书籍的发行量，但这样是很不精确的，因为一本期刊每期刊登文章数量不等，一座图书馆的用户数量也无法准确统计，而且一篇文章的发行刊登并不代表其被阅读和应用到实际情况中等等因素影响着出版物的使用统计。今天，对引文的统计已经成为一种实际的标准，因为引文直接说明学术文章的被阅读和使用。但是，引文分析也不是完美的，因为对一篇文章的引用情况也是多样化（如只引未用、用而未引）的（对目前科学计量学的批判参见 e.g. Fro¨ hlich 1999;Wouters 1999）。

电子出版的兴起和发展给科学计量学的发展指引了新的方向。

a)         如果现有出版物的引文统计能实现在线共享和互联，那么引文分析的工作将会变得更加容易和有效。Cameron (1997)提出了一种普遍的，以互联网为基础的书目和引文数据库（“citebase”），它会指向任何已完成的学术作品——不管何种形式的出版，都记录它的引文及其被哪些文章引用。

b)        标准化的超文本环境中的链接将会更加促进the bibliometric enterprise的高效性。

c)        不同于纸质环境时代，现有的技术能自动生成这样的数据即多少人曾浏览过和下载过电子文档。

d)        最后，使用跟踪并不仅仅是对使用和访问数据的简单统计，而且还具有识别用户类型、对用户进行聚类分析的作用。比如一个用户下载了某篇文章后，服务器上就会记录下比如这个用户的IP地址这样就可以识别用户的类型。所以，在访问进来的用户一旦被识别和分类后，其行为就会被采集和分析即使用跟踪。如一篇文章经常被高层次学者阅读，那么可以很大程度上认为这篇文章的质量很高。

总之，数字环境使得在学术审稿领域科学计量学很有可能取代目前的专家评审。从长远来看，引文分析和使用跟踪完全有潜力替代目前的事前质量控制体系。即使从中期来看，它们也是对目前事前质量控制体系的有益补充。

 

2.3质量标签和选择性数据库

读者阅读学术期刊的其中一个要求便是从大量学术作品中过滤出适合自己需要的信息。正如我们看到的，质量控制就是实现这一目的的手段。在纸质环境时代，期刊或出版商的名号就代表着背后的质量和声誉，只要你知道期刊或出版商的名字你就可以大概清楚其审稿系统的质量控制效能。而在数字环境下的目录索引数据库，没有很好的办法，除非其是一个像SCI那样具有高度选择性的数据库。因此迫切需要一项能够实现智能选择出版物的技术(Rost 1998b, p. 8)。而全面的数字化将是这项智能选择技术的重要先决条件。

事实上，利用目前的在线数据和全文档案，我们可以大大超越现在的状况。为数据库里的每个条目或档案添加标签，有显著的两个优点：首先，从读者的角度他们就会发现每个条目或档案已经经过了质量的把关。其次，这些标签还可以运用到半自动检索中去。

下文就是介绍已经提出的内容标签机制。

a)         跟质量控制相关的标签：已审和未审；应用的质量控制是否严格；有无指定的审稿者；拒稿或录用。获得的数据可以衡量相对重要性和评定积分。

b)        与内容相关的标签：这可能是由编辑给出的一个整体评估信息（例如：“值得阅读”）。有意阅读纸张版的读者群或者“文章水平”。

总括来说，数字和网络出版环境使得建立的档案和数据库不仅包含有书目索引信息和全文，而且还有质量标签等表明已经历质量控制的标识。届时经过质量控制的文献和未经过质量控制的文献将区别显著。搜索引擎可以利用这些质量控制生成的元数据应用到用户的个性化搜索中，比如：用户可以搜索某个级别以上的所有文献。

 

3、The path to a cyberscience certification system

（通往互联网时代质量认证之路）

很显然，今天的质量标准对于未来的电子出版环境是至关重要的。如同Raney (1998)指出的一样：“信息必须得是明确清晰的，无论是什么介质载体，信息的质量是不能因为任何其他小的因素而被牺牲。”

3.1电子出版真的会导致质量下降

常常听到的理由包括：因特网将使更多的人发布信息，因为easy-to-be-attained技术能使人们随心所欲的在网络上发表自己的信息（如：博客、微博客）。而在以前，学者需要发布自己的研究成果时，往往得借助昂贵的专门人员——期刊出版社编辑。所以，在互联网时代，因为信息发布的速度加快以及门槛的降低，所以对信息质量的控制自然难以胜任。此外，“复制和粘帖”的便捷也使得重复性信息增多，而并不是更多的新内容。所有的这些因素必将会导致更多质量低下的信息。

首先，“没有审阅”并不等于“没有质量”。毕竟虽然这些信息实现没有经历质量控制，但是事后控制措施还在，因为它们将会被发布在诸如：在线数据库、在线电子期刊等媒介上，而这些媒介上有着很多评论人员这些“未来编辑和裁判人员”。

其次，学术出版的高比例上升并不是因为电子出版的原因，而是与学术研究已经全球化这一普遍现象有关。互联网只是使得这些研究者获取信息、发布信息的“可及性”大大提高，比如说他们可以很快捷的知道世界的某某角落有什么学术会议可以投文章，这时候那种前互联网时代的质量控制机制明显很难承受这种“信息超负荷”（从世界各地雪片般飞来的学术文章）。

然后，出版物的高比例增加并不全是一件坏事，因为cyberpublishing对一些创新性的研究可是一大福音啊。举例来说，多样化的人群有多样化的写作和研究方式——这是完全合理合法的。更重要的是，我们完全有理由需要一个自由的“不受审阅”的区域。而且学术界的本质就是允许“百家争鸣，百花齐放”——难道因为“publication flood（出版物泛滥）”就要忽略新思想新理念？可能传统的审阅机制使大量有意义有价值的成果仅仅因为‘‘a single one-time all-or-nothing binary decision’’（“要么全要、要么全部都不要的非此即彼二元判断机制”） (Ginsparg 1996,p. 6).而被放弃。

最后而且更加重要的一点，“质量”更加是与质量控制系统联系起来的，而不是和“载体”、“数量”和“速度”。因此，质量主要取决于各个出版领域内的出版标准和规范（Odlyzko 1994）。其实只要文章一旦通过质量控制阶段，那么出版商的反应速度以及出版物一直在上升的数量并不会因此而改变太多。原则上在电子出版环境建立质量控制系统并没有什么难度，但是问题是：会被用到吗？答案似乎是肯定的，一些严肃的电子期刊（并不是那些将自己期刊电子化的传统期刊）已经都在执行着严格的质量控制。毕竟，学术界对于质量控制的需求是很自然的。所以，学术界必然会在互联网时代建立适合的质量控制系统。考虑到如此多的机遇，传统的质量控制系统必将会调整和进一步发展，数字环境也将会弥补现有系统的缺陷。特别的，在应对日益增加的学术出版数量上，互联网时代将会做得更加有效。

3.2同行评价的改革和重建

虽然有一种声音认为，学术界可以完全不要质量控制，但是似乎有一种共识即我们应该去改革它而不是抛弃它。多数评论家认为，像编辑委员会那样的裁判系统有理由在数字环境继续存在下去（Davenport and Cronin 1990; Odlyzko 1994; Stichweh 1989; Harnad 1993, 1997）。我们要做的就是汲取纸质时代质量控制的有益经验应用到互联网时代质量控制系统的构建中来。

然而，许多人质疑为何还要在数字环境复制传统的基于纸质的同行评价机制他们认为这套机制不适合继续发展下去而需要重整和改革。

因此在通往互联网时代质量认证之路上，传统的质量控制系统将很有可能被改革和重建。一些的新的模式和机遇是极具吸引力的，至少对于某些人来说。网络出版环境体现出来的魅力和优势是很有说服力的几乎每个人都将会用到它。尤其是能加速质量控制整个过程的手段和方法将会得到普遍应用。这将意味着，质量控制将会实现网上全程管理。第一步将是从附加审阅者的评价意见到原稿上（如：质量标签）起，当然首先还是以非匿名形式。此外，至少对于某些类型的文章（根据某一特定的学术领域），封闭的同行审查程序与事前公开
同行的评注和/或事后评论阶段相结合显得似乎更有吸引力。这样可能会使得原本单向的出版活动（从作者开始，经历一些编辑和审阅人员，最终到达读者）转变为一个由编辑主持的多层面沟通过程（作者，编辑，审阅人员（特定的或自己指定的）和读者）。

鉴于考虑到这些机遇：文章被利用后自动生成的数据，用户生成的评级和质量标签数据（第2.3节），所有这些数据既能被人阅读也能被计算机所识别，那么综合性的出版物数据库将是可行的。因为未来学术出版领域强大的质量过滤机制，读者将能够浏览和搜索不同质量层次的出版物，当然这还需要时间来实现。毕竟太多的先决条件还得设法得到满足，至少各个学科领域都得实现电子出版的普及。与之相比，现在更加可能的就是质量控制系统要逐步转向半自动化和更透明。

3.3要实现的事项

（1）           质量标签  没有质量标签将会暗示出版物似乎没有经历质量控制一样，所以出版商需要质量标签机制来促销他们的产品。

（2）           处理修订  新的出版活动系统更加有可能允许文稿的后续版本。质量控制的结果必须署名。为了能够重新递交提供审阅到底需要哪些深远的改变？首先，一个合理的要求便是“在每个出版物版本被接收进“控制区”内前必须得到作者授意已完成”（Atkinson 1996, p. 259）。根据这一模式，唯一不变的原件属于核心机构的数字图书馆。我认为，原始的版本应该归档保存以便编辑决定需要再次审阅。

（3）           对审阅者的奖励制度  与互联网时代相关的3个变化迫切需要更多更快的审阅者：第一、出版物数量的增加。第二、我们日益认为出版系统应该更加快速和避免拖延（因为它是可行的）。第三、有必要确定编辑和审阅人员是否严肃认真对待他们的工作，考察他们的评论是否具有深度，特别是在一个开放的同行评价环境中。鉴于此，一些举措也已被提出：例如物质奖励。

（4）           关于学术协会、图书馆和大学  学术协会在对传统系统的改革和重建进程中将会发挥重要作用。例如：学术协会和大学可以制定出负责的程序和标准(Atkinson 1996)。图书馆或其他学术信息服务机构，它们将会促使国际国内的同行评价机制更加切实发挥自己的作用(Atkinson 1993; Okerson 1991; Lesk 1997)。换句话说，学术协会和大学等机构的介入将会更加促使电子出版被社会所接纳。

4、结论

在本文中讨论了改变现有质量控制系统的可行性以及在调整传统的质量控制系统中所遇到的一些障碍。

学术作品的质量原则上是独立于载体的，学术作品的质量高好或低只与应用的质量控制系统有关。互联网时代带来了新形式的质量控制，如果认真执行的话讲足以改善传统的质量控制系统。需要指出的是，事后控制在纸质环境时代完全是不可行的。在某些方面，它们可能会带来科学计量学的革命性转变。学术文章和期刊未来将会同时提供事前控制和事后评论，这将会促使如今的学术出版活动更加具有交互性。

由于交互通讯（相对于原来的单向式）在大多数的新形式质量控制活动中发挥了重要的作用，不过现在最重要的一个因素就是时间，也就是增强交互性所需要的时间。而因特网时代的一个极大优势就是使得所有工作大大加速，然后节省下来的时间就可以用于交互通讯。

学术出版质量控制的变革在各个学科将不会同步发展，很可能在某些领域做的更好。如果将质量标签、用户评级和注释等附加到数据库里的每篇文章上，那么更加友好的数据库服务（可以提供用户选择自己所要求的质量级别）将会展现在我们面前。此外，学术文献将会更加深入到学术交流的进程中来。

 

 

 

参考文献：略