大学排名背后的“数据暗战”

2010-7-01 09:27 来源: 科学新闻
2328 收藏到BLOG

  尽管距离今年全球大学排名最终座次的出炉还有一段时间,但是世界两大权威大学排名机构——《泰晤士高等教育》杂志(Times Higher Education,THE)和上海交通大学高等教育研究院的在京“碰撞”,还是引起了中国高校和相关科研机构的足够重视。

  “今年我们的大学排名评价体系将发生很大的变化,我们将与汤森路透合作,通过在征求全球众多大学和科研机构的基础上,开启新的评价体系。”《泰晤士高等教育》杂志副主编Phil Baty在2010年6月25日举行的国际大学评价研究高端论坛及科学计量学研讨会上向外界透露。

  350多位高校和研究机构的科研管理人员、学术专家及图书馆馆长参加了此次论坛,旨在加强大学科研绩效分析与评估的国际交流。

  国际大学排名对国际教育界影响重大,而且还为那些没有官方数据发布的国家提供了一种更具实证性的认证体系。排名活动不仅推动校内交流,同时方便国内与国际相互了解,促进各类大学间的合作,从而推动教学和科研的创新发展。用上海交通大学高等教育研究院院长刘念才的话来讲,大学排名的目的就是“找差距,找定位。”

  因此,国际大学排名的科学性和客观性就显得尤为重要,选取何种指标和参数,采用何种评价体系是排名机构面临的最为棘手,也是最难驾驭的难题。

六年之“痛”

  此前一直延续了与英国著名高等教育研究机构QS(Quacquarelli Symonds) 六年合作的《泰晤士高等教育》杂志此次向外界正式宣布,“2010年后的泰晤士高等教育世界大学排行榜将摆脱QS的束缚,放弃原本的THE-QS评价体系。”Phil Baty告诉记者。

  在泰晤士高等教育杂志与QS评价系统中,同行评议占到40%的比重,员工—学生比占20%比重,其他还有论文引用、雇员评价、国际学生和国际员工,共六个指标。

  六年来《泰晤士高等教育》杂志的世界大学排名虽然具有一定的影响力,然而外界对其排名存在诸多质疑。

  美国教育政策研究院副主席Alex Usher就曾指出,大多数人认为,在大学声誉排名中样本选取的不透明,成为影响大学排名结果的最大问题。英国牛津大学教授Christopher Hood认为评价体系中指标选取的依据模糊不清。

  “在评价体系中,我们确实发现了不少问题。同行评议比较主观,对学校的声誉判断可能并未经过缜密的思考,而是简单地依照以往的经验进行的考量。而且,同行评议占40%的权重过大。一些国家的样本回收数也很低,如在2008年的调研中,德国只返回了182份问卷,印度返回了236份问卷。与此同时,问卷中的问题设置也很模糊。”Phil Baty谈到先前的评价体系毫不避讳地说。“不仅如此,QS评价体系缺乏对不同领域间引文数量差异的权衡,由于艺术和人文领域的论文被引次数很低,所以引文分析的结果更有利于自然科学。”

  澳大利亚墨尔本大学教授Simon Marginson就对《泰晤士高等教育》杂志先前的QS评价方法持有看法,“排名波动严重,大学的排名经常忽上忽下,例如中国的复旦大学的排名就在72名到195名之间变动。”

  英国华威大学经济学教授Andrew Oswald更是一语中的:“评价机构应该意识到自己的评价体系的不足。因此,该排行榜所提供的数据也会严重影响大学对自身情况认知的准确性。”

  诸多问题让《泰晤士高等教育》杂志认识到该是做出全新决定的时候了,于是“我们与汤森路透联手,目的是让评价体系更加科学,更加完善。由此,才能将泰晤士报世界大学排名打造为市场中最有公信力、最具权威性、最能被广泛采信的大学排名。”Phil Baty说,“优化后的世界大学排名才能为国家政策的制定,大学的发展做好辅助性的工作。”

  在抉择中,首当其冲的就是对评价体系中参数和指标的重新“洗牌”。

转舵与合作

  在业界具有较好声誉的汤森路透集团,以其在文献计量领域被广泛认可的咨询和数据分析服务功能,在大学排名的数据竞争中开始崭露“威力”。使得《泰晤士高等教育》杂志放弃了与QS的合作,转向了汤森路透。

  基于汤森路透所拥有的强大的引文数据库和顶级科学研究领域的数据专家系统,双方的新合作评价体系,“不单单是数据的整合与分析,更多的是对不同学科领域、不同专业的分析。由于采用了更多的指标和参数,从而加大分析评估的客观性。”Phil Baty说。

  中国国家教育行政学院的一位老师告诉记者:“汤森路透的(数据库)人性化服务较好,传授了很好的分析方法,应用性很强。”

  在学校声誉调查中,与先前的3500个样本相比,新的评价方法收集到的高质量同行评议问卷高达13388个。所有数据均在学科领域层面进行收集,而且考虑了更多的因素,“我们的目的就是让客观指标的权重加大,主观(同行评议)指标的权重下降。”Phil Baty说。

  “同行评议是主观判断,且不够透明,所以新的评价必须做出选择。而定量分析可以提供更为客观的信息,对不同机构进行不同角度的分析和评估。”汤森路透研究分析与评估总监Jonathan Adams博士告诉记者。“我们根据排名单位的要求,建立相应的数据资源,从而提升排名的数据内容和方法的质量。”

  莫纳什大学副校长Ed Byrne对汤森路透与《泰晤士高等教育》杂志的合作给予这样评价:“总体来说,经过这样的变化,泰晤士报世界大学排名将会具有更高的公信力。”

  然而,就排名的座次而讲,“没有绝对通用合理的评价指标,只有相对通用合理的评价指标。”中国科学技术信息研究所总工程师武夷山认为,“任何排名都是有争议的,没有排名能做到绝对客观。”

  不同的排行榜有不同的指标体系,具有不同的功能。这一点在北京大学先进技术研究院院长助理兼项目策划和管理办公室主任钟灿涛看来:“评价的目的不同,直接导致评价方法的不同。对于普通公众来讲,他们往往根据自己的要求去看排行榜。”

  但是,大学排名背后的数据提供与分析是实实在在的。《泰晤士高等教育》杂志的转舵,从另一个侧面说明,汤森路透的Web of Science平台中的11000多种最具权威的学术期刊和超过11万的会议论文集为各个领域所需的数据和信息诉求夯实了基础。

引领者

  作为全球最大的专业信息服务提供商,汤森路透有着自己长远的战略思考。

  尽管占据海量数据和专业分析的尖峰,但是汤森路透自己并不做任何排名,“我们的目标是收集全球几百家机构的概况数据,为其创建详细的档案,目的是为全球教育机构提供全景分析数据。”Adams对未来的思考没有任何保留。

  Adams所描述的是一个被称为“全球教育机构概况大全”的项目,涵盖了排名意见调查、全球教育机构声誉调查、教育机构数据收集、数据验证和数据提供五大阶段。Adams介绍,“这样可以极大地扩展汤森路透支持科研管理和评估的数据提供和指标分析能力,从而扩展科研评估的产品与服务。”

  有效的科研管理能够帮助人们更好地识别优先的发展方向、营造良好的氛围、寻找研究资源,以便产出更好的研究成果。因此,“科学研究文化经过25年的发展,已经由强调过程演变为强调效益。”Adams说。

  发展至今,一幅崭新的科学图谱已呈现:G7成员国家继续保持研究的领先地位,而新的研究型国家正在不断涌现,传统研究型强国也正在受到更多的挑战。因此,识别并认清新的发展机会,以及如何保持卓越研究则成为各个国家科技政策中的重要问题。

  汤森路透提出了以事实为基础的研究绩效评估的方法,为研究管理人员提供有效的数据,“定量分析不能完全取代同行评议,因为专家的决策和意见能够维持研究共同体中的相互信任。其实,定量分析是同行评议的补充和支持。研究绩效评估能够更好地支持专家决策,从而可以更快地得到可靠的分析结果。”Adams认为。

  “量化评价的竞争越来越激烈,各种数据库的市场化也就越来越大,选用哪个数据库进行数据分析和计算,将直接决定着最后分析结果的准确性和权威性。”钟灿涛说。

  所以,各个国家的研究管理人员都将需要更加全面和及时的信息来支持他们的决策。