2012年中国大学及学科专业评价的创新
与结果分析
我国大学本科教育是培养各类高级专门人才的主要形式,是高等教育体系中最为重要的基础组成部分,其办学质量和发展水平是各级高校综合竞争力的重要体现。如何科学、合理、客观、公正地评价高校的综合竞争力和学科专业建设的质量和水平,是政府管理部门、高校领导和教师、广大的学生和家长等社会各界人士都十分关注的重要课题,也是摆在教育评价机构和评价人员面前的一项非常重要而紧迫的任务。自2004年开始,武汉大学中国科学评价研究中心按年度连续发布《中国大学及学科专业评价报告》。近日,中国科学评价研究中心研究人员完成了2012~2013年度中国大学及学科专业评价工作,这也是中国科学评价研究中心连续第9次发布中国大学及学科专业评价结果。本次评价共获得了中国大学教育地区竞争力排行榜、中国一流大学竞争力排行榜、中国重点大学竞争力排行榜、中国一般大学竞争力排行榜、中国民办院校竞争力排行榜、中国大学科技创新竞争力排行榜、中国大学人文社会科学创新竞争力排行榜、中国大学分类型竞争力排行榜、中国大学分学科门类竞争力排行榜、中国大学本科教育分专业类竞争力排行榜等118个榜单。这对满足社会信息需求,改进和完善我国本科教育制度,提高本科生培养质量和水平,促进大学之间的有序竞争和健康发展都具有重要的指导意义和参考价值。我们作大学评价的指导原则是“分类评价、智能服务”。对高校根据不同的层次、不同的类型、不同的学科及专业进行分类评价,使评价信息满足多个社会群体需求(教育管理部门、高校管理层、高考考生及家长、关注高等教育的社会大众与媒体),同时运用各种信息技术实现评价信息资源的深度开发与智能服务,通过搭建网络信息服务平台实现面向社会的开放信息服务,实现高等教育评价信息资源的社会价值最大化。
一、本次大学评价的改进与变革
2004年7月,中国科学评价研究中心在《中国青年报》上首次发布中国大学评价排行榜,引起了巨大的社会反响。自此之后,中国科学评价研究中心按年度连续发布《中国大学及学科专业评价报告》。在这8年中,中国大学及学科专业评价经历了一个从尝试探索到成熟完善的发展过程,本着继承与发展相结合的原则,在保持整体稳定的前提下不断进行创新和完善。本次大学评价主要在以下四个方面进行了改进和变革。
(一)评价理念和方法的创新
1. 高校的网络品牌价值成为衡量综合竞争力的重要依据之一
当前,随着我国网络基础设施的进一步完善,社会公众的互联网生活日益丰富。大学既肩负教授、传播知识的任务,又有服务于社会的功能,还是人类文化的传承者。大学不仅是一种客观物质存在,更是一种文化存在和精神存在。在网络环境下,一所大学如何充分利用网络扩大其影响力,进一步服务公众是一个值得探讨的问题。中国的本科高校是国家高等教育的重要阵地,其网络影响力的大小将直接影响到我国科技信息的传播和普及效率。因此,我们需要对中国大学的网络影响力进行评价研究。在本次大学评价中,重点高校、一般高校、民办高校的评价指标里面都统一增加了高校网络声誉调查及网络影响力指标。我们基于网络营销的网络品牌价值理论,以及网络计量学的网络影响因子、链接分析等相关理论和方法,提出了从高校的网站内容质量、规模、搜索引擎友好性、网站入链数(inlinks,被外部网站引用,可以认为代表着认可和推荐)、网络学术影响力(网络引文分析)等5个方面进行评价,并开发了网络影响力评价系统。
2. 更加重视高校的绩效指标
在本次大学评价中,我们更重视各高校的绩效,因为绩效更能充分体现高校对社会、经济、文化的服务能力。《国家中长期教育改革和发展规划纲要(2010—2020年)》明确提出:要“改进管理模式,引入竞争机制,实行绩效评估,进行动态管理”。与此同时,《国家中长期人才发展规划纲要(2010—2020年)》也指出:要建立以学术和创新绩效为主导的资源配置和学术发展模式,实行事业单位人才的绩效考核和引进人才的绩效评价等。因此,今后对高等学校的评价要由“量”的衡量向“效”的标准转变。高校的进一步发展要以质量为核心,以效益为衡量标准。这是今后高等教育评价的发展方向和重点。为了落实规划中有关绩效评价的要求和任务,中国科学评价研究中心在连续8年发布大学排行榜的基础上,对中国重点大学的办学绩效进行了探索性的评价。本次绩效评价以师均绩效为基本标准,以“效”体现“质”,将注重“量”的高校评价推向“质”、“量”兼顾的全面科学评价。
3. 更加重视高校的创新能力指标
创新能力是高校在创新活动中所表现出来的一种综合能力,是以高校中从事知识创造、技术研发工作的相关人员为主体,利用、整合企业、政府、金融、中介组织等相关机构的各种创新资源,不断进行基础科学、技术科学的知识创造及相关技术的开发并形成具有竞争优势的科研领域与创新特色的能力。在本次大学评价中,我们首次提出的“创新指数”是指大学在创新能力评价中得到的分数,是创新能力的一种定量表达。创新的侧重点和主体是基础科学与技术科学知识的创新,涉及包括高校、企业、政府、金融、中介组织等相关支撑与辅助机构在内的整个创新链,高校创新处于上游,在我国国家创新体系中具有重要的基础性作用和战略作用。评价指标体系主要包括创新平台、创新人才和创新成果三个一级指标,有关高校创新指数排名我们将另行专门发布。
4. 评价的多学科方法融合
本次大学评价,将多学科方法进一步融合,评价理论框架本身就具有跨学科特征,所涉及的学科领域主要有决策学、管理学、政策学、行为学、经济学、计量学、工程学、社会学、心理学和逻辑学等。设计和实施科学的评价活动需要跨学科的方法,需要不同专业领域理论的整合和综合应用。我们在大学评价中综合运用了以下方法:综合评价方法(如层次分析法、模糊综合评判法)、统计学方法、文献计量学方法(如引文分析)、网络信息计量方法(如链接分析、网络信息采集)、人工智能方法(机器学习、神经网络等)。
(二)技术支撑下的评价活动的科学化
在评价过程中,充分利用先进的信息技术是提高评价活动的效率和准确性的必然要求。利用计算机技术和网络技术来提高科学评价活动的效率和准确性,正受到科学评价界的广泛关注。整个评价过程,从数据源分析,信息采集、整理、组织、评价、智能分析与诊断到可视化呈现将全部或部分实现自动化和智能化处理。
1. 评价数据处理的自动化
我们专门为本次大学评价开发了指标数据自动采集、处理、评价、诊断分析功能,通过本评价中心的高校基本信息库的URL(统一资源定位符)列表,自动爬取网络数据源,进行文本分析和原始指标数据采集,并进行规范化处理和运行评价模型生成排行榜,最后引入诊断模型自动生成诊断分析报告。这不仅可以获得各单项指标和综合排序等结果信息,还能获得针对性的诊断分析与推广建议。网络自动采集与数据分析诊断系统不仅用于网络影响力指标数据采集,还延伸应用到其他规律性的指标数据采集,比如反映高校科研产出的专利数据、论文数据等三级指标的数据采集,不仅大大减少了评价工作的原始数据采集工作量,还提升了数据分析处理的规范性与精确性,并提升了评价分析结果的智能性与实用性。
在我们的评价指标体系中,发文量和被引频次是两个非常重要的评价指标,并且具有较高的权重。这两个指标的原始数据涉及SCI、SSCI、A&am;HCI、EI、IST、ISST、CSTC、CSSCI等国内外多个数据库,每年数据量高达数百万条。今年我们自主研发的“论文自动分类系统”在经过多次基本调试和完善之后,已正式应用于本次大学评价数据处理过程,使得发文量和被引频次统计计算工作实现了自动化。该系统巧妙利用期刊分类器和类号转换器,实现了二次分类和自动生成测试集,提高了SVM分类精度,也避免了繁重的人工分类任务。自动化分类克服了以往手工分类所造成的主观性强和效率低下两大弊端,兼顾了数据处理工作的质量和效率,大大提高了数据处理的速度,并且使得评价结果更加准确、客观。
2. 评价分析诊断的智能化
. 中国科学评价研究中心多年通过对大学本科教育、研究生教育的评价工作,收集了所有培养单位的各个方面的原始数据,并通过评价模型运算得到了大量教育评价信息,这些信息为教育部门的管理和决策提供了必不可少的定量依据,也为广大高考考生提供了报考指南。在这些数据基础上,我们开发了大学诊断与个人诊断智能信息服务网络平台,运用各种常规统计方法、心理测量方法、文献计量方法、数据挖掘算法对这些数据进行各种深入挖掘和可视化呈现,发现高等教育的发展趋势和运行规律,为各高等教育机构、管理部门、广大高等教育受众及其家长提供针对性的个性化诊断与建议。
(三)网络化、开放化的社会服务平台支撑
我们历年的大学评价工作积累了大量关于高等教育的原始数据和信息,为了充分发掘这些信息的社会价值,满足不同社会群体了解高等教育的实际需求,我们从2009年开始进行了网络信息服务平台—中国科教评价网(图1)的同步建设,历经三次大的改版和升级,于2011年以全新的面貌正式上线。该平台实现了全部原始数据的网上查询,并面向高校提供大学诊断与咨询服务,面向高考和考研考生提供个人素质诊断与报考指南服务。在满足社会公众、媒体及相关科研、教育管理部门实际需求情况下,全面实现教育、科研评价信息资源的社会价值和经济价值。搭建基于Web的评价信息服务平台不仅覆盖面广,信息传递成本低,而且能够充分利用互联网交互性强的特点,方便地获取用户特征信息,深入分析挖掘,并能整合各种类型的信息资源,实现个性化信息服务,创造社会价值和经济价值。
图1 评价信息服务网络平台(中国科教评价网)
二、本次大学评价的对象与做法
(一)评价对象
教育部公布的最新《2011年具有普通高等学历教育招生资格的高等学校名单》显示,截至2011年5月23日,我国共有2101所高校。我们今年发布的《中国大学及学科专业评价报告》中的各个高校的名称也主要以该名单中的名称为准。另外,我们舍去了未开设本科专业的高职高专院校,以及被教育部取消本科招生资格的高校,最终进入本次评价的大学共有1127所(不含军事类院校和港澳台地区高校),其中重点大学131所,一般大学610所,民办院校386所。本次重点大学名单中增加了省部共建高校及有较好社会声誉且在中国科学评价研究中心历年排名较好的地方高校共6所,分别是河北大学、山西大学、浙江工业大学、河南大学、西北师范大学和黑龙江大学。
本次大学评价的专业目录以教育部2011年9月14日公布的《普通高等学校本科专业目录(修订二稿)》为基准,和我们以前的192个本科评价专业进行了归并和对应。根据教育部的本科专业目录,在原有的11个学科门类基础上新增了艺术门类。根据各高校更加注重“宽口径,重基础”的原则,实际本科招生更多采用了按专业类招生的做法,我们结合教育部最新专业目录,将按照94个专业(本书公布其中91个)大类进行评价。具体本科专业的评价结果则发布在中国科教评价网上。
(二)数据来源和处理方法
在大学本科教育评价中,收集原始数据的工作量非常大,我们花费了大量人力和物力。经过多年的实践和摸索,已经建立了比较稳定、可靠的数据来源渠道。原始数据主要来自于四个方面:①政府部门的相关统计数据资料(包括汇编、年鉴、报表等);②国内外有关数据库;③相关政府部门和高校的网站;④国家有关刊物、书籍、报纸、内部资料;⑤评价中心基础数据库平台。原始数据的数量非常庞大,为此我们中国科学评价研究中心自主研发了“网络声誉调查系统”、“评价指标原始数据网络采集系统”、“论文自动分类系统”和“中国大学评价信息管理系统”,实现了数据采集、处理、统计、计算、排序的自动化及诊断分析的智能化,大大提高了大学评价工作的效率和科学性。
三、本次大学评价的结果与分析
(一)中国大学教育地区竞争力评价结果与分析
我们公布了中国内地31个省(自治区、直辖市)的综合竞争力排名和得分,并附上各个省(自治区、直辖市)重点、一般、民办三种类型大学的数量,以及各个省(自治区、直辖市)与往年相比排名波动情况。我们的目的是希望相关政府部门能够从排行榜中解读出更多信息,即不仅仅只是一个强与弱的排名关系,更有“量”上的区分。我们依据2011年5月教育部公布的最新《2011年具有普通高等学历教育招生资格的高等学校名单》,将华北电力大学归入北京市,中国石油大学(华东)、中国地质大学、中国矿业大学的归属地,我们在征询相关领导和专家意见的基础上,将这三所大学分别列入山东省、湖北省和江苏省。2012年中国大学教育地区竞争力前10强的排名情况如表1所示。
表1 2012年中国大学教育地区竞争力排行榜前10强
2012年排名 总分 省(直辖市) 省内高校数量
重点大学 一般大学 民办院校 总数
1 100.00 北京市 27 28 10 65
2 90.35 江苏省 11 31 25 67
3 85.11 上海市 9 19 16 44
4 83.12 山东省 3 40 27 70
5 83.02 广东省 4 31 32 67
6 82.08 辽宁省 4 33 18 55
7 81.11 湖北省 7 26 16 49
8 79.64 陕西省 7 25 18 50
9 78.30 浙江省 2 26 13 41
10 76.90 四川省 5 24 12 41与2011年排名对比,中国大学教育地区竞争力排行榜前10强排名基本稳定,浙江省的排名位次下降了3位,辽宁省、湖北省、陕西省的排名都比去年上升了1位,其他省(直辖市)的排名波动都在3位以内。北京市仍然稳居榜首,无论是地区竞争力总分,还是市内高校数量都占有绝对优势。江苏省紧随其后,位居中国大学教育地区竞争力排行榜第2名。自2006年中国科学评价研究中心首次发布中国大学教育地区竞争力排行榜开始,北京市和江苏省已经连续6年位居中国大学教育地区竞争力排行榜第1名和第2名。与其他省(直辖市)相比,北京市和江苏省所拥有的高校数量和质量都处于领先地位,可谓是名副其实的教育强省(直辖市)。
(二)中国大学竞争力评价结果与分析
1. 中国一流大学竞争力排行榜
我们根据世界一流大学的特征、标准及中国高等教育的实际情况,推出中国一流大学排行榜。一流大学的标准是:一流的学者、一流的学科、一流的成果、一流的效益、一流的管理,而且一流大学必须是研究型重点大学。根据2012年重点大学竞争力排名结果,我们评出综合排名前20%(即前26所)的重点大学为中国一流大学。具体名单如表2所示。
表2 2012年中国一流大学竞争力排行榜
2012年排名 学校名称 总分 办学资源序 教学水平序 科学研究序 学校声誉序 省(自治区、
直辖市)序 类型序
1 北京大学 100.00 1 1 1 1 北京市 1 综合 1
2 清华大学 91.81 2 3 3 2 北京市 2 理工 1
3 浙江大学 89.24 3 2 2 4 浙江省 1 综合 2
4 复旦大学 83.38 5 8 4 7 上海市 1 综合 3
5 上海交通大学 83.37 4 10 5 3 上海市 2 理工 2
6 南京大学 78.64 11 5 6 15 江苏省 1 综合 4
7 武汉大学 76.35 12 4 8 9 湖北省 1 综合 5
8 华中科技大学 74.88 8 6 9 13 湖北省 2 理工 3
9 中山大学 74.19 14 7 7 16 广东省 1 综合 6
10 四川大学 71.99 7 11 10 10 四川省 1 综合 7
11 吉林大学 69.08 13 17 14 5 吉林省 1 综合 8
12 山东大学 67.63 17 22 13 6 山东省 1 综合 9
13 西安交通大学 67.43 10 15 15 22 陕西省 1 理工 4
14 哈尔滨工业大学 66.91 9 12 17 25 黑龙江省 1 理工 5
15 中国人民大学 66.25 21 21 12 12 北京市 3 文法 1
16 北京师范大学 65.94 6 24 16 28 北京市 4 师范 1
17 中国科学技术大学 65.83 22 18 11 38 安徽省 1 理工 6
18 南开大学 64.51 23 9 19 24 天津市 1 综合 10
19 中南大学 62.82 20 14 22 33 湖南省 1 理工 7
20 东南大学 62.81 30 19 20 8 江苏省 2 理工 8
21 厦门大学 62.55 15 35 18 14 福建省 1 综合 11
22 天津大学 61.00 34 26 21 11 天津市 2 理工 9
23 同济大学 59.92 42 16 23 17 上海市 3 理工 10
24 华东师范大学 59.13 19 20 28 26 上海市 4 师范 2
25 北京航空航天大学 57.94 16 38 24 50 北京市 5 理工 11
26 大连理工大学 57.93 24 31 25 23 辽宁省 1 理工 12与2011年的中国一流大学竞争力排行榜相比,中国一流大学的综合竞争力排名比较稳定,除四川大学上升4位,吉林大学上升5位,西安交通大学上升5位,南开大学下降7位以外,其他高校的排名波动都在3位以内。吉林大学的排名有了较大的提升,从其一级指标排名来看,与2011年相比,吉林大学的科学研究、教学水平、学校声誉的排名分别上升了1位、3位和12位,尤其是学校声誉序由第17位提升到第5位,主要是其网络品牌影响力做出了较大贡献(其搜索引擎友好性、网站内容丰富度、网络引文分析三个四级指标均在全国高校中处于前10位)。西安交通大学的办学资源、科学研究、教学水平的排名都有不同程度的上升,其综合竞争力由第18位上升到第13位。南开大学的三个一级指标,即办学资源、科学研究、学校声誉的排名都出现了明显的下降,尤其是其学校声誉一级指标由去年的第16位降为今年的第43位(经分析其网络影响力指标严重下滑,其网站建设质量、网站入链数、搜索引擎收录及网络学术影响力均在重点高校中排在第30位以后),导致其综合竞争力由去年的第11位下降到第18位。在一流高校中,在办学条件、科研、教学三个方面逐年对比变化不大的情况下,各高校在其网络品牌价值的建设方面的差异会在一定程度上影响其综合竞争力。
2. 中国重点大学竞争力排行榜
在我们的评价对象中,重点大学名单在去年125所的基础上增加了省部共建高校及有较好社会声誉且在中国科学评价研究中心历年排名较好的地方高校共6所,分别是河北大学、山西大学、浙江工业大学、河南大学、西北师范大学和黑龙江大学。一般来说,重点大学得到了国家较多的资助,基础普遍较好,在社会上也得到了较多的关注,在一定程度上代表着中国高校的最高水平。2012年中国重点大学竞争力排行榜前50强如表3所示。
表3 2012年中国重点大学竞争力排行榜前50强
2012年排名 学校名称 总分 办学资源序 教学水平序 科学研究序 学校声誉序 省(自治区、
直辖市)序 类型序
1 北京大学 100.00 1 1 1 1 北京市 1 综合 1
2 清华大学 91.81 2 3 3 2 北京市 2 理工 1
3 浙江大学 89.24 3 2 2 4 浙江省 1 综合 2
4 复旦大学 83.38 5 8 4 7 上海市 1 综合 3
5 上海交通大学 83.37 4 10 5 3 上海市 2 理工 2
6 南京大学 78.64 11 5 6 15 江苏省 1 综合 4
7 武汉大学 76.35 12 4 8 9 湖北省 1 综合 5
8 华中科技大学 74.88 8 6 9 13 湖北省 2 理工 3
9 中山大学 74.19 14 7 7 16 广东省 1 综合 6
10 四川大学 71.99 7 11 10 10 四川省 1 综合 7
11 吉林大学 69.08 13 17 14 5 吉林省 1 综合 8
12 山东大学 67.63 17 22 13 6 山东省 1 综合 9
13 西安交通大学 67.43 10 15 15 22 陕西省 1 理工 4
14 哈尔滨工业大学 66.91 9 12 17 25 黑龙江省 1 理工 5
15 中国人民大学 66.25 21 21 12 12 北京市 3 文法 1
16 北京师范大学 65.94 6 24 16 28 北京市 4 师范 1
17 中国科学技术大学 65.83 22 18 11 38 安徽省 1 理工 6
18 南开大学 64.51 23 9 19 24 天津市 1 综合 10
19 中南大学 62.82 20 14 22 33 湖南省 1 理工 7
20 东南大学 62.81 30 19 20 8 江苏省 2 理工 8
21 厦门大学 62.55 15 35 18 14 福建省 1 综合 11
22 天津大学 61.00 34 26 21 11 天津市 2 理工 9
23 同济大学 59.92 42 16 23 17 上海市 3 理工 10
续表
2012年排名 学校名称 总分 办学资源序 教学水平序 科学研究序 学校声誉序 省(自治区、
直辖市)序 类型序
24 华东师范大学 59.13 19 20 28 26 上海市 4 师范 2
25 北京航空航天大学 57.94 16 38 24 50 北京市 5 理工 11
26 大连理工大学 57.93 24 31 25 23 辽宁省 1 理工 12
27 西北工业大学 56.75 27 25 30 45 陕西省 2 理工 13
28 华南理工大学 55.86 35 28 27 52 广东省 2 理工 14
29 中国农业大学 54.91 31 53 26 18 北京市 6 农林 1
30 兰州大学 54.28 33 49 29 21 甘肃省 1 综合 12
31 重庆大学 54.17 26 44 32 35 重庆市 1 理工 15
32 湖南大学 53.61 28 32 40 20 湖南省 2 理工 16
33 华中师范大学 52.65 32 60 31 32 湖北省 3 师范 3
34 北京理工大学 51.43 69 13 50 66 北京市 7 理工 17
35 北京交通大学 50.93 37 47 37 29 北京市 8 理工 18
36 电子科技大学 50.90 64 33 39 30 四川省 2 理工 19
37 东北师范大学 50.38 18 55 47 40 吉林省 2 师范 4
38 郑州大学 50.25 38 46 41 31 河南省 1 综合 13
39 华中农业大学 50.14 39 51 33 59 湖北省 4 农林 2
40 西南交通大学 49.72 73 45 35 39 四川省 3 理工 20
41 暨南大学 49.29 44 30 59 46 广东省 3 综合 14
42 北京科技大学 48.44 29 43 62 42 北京市 9 理工 21
43 南京师范大学 48.24 41 50 44 48 江苏省 3 师范 5
44 中国海洋大学 48.17 53 42 45 64 山东省 2 理工 22
45 东北大学 48.14 61 23 72 37 辽宁省 2 理工 23
46 西南大学 47.58 62 54 42 34 重庆市 2 综合 15
47 西北大学 46.82 54 59 53 19 陕西省 3 综合 16
48 上海大学 46.77 36 67 46 61 上海市 5 综合 17
49 中国地质大学 46.55 66 81 36 43 湖北省 5 理工 24
50 南京航空航天大学 46.46 60 48 49 54 江苏省 4 理工 25与2011年排名对比,重点大学前50强的排名基本保持稳定,部分学校排名略有波动。北京大学、清华大学、浙江大学、复旦大学、上海交通大学、南京大学、武汉大学继续居于前7位,排名未发生任何变化。郑州大学由第55位上升到第38位,华中农业大学上升了9位,西南大学上升了8位,中国地质大学上升了7位,暨南大学上升了6位,南京航空航天大学上