复旦大学关键应用虚拟化两年经验谈

　　客户证言：

　　“关键应用虚拟化，关键点之一是解决好存储问题。虚拟化以后，主机故障不再是一个严重问题，因为采用X86服务器，很容易找到替换的机器。复旦大学就是在准备关键应用虚拟化的时候，决定跟存储领域实力领先的EMC合作。一卡通关键业务在虚拟环境运行了两年，没有出过问题。关键业务虚拟化，最大的好处是资源配置的灵活性。”

　　——复旦大学信息化办公室项目主管

　　背景和需求

　　复旦大学一卡通关键业务的虚拟化是从2011年开始的。当时，运行一卡通业务的两台小型机已经老旧，面临汰换。复旦大学早在2007年就开始数据中心虚拟化的尝试，虚拟化的应用逐年扩大。到2011年时，复旦大学除了一卡通系统外，其余大部分业务都陆续迁移到虚拟环境，对虚拟化的成本效益、灵活性、可靠性、可用性有着深刻的体会，对虚拟环境的运维管理也积累了丰富的经验。因此，在汰换小型机的时候，决定将一卡通业务完全迁移到虚拟化环境。

　　复旦大学意识到，虚拟化的重中之重是数据保护。所谓虚拟机，就是一个个映像文件，它可以从一台设备复制到另一台设备。可是，如果虚拟机的存储环境出现问题，整个系统就会崩溃。所以，复旦大学在实施关键业务虚拟化之前，首先在信息基础架构上下功夫。也就是在这个时候，复旦大学决定跟存储领域实力领先的EMC公司合作。

　　最大好处是资源配置灵活

　　大凡在考虑关键应用虚拟化的人，肯定已经在前期的非关键应用虚拟化过程中尝到了甜头。虚拟化的好处包括：动态、灵活、随需应变、资源利用率高、成本效率高等。

　　在关键应用虚拟化阶段，复旦大学的体会是，在节省成本的同时，更在于资源配置的灵活性。跟之前采用小型机的模式相比，虚拟化的成本肯定不会更高，而它所带来的好处却是小型机模式无法比拟的。

　　资源配置更灵活。以前采用小型机的方式，一卡通系统可用的计算和存储资源基本上在一开始就固定下来了。由于增加资源不容易，所以在一开始就要预留两三年的余地。而采用虚拟化的方式，一卡通系统可以方便地从整个校园网的资源池中调配资源，按需分配。例如，当服务器故障时，可以立即启动备用服务器上的虚拟机，确保服务中断，同时方便地找到一台替换的服务器快速加入到资源池中。所有的存储阵列组成一个资源池，供全校几百个应用共享，并依照系统特征提供FC、IP、NAS以及SSD固态硬盘等不同访问模式。后端的存储差异对应用是透明的，管理员只需要按照应用需求分配相应类型的容量即可。

　　可用性成倍提高。以前，复旦大学一卡通服务器采用两台小型机一主一备的方式。复旦大学新的方案，以高可用的存储阵列+本地数据复制+异地数据复制，实现三重保障。在相隔十几公里的枫林校区，保存了另一套数据库和虚拟化环境，两个数据中心的延迟只有5-10秒。可用性和健壮性大大得到了提高，并且简化了跨区域容灾的方案。

　　节省机房空间50%。一卡通业务之前除了采用小型机外，还采用了10多台X86服务器支持辅助性的应用。迁移到虚拟环境以后，用5台2U服务器替换了之前2台小型和10余台X86服务器，机房空间节省了50%左右。

　　独立虚拟环境保安全

　　作为国内最早“吃螃蟹”的机构之一，复旦大学在技术实施上也比较慎重。一卡通业务有一个专网专用的虚拟化集群。根据业务等级，复旦大学已经建设了关键、普通、托管、一卡通等7个虚拟化集群，为传统的数以百计校园应用提供服务。同时，建设集中存储，提供数据分级服务，为每一类应用划分不同的存储区域。使用FC、IP模式为传统数据库提供服务，其中，一卡通业务数据库采用FC模式，确保不会因为业务压力产生网络瓶颈。

　　复旦大学非常清楚，关键应用虚拟化，最重要的是存储，要从存储设备和架构方面夯实基础，确保虚拟环境和数据的高可用性。

　　复旦大学一卡通虚拟化集群的拓扑结构如图所示，在邯郸校区部署3台X86服务器作为主服务器，一台EMC CLARiiON CX4作为主存储，并配置EMC RecoverPoint本地数据复制。在枫林校区部署2台X86服务器作为备份，一台EMC CLARiiON CX4作为备份存储，通过EMC RecoverPoint远程数据复制保持数据同步，跟主存储的数据延迟只有5秒左右。如果主存储发生故障，可以在很短的时间内将虚拟机挂接到枫林校区的存储上，业务几乎不会中断。服务器配置为2U满配，8个CPU内核，64GB~128GB内存。

　　网络部署方面，复旦大学信息办主管老师介绍两点经验：一是之前其它应用虚拟化过程中采用iSCSI链路，在网络流量比较大时会有压力，因此，一卡通业务的虚拟环境选择了光纤链路方式，避免瓶颈。二是交换机级联时，不同品牌的设备会有不兼容现象，一卡通业务虚拟环境尽量采用同品牌交换机，避免私有协议带来的不兼容麻烦。

　　特别强调的是，复旦大学将一卡通业务的应用和数据库都已经迁移到虚拟环境。复旦大学采用Oracle 10G数据库，运行在虚拟环境的数据量超过2TB，包括一卡通数据、数据仓库数据、研究和测试数据等。通过将数据库查询应用部署到在CX4的闪存盘上，可以提高数据库性能。

　　虚拟化操作系统方面，复旦大学一直随着VMware新版本的推出保持同步升级，确保最好的运行状态，目前的版本为VMware vSphere 5.1。

　　此外，复旦大学还采用EMC Avamar备份整个虚拟环境。EMC Avamar非常适合虚拟环境的备份，重复数据删除效率高，管理简单。采用EMC Avamar，复旦大学制定流程的时间从以前的2小时缩短到10分钟，时间缩短到十二分之一。

　　关于复旦大学

　　复旦大学创建于1905年，原名复旦公学，是中国人自主创办的第一所高等院校。2000年，复旦大学与上海医科大学合并，成立新的复旦大学，进一步拓宽了学校的学科结构，形成了文理医三足鼎立的学科格局，办学实力进一步增强，已经发展成为一所拥有哲学、经济学、法学、教育学、文学、历史学、理学、工学、医学、管理学等十个学科门类的综合性研究型大学。根据2010年数据，学校有普通本专科生13237人，研究生13851人，留学生3805人(其中攻读学位的留学生2706人);另有成人教育、网络教育本专科生16611人。有专任教师2346人，其中高级职称1538人。学校已经形成“一体两翼”的校园格局：即以邯郸校区、江湾新校区为一体，以枫林校区、张江校区为两翼。占地面积244.32万平方米，校舍建筑面积149.23万平方米。此外，学校还拥有中山医院、华山医院等10个附属医院。