智慧高校大数据实验室建设方案

第一部分 大数据概述

一、大数据简介

大数据（big data）是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

二、背景介绍

移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，是2012年的12倍;而中国的数据量则会在2020年超过8ZB，比2012年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元，未来5年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。

据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。

第二部分 大数据实验室介绍

一、大数据实验室建设的必要性

数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于实验室具有较高的专业要求。实验室不仅要提供基础的开发环境，还要提供大数据的运算环境以及用于实验的实战大数据案例。这些实验素材的准备均需专业的大数据实验室作为支撑。

目前，在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息以及公共卫生等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程，除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等，都无法在我国高校现有的实验室中完成。因此，建设专门的数据挖掘与大数据分析实验室就显得非常重要。

二、大数据实验室建设的意义

大数据已经给新兴互联网企业（如电子商务、搜索引擎、社交网络、互联网营销等）、银行金融企业、高端装备制造企业等带来了巨大的商业机遇，大数据在整个企业的价值增值链中发挥着至关重要的决定性作用。大数据同时正在成为政府和企业竞争的新焦点，各大企业正纷纷投向大数据促生的新蓝海，给大数据行业带来新的发展机遇。泛亚咨询”发布的调研数据显示，2013年前两季度，出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。

建设大数据专业教学实训实验室，开展以大数据为方向的创新专业，项目实训，能有效实现快速引进入国内外大数据先进的技术、成熟的解决方案以及管理和教学内容。同时达到为社会输送合格的大数据技术人才，提升本校毕业生的就业率和就业质量；使高等院校在新技术教学成果展示，数据挖掘，数据分析，商业智能等科研方向，以及校企合作领域处于领先地位。实现科研、教学与社会服务的顺畅衔接，逐步打造以培养大数据为核心人才的科研、教学基地。同时，建设大数据云实验室将带给教师和学生领略大数据技术的魅力和广阔前景，使学生掌握主流的大数据存储、管理、分析处理技术，以及大数据平台架构和建设，分享成功的大数据应用项目实施经验，学习大数据应用项目解决方案咨询服务。

第三部分 大数据实验室建设

（1）基础环境建设

实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设，包括学生实验用桌椅、照明系统、教学用投影音响器材、实验室空调系统、综合布线系统、安防监控系统及实验室装修系统等。通过这些基础支撑环境的建设，才能保证实验室正常为教学和科研服务。

（2）IT环境建设

IT环境建设包括实验终端个人电脑和存储规划建设。

学生实验终端计算机一方面可以采用普通终端PC机，组合成实验室局域网，支撑学生进行实验，另一方面随着云计算技术的发展，学生计算机可以采用虚拟桌面云终端的设计方式，通过采用专用云资源服务器及存云调度设备进行设计，利用服务器虚拟化的方法来对终端进行支撑，用户通过部署在实验台的瘦客户端进行实验操作，所有应用、数据统一存放在后台服务器，虚拟桌面云终端不存放任何数据，可被管理工具统一管理，包括分发系统、更新软件、远程监控、审计等操作。虚拟桌面云平台也通过虚拟化平台的管理工具管理，大大降低维护人员的重复工作量。

（3）网络环境建设
数据挖掘与大数据分析实验室网络部署环境如上图所示。其中，路由器和交换机等网络设备将用户和存储连接起来，是用户之间以及用户与资源之间的通信设备；实训平台设备提供云存储和统一资源调度系统功能，其可以是一台设备，也可以是多台设备的集群部署，以提高设备的虚拟化能力，用户通过统一资源调度平台调用其中的所所有资源，而无需关注硬件设备；管理员可以对平台进行统一管理，包括账户管理、资源管理、实验管理等；普通用户可以通过平台进行各项数据挖掘实验及技术验证等操作。

针对学校方已有的网络设备，可以进行整合，而且相关设备与模块也可根据校方专业教学和实验室建设的具体情况进行选择。

3. 大数据实验室建设内容
大数据教学实训实验室的建设内容分为三个部分：

1）数据挖掘与大数据分析相关教学与实训资源

2）教学与实训过程管理平台 - 才捷云教学平台

3）云计算平台 - 才捷云基础桌面云平台

4. 实验室运行架构
学校实验室的运行依托于云计算平台，将云计算平台的计算资源与各种教学资源整合在一起，向用户提供各种服务，具体说明如下：

最底层IaaS为有机地整合在一起的IT资源，包括计算资源、网络资源和存储资源。统一的云计算管理平台将这些资源进行虚化管理，向上提供基础服务，包括分布式数据存储、计算服务、负载管理和备份等。这一层使用虚拟化技术，将分布式计算资源进行整合，为实验室的运行提供统一管理和使用。

中间的PaaS层为云平台业务调度中心，包括统一身份认证管理、各种实践教学业务引擎、各种实践教学应用服务器、实践教学资源管理、统一业务访问控制和数据挖掘和分析功能等。这一层将各种实践环境需要的开发工具、业务与管理支持工具、实践教学管理工具等有机地整合在一起，对上一层打包整合进行按需分配。

SaaS包含了向最终用户提供的各种服务以及各种调用方式。方式为通过教学平台，将课程关系、课程资源和课程需要的专业实践环境进行打包整合来为用户进行服务。调用资源的中短可以为PC、笔记本电脑、各种云终端和平板电脑。

5. 大数据实验室教学云平台建设

实验室教学云平台建设采用广州才捷的才捷云平台(caijieyun®)。依据才捷科技多年的教育平台开发理念和经验，采用先进的云计算技术，实现强交互性的自适应教学平台。平台可支撑包括实验资源、实验报告、虚拟仿真、VR等多种教学资源。目前平台可以支持软件开发、软件测试、电子商务、移动开发(Android、Apple)、云计算、大数据、物联网、项目管理等多个IT领域，在高校的应用可以为计算机相关院校搭建全校范围的全方位互动式整体教育实践解决方案。

5.1.平台技术架构
5.2 平台特色

（1）产品定位

学院用或者全校用，能够全面呈现各学院下各专业课程的教学过程进程和数据，方便教学管理

可与学校教务系统对接（如青果、正方等主流厂家），配合教务系统将教学过程全程管理

平台使用统一登录界面，账号与老师工号和学生学号结合，免培训，操作简单，使用便捷

（2）产品架构

采用扩展性强，可支持大用户量的富客户端分布式架构，前台客户端，后台浏览器访问标准化的云计算平台接口，可将统一的上层应用需求扩展到多中云计算平台上

提供第三方集成接口，可与考试系统、网络教学平台等高校其他应用集成

（3）教学支撑

完善的教学课程安排，实验开放、实现实验考勤、作业管理、成果管理、检查、评估等教学过程全面系统管理

实验资源库开放，支持各种形式文件和多目录复杂资源格式上传，支持教师自身资源上传，与平台资源无缝整合，充分满足教学需求

学生提交作业可做成绩评定，方便老师批阅和打分

集成云桌面技术，可根据课程提供不同类型的实践环境（Windows+Linux），实现单用户、跨课程、多桌面

老师和学生可以基于云桌面进行互动，方便老师远程随时查看学生实践活动环境，进行指导和作业评分

基于云桌面的学生实践环境可进行网络控制，防止学生抄袭实验作业，提升学习效果

平台采用任务驱动实验教学案例模式，智慧型流程贯穿实验教学的编排，内容组织灵活有序。

提供多种形式的标准化实验资源，开放性的平台，也可按需自行导入及上传教学资源，充分满足教学需求。

强交互性平台，便于师生之间的时时互动，满足实验课程指导和催缴作业等互动需求。

完善的可执行教学教务管理，实现排课、作业布置、作业提交、检查、评估等全无纸化系统管理。

5.3 平台桌面云集成接口Caijieyun VDI

Caijieyun VDI为才捷云平台与各种虚拟桌面解决方案的统一接口引擎，它向上为教学平台提供统一的桌面资源管理接口，向下则通过统一的调用接口可以兼容主流的虚拟化平台，如基于RedHat的KVM的VDI解决方案，vmware的基于vsphere的Horizon view终端解决方案和微软基于Hyper-V的RDS解决方案。

Caijieyun VDI引擎实现的主要功能有：

1. 与虚拟桌面VDI的结合

1) 学生平台APP，可通过VPN访问虚拟桌面，或查看课程信息、实验课程和提交作业的界面。

2) 虚拟桌面中有已经配置好的与案例相关的开发环境和案例项目运行或者训练需要的相关软件（如数据库前端程序，版本管理软件前端，项目管理软件前端，软件测试工具前端）等。这个虚拟桌面是学生的专属桌面，永久保留在服务器上。学生在虚拟桌面环境下开发的代码、文档和其他成果，都保存在桌面环境中。

3) 虚拟桌面的网络环境、接口可以受控：如不能上互联网，不能使用USB口、不能随意安装其他软件，以确保虚拟桌面不受病毒和其他软件的破坏，为干净的项目训练环境。但是可以通过局域网与其他服务器资源相连接：如数据库服务器，版本管理服务器，软件测试工具服务器，文件管理服务器，项目管理软件服务器等等），来组成复杂的企业级真实开发环境。

4) 老师可以通过客户端，在查看学生任务近况的页面，可以进入学生的虚拟桌面来检查学生在专属虚拟桌面中使用的情况：如在桌面里的IDE中查看学生写的代码，编译，查看学生部署的发布版本，查看学生写的文档等等。老师进入学生桌面的方式，可以为抢断式的，也可以为共享式的，这样可以方便老师对学生基于虚拟桌面进行指导和交流。

5) 虚拟桌面中提供工具程序，可以将学生做的成果打包成作业，上传到云平台上。作业可以在学生的客户端中体现，和相应的案例相关。学生在打开虚拟桌面的时候，将课程等相关信息也传输到虚拟桌面中，供上传作业的工具程序使用。

6) 老师也拥有自己的专属桌面

7) 在教学过程中，基于课程，老师或者任一学生的桌面可以共享给其他人进行观摩（互动讲评）。

2. 虚拟桌面镜像的生成和维护

1) 教学资源案例和相配套的教学开发环境，按照项目或者案例，通过客户端打开虚拟桌面后台的模板来制作母镜像。母镜像用来生成每个学生的训练桌面。

2) 母镜像可以通过客户端打开虚拟桌面后台的模板编辑进行维护。

3) 学生使用的专属桌面，在客户端上可以通过动态的方式批量生成、批量关机、批量回收、批量重启。

4) 一旦学生使用过一次虚拟桌面后，下次再次进入的时候，不用再次生成，直接进入上次已经生成的专属桌面。

5) 虚拟桌面和课程相匹配。也就是说，每一门课程配套一种虚拟桌面，用来学习和训练。

6) 与课程配套的虚拟桌面中的基础（开发）环境是固化的，作为上这门课程的老师做个性化设置的一个模板基础。老师的个性化内容通过网盘的形式来实现。在老师和学生的虚拟桌面中，可以通过网盘方便地进行文件共享。学生虚拟桌面资源的回收

7) 一旦学生课程结束、毕业或者参加的实践活动结束了，学生的专属桌面可以进行回收，以节省资源。

6. 实验室承载的课程规划和教学资源建设

大数据实验室将围绕高等院校开展大数据技术的教学与科研任务需求，专门设计面向学生教学，科研，及师资培训的大数据技术教育与实训综合管理解决方案。面向高等院校计算机技术类专业：计算机科学与技术，软件工程，信息安全，网络工程，物联网，数字媒体，本方案提供教学和科研用途的大数据课程体系建设与学科规划、校企合作横向课题建设、大数据技术实验管理软件平台、大数据教学与实验资源包、大数据技术课程师资培养方案、以及大数据实验指导书与讲义教材开发。

6.1大数据课程体系建设与学科规划

大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。大数据时代的到来，迫切需要高校及时建立大数据技术课程体系，为社会培养和输送一大批具备大数据专业素养的高级人才，满足社会对大数据人才日益旺盛的需求。

根据现有国内外高校开展大数据课程的建设经验以及现有的大数据技术就业市场需求而制定的，让学生具备研究大数据科学与工程领域问题和解决实际大数据应用问题的能力，系统地掌握信息技术、数据分析、云计算技术、信息处理等基本理论、知识和技能，并且能够根据所学的实训知识与方法技术从事实际的大数据分析工作，具备创新能力和实际操作能力。

(1) 培养目标

大数据技术课程旨在培养能够熟练掌握并利用计算机技术、大数据存储管理技术、大数据分析挖掘技术，具备数据爆炸时代能够解决实际大数据应用问题的理论与实践能力并长的高素质复合型管理人才。

(2) 培养要求

大数据技术专业的学生应具备的知识和能力如下：

系统地掌握计算机数据结构、操作系统、数据库原理技术、分布式系统技术、数据分析的基本理论与技术；

能够熟练运用所学的大数据技术知识、信息处理等方法进行信息系统设计、开发实施和部署应用；

能够承担行业内软件企业的大数据应用系统开发和政府、企业信息数据基础设施的咨询规划和大数据分析工作