> 文章列表 > 智慧校园大数据云平台(2)

智慧校园大数据云平台(2)

智慧校园大数据云平台(2)

    1. 数据教学创新应用
      1. 教学质量评估

对学生给予教师的评价、学生活跃程度、学生成绩和教师授课情况等数据进行分析研究,帮助教师更好地进行教学活动。

      1. 上网行为

对各年级同学上线次数、上网时间段、总流量以及在线课程的欢迎程度等数据进行分析研究,引导学生合理运用网络资源,树立健康的上网理念。

      1. 学生成绩分析

对学生成绩以及排名等数据进行分析研究,更加清晰地了解学生成绩的整体分布状况以及学生的学习状况。

 

    1. 大数据科研创新应用 
      1. 科研成果

对科研成果的获奖比例、科研成果的学科背景和科研成果的论文级别等数据进行分析研究,清晰统计科研获奖情况。

      1. 科研项目

对科研项目的负责人年龄、学历、以及院系等智慧校园科研项目信息进行分析研究,更全面地了解学校科研项目情况。

      1. 科研经费

对科研经费的投入、科研论著的发表数量以及各学院经费的投入和支出等数据进行分析研究,直观地了解科研经费、科研成果以及科研奖励等方面的信息。

 

 

    1. 大数据管理创新应用 
      1. 招生分析

对学生的生源地以及招生的学生类型等数据进行分析研究,发现哪几个地区的考生是历年招生的主力军,进而为学校做到有重点、有突出、有成果的招生指导。

      1. 就业分析

对学生就业的地区分布、就业行业以及就业专业排名等数据进行分析研究,为智慧校园决策者提供指导或数据支持,改进现有的教育模式,提高对毕业生就业指导的实效性。

      1. 住宿分析

对学生住宿过程产生的数据进行分析研究,帮助学校相关管理人员更加合理地分配宿舍资源,更加科学地进行宿舍管理。

      1. 资产数据统计分析

对资产的数量、资产的分类以及资产的年增长率等数据进行分析研究,为各类资产的购置和合理分配提供了决策支持,便于校领导从全局上把握资产信息,加强成本核算,对固定资产进行系统的规划、建设和管理。

 

    1. 大数据创新应用 
      1. 学生轨迹分析

对学生各学年的成绩、餐厅消费、购物、进出图书馆的次数、借阅图书以及吃早餐的次数等数据进行分析研究,利用这些数据,不仅能预测出学生的学习状况,而且学校还可以依此引导他们更好地规划各自的学业和就业方向。

 

      1. 学生画像

对学生在校生活和学习状况等数据进行分析研究,掌握学生的目标动向,无论是学习还是参与社会活动,都能够有的放矢地帮助学生做进一步规划。

    1. 智慧校园大数据建设模块

    1. 学校概况模块

智慧校园大数据平台的“学校概况”模块,主要给学校和院系领导使用,能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况,可以预测学校的发展趋势并且给出决策建议。

比如在消费方面,校领导可以看到近一个月的消费金额和地点的情况,也可以看到昨日全校消费综合、平均消费人次和平均消费额,可以看出学校整体消费水平的发展趋势;或者通过关联分析,知道哪些省份的学生成绩最好,哪些学院的学生自律性最强等。

      1. 全校一卡通消费情况

      1. 学生生源分布地图

      1. 教师职称统计图

      1. 各学院学历分布图

      1. 全校学历分布情况

      1. 全校成绩统计图

      1. 全校/各院学生综合分析

      1. 各院逃课率占比

      1. 全校上网信息

      1. 学校舆情情况

      1. 各省成绩分布图

      1. 综合预警平台

    1. 我的大学模块

学校最大的用户群体是学生,在微信层面开发了 “我的大学”这个功能模块,为每个学生提供了一个平台,从成绩、图书、消费、网络、就业多维度展现学生的大学情况,可以让学生、老师和家长全面角度审视和了解自己。

比如我的成绩,学生可以知道自己的成绩情况、历史走势、在学校的分步与排名等内容;

我的课程统计了学生课程名称、授课老师、课程介绍及关键知识点;

我的读书记录了图书明细、图书内容简要介绍、借阅记录等资料。

我们还可以根据学校的需求,将学生的近况推送给家长,便于家长及时掌握孩子的情况。

      1. 学生成绩详情分析

      1. 学生图书借阅分析

      1. 学生详细当前借阅信息

      1. 学生课程表

      1. 我的消费

学生可以详细知道自己的消费金额、消费内容、消费时间、个人消费比例和排序等。

比如某学生可以知道每天分别在什么时间、在什么地方各自花了多少钱,以及消费报表与数据分析,可规范学生的消费。

在学校层面,学校也可以通过消费信息的数据,来评判学生是否是真正的贫困生,在助学贷款或者学校助学金放发时起到客观的参考作用。

      1. 我的网络

学生可以了解自己的上网时长、个人上网网站频率比例和排序。该数据也可以同步给学校老师

比如某个学生长期在晚上深夜有上网行为,或者在正常上课期间大量的上网,平台会有预警信息推送给该生;同时老师可以提前进行进行相关的疏导与教育。

    1. 行为画像模块

通过对学生课程、生活等数据挖掘分析,我们可以得知学生成绩、消费、借阅各个方面的得分。我们也借鉴了QQ形象标签这功能,为学生贴上学渣、学霸、上网达人等标签。

辅导员也根据学生的特点标签,为每个学生情况进行指引教育工作。

为整个学生大学四年的所有学习、生活、上网、消费等所有数据,通过大学生涯的跟踪和分析,为对每个学生勾画个人形象。

这些数据还可在毕业时形成客观真实的行为画像报告和评价。学生应聘面试的时候可打印本报告,向面试官展现自己大学四年的整体情况,也便于企业了解每位学生挑选适合岗位的人才;另外也让学生更全面地知道自身优势,选择对自己有利的企业和岗位。

同时,我们可以根据每个学生的报告,结合企业招聘要求,向企业、学生推送人才、招聘信息。

    1. 综合预警模块

根据前面提到的学校概况、我的大学、行为画像三大功能模块,我们可以实时了解各学生在学校的行为和学校的发展现状,在出现特殊情况时及时报警,提升学校管理的及时性与风险预判定位的能力。

比如学生在某一天突然在食堂出现了5000以上大额消费,或者低频率的小额消费。(事实上部分学校的一卡通系统默认设置每天限额,一般不会出现一天在饭堂刷卡5000元的)

前者意味着要么被盗刷,要么学生过份铺张浪沸。此时平台可以及时报警,通过微信、邮件等方式推送给该学生的辅导员。

后者则证明该学生有可能生活困难,也可及时报警通知辅导员关心该生的生活情况,必要时可申请生活资助。

本平台可以采集到学生网络、消费、图书借阅等信息,通过对这些数据关联分析,我们可以实现学生的失联预警,避免意外发生;

学生上网沉迷预警,及时向学生进行辅导教育,避免学生误入歧途;图书借阅预警,避免因图书过期产生费用。

    1. 舆情分析模块

通过爬虫软件和其它的采集系统,对校内的论坛、校外的知名网站进行关键字信息收集与舆论分析,可按照关键词的紧急程度划分紧急、重要、一般三个等级,根据学校的需求按照时间影响程度不同采取不同的推送措施。

比如在校外知名论坛上,突然出现了对本学校大量的负面舆论,很有可能有人恶意造谣,对学校会带来很不好的影响。

因此可第一时间报告给学校管理员,及时进行的舆论导向工作与解释工作,并追踪恶意造谣的人员。

对校内的监控中,比如出现了如自杀、重度抑郁等高危和敏感词时,也可及时发展并通知管理员进行核实与安抚工作。

通过对学校内部的论坛、社会上的常用互联网平台的监控,实时了解学校舆论的关注热点词,以及社会上对学校的舆论动态,并实时反馈给学校管理者和校领导,使学校做出及时的舆论导向工作。

    1. 招生就业模块

我们利用大数据分析可以得到每个专业发展情况,比如国家及区域的产业政策,历史毕业生就业分步,岗位、对口率、薪酬等,以及清晰当前企业人才需求情况,动态调整课程体系和教学内容。

在学校层面,可以利用大数据分析了国内外等标杆院校相同专业的情况,包括招生就业、师资、实训、校企合作等,找出自身的优势和不足,形成一种合理专业的评价量化指标体系。

在学生层面,可以知道本专业的就业前景、就业方向,可以更好地规划大学的课程和专业技能的锻炼;平台可推送招聘信息(前面有提及)

在辅导员层面,可以根据本专业就业情况、本专业学生画像和每个学生的个人画像,开展更符合专业情况、学生总体需求的专业指导课程,也可以根据每个学生的实际情况提供个性化的就业辅导。

通过对就业情况的深度挖掘,我们还可以学生专业历史上多年的毕业生在社会上的年龄分布 、学历分布、薪资分布、地域流向等信息,可以更好为校企合作、学生应聘、就业辅导等提供服务。

    1. 数据安全模块

智慧校园大数据安全分析平台,针对智慧校园内部信息化设备数据进行采集和存储(如网络设备、安全设备、主机、应用系统),获取到网络日志、身份认证信息、人事等信息数据,使用大数据与机器学习等技术进行安全分析,可以根据时间维度展现网络安全的全局动态,显示安全报警计数和内容,从而发现隐藏的威胁,快速定位故障区域和故障设备,主动应对安全风险。

通过仪表盘,可以排查非法外联、介入移动介质、病毒木马、操作系统漏洞等风险(包括虚拟化环境下的风险),并且可以根据按照部门、安全事件类型、设备、人员等视角提供安全分析报告,从而得知安全风险最高的部门和设备及相应的风险类型,管理分析后可快速定位故障原因并优化网络,减少安全风险。

  • 智慧校园大数据云平台及应用系统技术
    1. 云平台技术介绍

过去几十年里,数据中心技术发生了天翻地覆的变化, 2000年前后的互联网发展推动了数据中心从大型机时代转向独立服务器和集中存储架构。相比之下,独立服务器带来了比大型机更加灵活的系统的环境;可以通过网络访问让也降低了运维的复杂性。业务部门需要盈利,数据是关键因素。依赖于其灵活的容量调配和高可用设计,集中存储实现了可共享的、更大的存储资源池,并且可以提供数据的保护能力。池化让存储资源得到更充分的利用, RAID及基于存储的容灾复制技术使得数据得到充分保护, 避免因为服务器宕机、管理员误操作等引起数据丢失。

但是独立服务器和共享存储架构也存在很多问题,独立服务器带来的是竖井式的架构设计,相应的服务器资源利用效率不平均,总体来说利用率非常低下(平均 5-10%)。另外服务器也经常成为单点故障。集中存储的系统复杂性也需要额外的管理工具和技术团队来运维,专用的存储系统也让用户很容易被锁定。

虚拟化技术的出现使得多种工作负载和操作系统以虚拟机 VM)的形式运行在单一物理机上, 大大增加了物理服务器的资源利用率。

随着Vmware等厂商的推动,X86虚拟化方案的功能日渐丰富, 率也大幅提高。借助诸多高级功能,比如在线迁移、高可用和动态资源负载均衡等,用户真正获得了虚拟机的高可用能力,并且可以动态迁移和管理工作负载。 集中存储虽然通过合并路径等操作来提高效率,但大规模虚拟化集群中虚拟机的快速增长却会带来下面的问题:

虚拟机快速增长导致更多的存储,代理更加复杂的管理;

多个虚拟机征用带来的资源冲突;

存储的控制器架构带来的性能瓶颈;

做为一种日益普通的存储介质,固态硬盘的出现在一定程度上解决了集中存储的问题。 放在集中存储中的固态硬盘使得无需借助更多的阵列就可以提供更高的 IO性能和更低的相应延迟。但来自集中存储控制器和网络的瓶颈依然存储, 应用的竖井架构和复杂的存储管理依然存储。

在计算、网络和存储三层架构的传统数据中心中,随着服务器CPU处理能力的日益提升,网络日益成为瓶颈。传统的4/8/16GB FC网络带宽只能对应 1到9块固态硬盘的 I/O处理能力。另外,电商、大数据等诸多应用对实时系统要求日益提高, 相应延迟成为一个影响客户体验的问题。一个典型的网络响应时间为 0.5毫秒,而本地内存访问的延迟不到 1/100。很多基于服务器的缓存技术出现,正式为了缓解网络延迟问题。

云计算和互联网的蓬勃发展,带来用户对不可预见的 IT资源需求。互联网架构就是面向业务快速增长的敏捷 IT需求而设计,是一种面向基础架构和计算资源的全新计算架构方式, 可以实现互联网规模的弹性架构能力。 但是数据中心不会走向 Google、阿里这样的大规模,而且有其他在高可用等方面的特定需求。目前很多流行的融合架构、软件定义的智能化、分布式系统、基于 API的自动化等概念,正是在互联网架构下衍生出来的企业级 IT技术趋势。

相对于传统的计算、网络和存储的三层数据中心架构,融合架构可以将多个组件组合在一个单元中, 提供计算、网络和存储服务,并且可以独立扩展,这样消除传统计算和存储的竖井架构。当然,很多环境下客户也需要存储和计算分开维护, 融合架构要提供这样的灵活性,并且能利用到本地 I/O处理带来的快速响应。

软件定义是指运行在通用的商品化硬件之上,通过软件来实现核心的逻辑,把关键处理逻辑从专用硬件中剥离。软件定义可以降低对硬件的依赖,提升系统的敏捷性和健壮性,具备如下特征:

底层负责提供服务,采用 X86等通用硬件;

控制平面和数据平面分离,并对底层资源进行抽象;

可以通过可编程的接口实现高度的自动化;

分布式、可线性扩展的系统,是指从之前的单一集中模式处理业务,转向集群内所有节点分布式处理业务,并且可以在需要横向扩展时随时扩展系统的性能和容量。 传统架构设计的前提是假定硬件可靠,至少在某种程度上是可靠的,正如服务器、存储等某个单点上是5个9高可用一样。但分布式系统的假定是硬件终究是会出问题,关键点是如何在一个简单的、以业务不中断的方式来处理故障。分布式系统的设计是为了调整和修复故障, 并且能做到自恢复。

任何一个故障出现,系统会通知管理员,而修复都可以按照管理员之前设定的流程自动化的去修复。这样就解决了单点故障,消除了系统中的瓶颈。灵活的线性扩展使得系统的计算、网络和存储容量可随时灵活扩展,客户可以从小规模开始,在任何规模都能获得一致性的性能和容量增长。

总结以上数据中心的技术变迁,虚拟化技术的出现解决了计算资源的利用率的问题,但存储的负载和复杂性依然存在,同时网络层面的开销和延迟也降低了客户体验。固态硬盘、服务器本地缓存等技术的出现和完善,使得分布式系统成为可能,软件定义降低了对专有硬件的依赖,通过软件的方式来实现分布式系统的自恢复和管理,互联网架构在企业级数据中心中成为可能。

      1. 公共云技术

云技术(Cloud technology )基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着物联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑, 只能通过云计算来实现。

公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或成本低廉的。这种云有许多实例,可在当今整个开放的公有网络中提供服务。外部用户通过互联网访问服务,并不拥有云计算资源。其意义在于能够以低廉的价格,提供有吸引力的服务给最终用户,创造新的业务价值,公有云作为一个支撑平台,还能够整合上游的服务(如增值业务,广告)提供者和下游最终用户,打造新的价值链和生态系统。

虽然每个公有云的提供商都对外宣称,其服务在各方面都是非常安全,特别是对数据的管理。但是对教育行业而言,特别是区域级教育系统而言,和业务有关的数据是生命线,是不能受到任何形式的威胁。所以短期而言,区域级教育用户不会将其核心业务应用放到公有云上运行。

      1. 区域教育云技术

区域云或者私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。用户方拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。 私有云可部署在云数据中心的防火墙内, 也可以将它们部署在一个安全的主机托管场所。私有云可由用户自己的 IT机构,也可由云提供商进行构建。

在此托管式专用模式中,云计算提供商可以安装、配置和运营基础设施,以支持一个企业级数据中心内的专用云。此模式赋予用户对于云资源使用情况的极高水平的控制能力, 同时带来建立并运作该环境所需的专门知识。

私有云在安全方面是非常有优势的,因为它一般都构筑在用户防火墙后。私有云是大用户或者个人自己拥有的云服务器,并且服务器不对外开放,仅供自己内部使用,这从某种意义上来说降低了泄密的风险,比公有云更安全。

      1. 虚拟化技术

虚拟化是指计算机元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。

CPU的虚拟化技术可以单 CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。

虚拟化的主要目的是对 IT基础设施进行简化。它可以简化对资源以及对资源管理的访问。

        1. 虚拟化的优势

1.整合服务器,提高资源利用率

通过整合服务器将共用的基础架构资源聚合到池中,打破原有的“一台服务器一个应用程序”模式。

2.降低成本,节能减排,构建绿色 IT

由于服务器及相关 IT硬件更少,因此减少了占地空间,也减少了电力和散热需求。管理工具更加出色,可帮助提高服务器 /管理员比率,因此所需人员数量也将随之减少。

3.资源池化,提升 IT灵活性

4.统一管理,提升系统管理效率

5.完善业务的连续性保障

        1. 虚拟化实现

软件方案

客户操作系统很多情况下是通过虚拟机监视器(VirtualMachine Monitor,VMM)来与硬件进行通信,由 VMM来决定其对系统上所有虚拟机的访问。在纯软件虚拟化解决方案中,VMM在软件套件中的位置是传统意义上操作系统所处的位置,而操作系统的位置是传统意义上应用程序所处的位置。 这一额外的通信层需要进行二进制转换,以通过提供到物理资源的接口,模拟硬件环境。这种转换必然会增加系统的复杂性。

硬件方案

CPU的虚拟化技术是一种硬件方案, 支持虚拟技术的 CPU带有特别优化过的指令集来控制虚拟过程,通过这些指令集, VMM会很容易提高性能,相比软件的虚拟实现方式会很大程度上提高性能。由于虚拟化硬件可提供全新的架构,支持操作系统直接在上面运行,从而无需进行二进制转换,减少了相关的性能开销,极大简化了VMM设计,进而使 VMM能够按通用标准进行编写,性能更加强大。

实现原理

虚拟化解决方案的底部是要进行虚拟化的机器。这台机器可能直接支持虚拟化,也可能不会直接支持虚拟化;那么就需要系统管理程序层的支持。系统管理程序,或称为 VMM,可以看作是平台硬件和操作系统的抽象化。在某些情况中,这个系统管理程序就是一个操作系统;此时,它就称为主机操作系统 . 系统管理程序之上是客户机操作系统,也称为虚拟机( VM)。这些 VM都是一些相互隔离的操作系统,将底层硬件平台视为自己所有。 但是实际上,是系统管理程序为它们制造了这种假象。

实现方法

毫无疑问,最复杂的虚拟化实现技术就是硬件仿真。在这种方法中,可以在宿主系统上创建一个硬件 VM来仿真所想要的硬件。

正如您所能预见的一样, 使用硬件仿真的主要问题是速度会非常慢。

由于每条指令都必须在底层硬件上进行仿真,因此速度减慢 100 倍的情况也并不稀奇。若要实现高度保真的仿真,包括周期精度、所仿真的 CPU管道以及缓存行为,实际速度差距甚至可能会达到 1000 倍之多。 硬件仿真也有自己的优点。 例如,使用硬件仿真,可以在一个 ARM处理器主机上运行为 PowerPC设计的操作系统,而不需要任何修改。甚至可以运行多个虚拟机,每个虚拟器仿真一个不同的处理器。

完全虚拟化(full virtualization ),也称为原始虚拟化。

这种模型使用一个虚拟机, 它在客户操作系统和原始硬件之间进行协调。虽然完全虚拟化的速度比硬件仿真的速度要快,但是其性能要低于裸硬件,因为中间经过了 hypervisor 的协调过程。

超虚拟化(paravirtualization )。这种方法使用了一个 hypervisor 来实现对底层硬件的共享访问, 还将与虚拟化有关的代码集成到了操作系统本身中。 这种方法不再需要重新编译或捕获特权指令,因为操作系统本身在虚拟化进程中会相互紧密协作。

超虚拟化提供了与未经虚拟化的系统相接近的性能。 与完全虚拟化类似,超虚拟化技术可以同时支持多个不同的操作系统。

操作系统级的虚拟化。种技术在操作系统本身之上实现服务器的虚拟化。这种方法支持单个操作系统,并可以将独立的服务器相互简单地隔离开来。 操作系统级的虚拟化要求对操作系统的内核进行一些修改,但是其优点是可以获得原始性能。

      1. 超融合设计
        1. 超融合概述

超融合基础架构是一种高性能、可扩展的基础设施,几乎适用于所有的 ISV 和定制应用。其横向扩展型架构使私有云能够一次一个平台进行扩展。

平台可运行各种流行的应用软件,如微软 SQL服务器、Exchange和Share Point ;

分布式的架构可以为多工作负载和多租户的各种环境提供高质量的存储 (QOS);

提供线性的可扩展性和极高的性能与可用性;

不限定管理程序,可选择虚拟化平台;

高性能要求数据库

使用分布式存储的数据库, 比传统存储达到的性能更高, 同时,此解决方案可以通过动态添加节点的方式近乎线性的扩展容量和

IO性能,使其成为满足数据中心要求的高效、 灵活的解决方案的首选。分布式存储的性能优势将得以完美体现一体机上使用闪存卡将更加提高性能,几乎所有数据库平台都完美支持。

大数据

先进的数据分层技术,以及服务器直连闪存,使虚拟化大数据

应用软件的运行速度比裸机部署项目更快, 能够在不到一天的时间内设置完毕并启动运行。

应用软件可与其它服务同时运行,而不造成性能下降,极大地降低机架空间和设备成本,便于扩展到任意部署规模。

        1. 存储虚拟化
          1. 存储整合

NCS 网关通过一套开放式的虚拟化平台,把若干套存储设备进行“池”化后提高容量利用率到 100%。然后通过“磁盘池”创建“虚拟卷”,通过标准的 FC或ISCSI协议提供给前端应用主机,因而主机会获得一个标准的磁盘系统,往常被称作“ LUN”。虚拟化层提供存储设备之间的相容性, 互通性,摆脱以往的硬件绑定式原则 。

以虚拟化存储网络为核心的信息系统集成解决方案的最大特点就是 FC+ISCSI 数据集中存储解决方案。

FC-SAN 具有的大容量集中存储、高速高带宽、无地域和距离限制、高度可扩展、高可用性、LAN-Free 和 Server-less  备份支持、易管理等特征,因此,完全满足信息系统对海量存储设备和宽带高性能的计算机网络方面的要求。采用冗余的高可用性 SAN 架构更增加了整个系统的健壮性和高可用性。

NCS 网关服务器通过 FC高速专用通道或者 ISCSI以太网,接入后端的存储资源,受益于 NCS存储虚拟化网关存储服务器的特性,若干台存储可以是不同厂商,或不同接口的磁盘,最终被整合为共享的存储资源,然后提供给前端基于标准化的访问,访问方式可以是基于 FC专用通道或以太网 ISCSI直连,也可以是一个标准的SAN环境的 FCoE。

NCS 网关服务器所组成的虚拟存储层,数据同时存放在若干个存储实体 中,存储阵列之间可以部署实时镜像,当存储路径上任何一个设备发生故障 时,数据访问会转向副本存储上,应用业务不会受到停顿,中断的影响。存储 阵列之间的冗余,建立在active/active 之间,所以利用此机制,管理员可以随时在线替换某台存储阵列,或者对某台存储进行维护。

异构资源整合的架构上, NCS网关服务器同时具备以下功能 :存储精简配 置、存储快照、同步数据备份、异步数据备份、卷数据拷贝、异构磁盘的支持 (SAS,SATA,FC,ISCSI,Firewire ,SSD,SATA,USB)。

          1. 持续数据保护

应用程序时刻面临着病毒蠕虫,网络入侵的风险,同时的“内部”风险也 是居高不下,例如:应用程序中软件升级 Bug,人为的逻辑性错误,这些都是 在存储容灾未涵盖的保护内容,很多时候运维人员需要快速恢复生产和数据, 希望减小数据最小化的丢失,那么如果数据能够根据需要返回上一个时间点显 得至关重要,而快照技术由于其时间窗口的限制,恢复的颗粒程度显得力不从心。

CDP 的分类是相对于数据保护时间点而言的。准 CDP 技术是按照一定的时 间频率,持续的记录并备份数据变化,每次备份有一定时间窗口,需要数据恢 复时,可以恢复到过去备份的时间点,并不能形成完全意义上的持续保护,因此称为准 CDP技术。而真CDP技术是持续不间断的监控并备份数据变化,可以恢复到过去任意时间点,是真正的实时备份。

在实际应用中真 CDP技术应用较少,一方面是技术原因,需要解决数据的 持续不间断监控和记录的技术难题;另一方面是由于真CDP技术持续备份时产生的大量数据,远大于其他备份方式产生的数据量,对数据存储形成巨大压力,也给用户造成费用负担,所以大多数CDP备份产品都采用准 CDP技术。

NCS 存储虚拟化网关 CDP 基于 True CDP 技术,实现周期内最高级别的数据 保护,备份恢复机制为 CDP中最为严谨的:NCS 存储虚拟化网关 CDP功能即使抓取应用服务器写入磁盘的每个 I/O 并存入系统日志中,同时给予每笔记录时间戳记; 在需要进行数据恢复时,根据日志内容,将数据恢复至保护期内任意时间点状态,这种机制才能实现真正 CDP。

滚到最新的快照或备份可能意味着失去大量的更新,逻辑错误发生等问 题。连续数据保护(CDP)的提供了一个严谨恢复策略,以恢复快照和备份所 涵盖较长的时间间隔之间时间点。 CDP 的连续记录和时间戳的 I / O  写入到虚 拟磁盘指定让您恢复到一个时间您在 48 小时备份周期。

          1. 同城/同机房应用高可用

服务器的高可用功能( High Availability ),除了可以确保第一节点故障不会造成应用服务器数据存储操作中断,其同步数据资料功能使得整个存储网路不存在任何单点故障,从存储层面保证业务的不间断性;

数据中心存储容灾项目,是建立在数据大集中整合的前提之下。

通过集中式的 IT模式,带来巨大规模效应,极大提高生产效率。

针对这种数据中心级集中备份系统的设计要求,灾难备份系统的

结构是否先进、合理,对整个系统的设计目标是至关重要的。在

数据中心存储容灾系统的结构设计上,我们重点考虑以下因素 :

系统结构应面向成熟与可靠的实现技术,保证系统的稳定运行;

系统架构应非常灵活,易于重构和扩展;

系统基于Active\\Active 机制,百分百保障业务连续性;

系统故障周期无需人为干预,自动挂载,及自动同步增量数据;

系统架构应面向核心应用,易于实现全局业务恢复策略;

系统架构应面向管理,非常易于维护与使用;

系统架构面向投资保护与总体拥有成本( TCO);

NCS虚拟化网关提供高可用解决方案,在存储结构中任何设备带来的意外停机,均能够转为业务连续性,不会以为单节点故障而带来的业务中断或停顿。高可用解决方案适用于同一机房或者有限距离内的同一地区。

NCS虚拟化网关服务器允许您配置由两个节点之间的同步镜像的冗余存储池。主节点与备援节点提供镜像虚拟卷给前端应用主机,用主机配合本身的多路径管理软件协调 NCS 虚拟化网关之间的首选与备选。

NCS虚拟化网关节点之间通过镜像链路保障两个镜像卷的 IO一致性,而这一点无需依靠应用主机性能支撑。当应用主机多路径察觉写入失败,会及时转移 IO到备援NCS虚拟化网关节点,在此之前 NCS 虚拟化网关备援主机与应用主机并没有数据交互。

另外,对于一些高级别的集群程序不仅仅实现应用主机之间的故障恢复— Failover ,还能够进行主机之间对于业务的负载均衡—Load balancing ,而这时 候要求存储节点之间支持双向的 IO写入,存储1与存储2之间同时接写入 IO,NCS 存储虚拟化网关能够完全支持这一机制,实现真正意义双活 Active /Active ;

从物理的角度来看,最好的方案在于建议保持独立的存储节点位于不同的地点,与各自的部分磁盘池,使每个节点都能受益于单独的电源,冷却系统和不间断电源 (UPS),NCS虚拟化网关的节点。目前的技术支持节点间的距离可达 100公里。

对于备份中心的主机系统配置,用户可以采用同生产中心完全相同的配置,实现”同级备份”;也可采用备份中心主机配置小于生产中心的方式,实现“降级备份”。

从扩展性角度分析,由于 NCS虚拟化网关支持多种主机操作系统和多种群集技术,因此未来用户新增不同业务和不同的主机平台时,都可利用已构建好的容灾平台,真正实现 “业务持续性统一虚拟化存储平台”的技术目标。

从性能方面分析,除了已建议的高性能虚拟化存储平台和 NCS虚拟化网关容灾软件外,还需要考虑到主机端的 I/O负载均衡问题,因此,建议在服务器端配置 NCS虚拟化网关的 MPIO负载均衡软件,实现多个I/O通道和路径之间的负载均衡与错误保护,使整个容灾虚拟化存储平台的性能达到最优。

      1. 云存储
        1. 基于NCS分布式海量存储系统

随着虚拟化成为基础架构主要的工作机制,数据中心的存储设计面临前所未有的挑战:

第一个挑战是管理复杂、不灵活。存储一直是虚拟化架构设计中最关键的环节之一。很多性能的问题都和存储有关。架构师需要了解很底层的存储设备及其特性,需要在 IOPS,Latency和容量等各个方面优化。另外存储的分层、扩展和运维都有很多考虑的方面。

在引入软件定义的 ServerSAN存储以前,存储都是在项目开始阶段配置和部署的,在其生命周期中不再更改。如果要求更改虚拟机所利用的LUN或卷的某些方面或功能,则在许多情况下,需要删除原始LUN或卷并创建具有所需功能的新卷。 这是一项干扰性很强且非常耗时的操作,可能需要花费数周的时间进行协调。

第二个挑战是费用昂贵。如果数据量很大,特别是用存储光纤网络(SAN)的情况下,那是虚拟化平台烧钱的很大一块,平庸的存储设计看起来四平八稳循规蹈矩, 殊不知可能会在存储上开销很大。

第三个挑战是无法确保差异化服务等级。 由于数据存储选择 LUN时并不考虑每个虚拟机的性能和可用性要求, 因此难以在存储方面保证SLA。在每个卷中包含多个 VMDK的情况下,很难排除性能问题。

虚拟环境的数据中心,要求存储能够提供新的特征:

1. 提供精确的控制

2. 在应用高度整合的情况下满足性能要求

3. 提供与应用相匹配的数据移动性

4. 支持快速调配零停机操作

5. 按需动态扩展

6. 支持VDI和大数据等新应用

这些新特性是传统的存储所不能满足的,因此软件定义的ServerSAN存储应运而生。它从前文提及的三个维度解决虚拟化数据中心面临的问题和挑战:简化存储的管理、降低总拥有成本、实现端到端的SLA交付。

针对以上新兴需求,NCS分布式海量存储系统应运而生, 该系统可利用本地应用程序服务器的内置存储容量或者独立的存储服务器创建基于服务器的集群 SAN存储系统,以便按需提供具有弹性的可扩展性能和容量,存储系统可扩展至数千节点。作为传统 SAN基础架构的替代方案, NCS分布式海量存储系统结合了 HDD、SSD和PCIe闪存卡以创建具有不同性能层的虚拟数据块存储池, 随着存储和计算资源的变化,该系统会自动重新平衡存储分布以优化性能和容量使用。

        1. 聚合存储

NCS分布式海量存储系统可根据客户的实际应用环境按三种模式部署,即超融合部署模式、大二层服务与存储分离架构模式、大规模并发处理模式。根据此次客户需求,主要是解决海量存储容量和一定的数据 IO读写能力,推荐采用大二层服务与存储分离架构模式。

C节点为客户应用服务器节点, S节点为存储系统节点。

存储节点最多可支持 1024个,最大容量 16PB。

        1. 线性可扩展性

ScaleIO经设计可大规模扩展,可从三节点扩展至数千节点。 与大多数传统存储系统不同,随着存储设备数量的增长,吞吐量和IOPS也会同时增长。随着部署的增长,性能也呈线性扩展。一旦有相关需求,即可通过模块化方式添加更多存储和计算资源(例如更多服务器和驱动器)。由于存储和计算资源同步增长,它们之间可以保持平衡。于是,存储的增长总是与应用程序需求自动保持一致。

        1. 具有弹性的存储

使用ScaleIO,一旦有相关需求,即可增加或减少容量和计算。系统会自动”动态”重新平衡数据,且不会造成宕机。添加和删除可以较小增量或较大增量进行。 无需因互操作性限制而进行容量规划或复杂的重新配置,因而可降低复杂性和成本。 ScaleIO系统会随着底层资源的变化重新配置其自身, 重排数据并将之均匀分布在服务器上,以优化性能和提升恢复能力。这一切将自动发生,无需操作人员干预。

ScaleIO不受基础架构限制,可与混合服务器品牌、操作系统(物理和虚拟)以及存储介质类型( HDD、SSD和PCIe闪存卡)同时使用。

        1. 通过I/O并行提升性能

I/O操作过程中将用到 ScaleIO群集中的每一个服务器。如此大规模的I/O并行能够消除瓶颈。吞吐量和 IOPS的扩展与添加至系统的服务器和本地存储设备数量成正比,随增长改善成本 /性能比率。性能优化将自动进行,一旦需要重建和重新平衡,它们将在后台运行,对应用程序和用户无影响或只有微弱影响。 ScaleIO系统会自主管理性能热点和数据布局。

        1. 数据保护和恢复能力

使用ScaleIO,不存在单点故障。 ScaleIO通过跨多个存储设备和服务器对随机切片和分布的”数据区块”进行双拷贝网状镜像提供数据保护和恢复能力。如果发生服务器宕机或存储宕机, ScaleIO会自动重建故障数据块并重新平衡数据以实现群集的自我修复。 存储宕机和服务器宕机将可被容忍,并将被自动处理,而无需中断系统的总体运行。IT管理员可根据系统性能目标和应用程序优先级监视和限制数据重建。

        1. 磁盘IO加速

ScaleIO提供智能缓存功能,该可以利用服务器的内存或者服务器本地的闪存设备作为 IO缓存层,来对底层的低速存储介质进行IO加速。通过采用该功能,只需配置少量的闪存设备或者分配部分服务器的内存,即可缩短数据存储介质的延迟并提高吞吐量,从而大幅提升应用程序的性能。

      1. 云灾备
        1. 云灾备概述

随着社会信息化程度的提高和对信息系统依赖性的增强,且数据的规模越来越大,数据也越来越重要,需要备份的数据量在持续的增长;另一方面,分支结构之间的距离也越来越远,而与之对应的却是业务系统要求的越来越苛刻的恢复准确率, 所以信息系统的灾备备份成为灾难发生时确保业务连续性和数据可用性的重要手段。

传统的备份从早期的冷备份和数据级热备份,到如今的多中心集群和多中心复合云灾备,灾难恢复的发展特点有着明显的变化:

早期资源有限,备份目标也有限,发展到资源迅速扩展,甚至资源复用,使得备份力不从心,显然主体目标恢复已经无法满足多中心集群的备份需求;且传统的备份系统都是和项目一起采购,造成数据中心多个独立的备份系统, 备份的效率差和备份资源的浪费很严重,备份系统架构及其不合理,管理也极其复杂。

云灾备作为灾备领域的一个新兴概念,它的出现为大用户提供了一个行之有效的解决方案。云灾备是指将灾备看做一种服务,由客户付费使用灾备服务提供商提供的灾备服务的模式。 采用这种模式,客户可以利用服务提供商的优势技术资源、丰富的灾备项目经验和成熟的运维管理流程,快速实现客户的灾备目标,降低客户的运维成本和工作强度,降低灾备系统的总体拥有成本。

通过云灾备,让数据的共享、协同处理、深入分析更为方便,从而提高大用户的效率, 并在如下七个方面为大用户及相关系统带来极大的好处:

快速恢复

如果服务器宕机、长时间的电力中断或突发的自然灾害,即使有传统的远程备份,仍然需要时间去做数据的恢复和业务重启,且取决于远程备份的地点远近和远程服务器的性能。随着 DRaaS(DisasterRecovery as a service  ,简称DRaaS)的出现,可以预先准确估计恢复的时间, 确保停机时间在一个可接受的合理范围内,从而可以制定一个准确的、可交付的 SLAs协议

安全备份

很多机房都有和现有生产系统直接或间接在一起的备份系统。但很多灾难发生时,会同时对当前的网络系统造成冲击,从而也影响到相关联的备份。如相应的系统被网络攻击或篡改数据,则对应的备份系统也不能幸免。而 DRaaS使得备份被安全地存储在异地简而言之,数据任何情况下都是安全的。

高度灵活性

DRaaS使得业务需求更容易评估, 可以更准确预估哪个系统、 甚至哪个子系统确实需要维护。 可以更细粒度地选择关键的数据来优化你的备份计划,而不是整个地完全备份,更精确地设置 RPO(Recovery Point Objective ),即能容忍的最大数据丢失量。

高度机动性

虚拟化技术可以在主节点已经异常而无法提供服务时,仍然在

云端保持系统的稳定运行,所以只要能连上网络,员工仍能继续在原有的服务器环境中工作。这种高度机动性,使得从一个办公场所移动到另一个场所,或短期的在家办公都极为方便。

客户满意度的极大提升

随着相关技术的发展和成熟,以及各行业数据中心、灾备中心建设的深入开展,云灾备必将发展成为中国灾难备份市场的重要一员。以灾备产业发展较为成熟的美国为例,”云灾备”已经占到灾备行业的56%,由此可见云灾备正在成为一个主流的趋势。

        1. 云灾备方案

结合云灾备的环境,以及 DRaaS的具体要求,以可靠性、高效性、安全性为首位,采用云灾备软件,本方案详细描述了规划设计以及实施的具体细节。总的架构拓扑图如下:

在客户端部署云灾备客户端模块,针对各类数据和应用程序实施实时保护和切换。在生产系统正常情况下,通过现有广域网线路或者专线把相关数据实时灾备到云端;异常情形下,可将数据恢到任意可用的源端服务器上,也可直接在云端启用新的服务器(如虚拟机)进行应用的接管,由其提供数据访问服务。通过统一的WEB管理界面,实现任何地点任意时间对灾备的全方位监控和设置。

云备份解决方案允许为任何应用 /数据制定高效、可靠的灾难恢复计划。在按需分配的基础上,通过云备份,既可大大节省建立多个专有灾备中心的费用,如相关的硬件、软件、电力、冷却以及管理等的费用,又可享受海量存储和高性能云计算的服务。

云备份实现了和硬件无关的连续数据保护。当数据或者应用出现异常时,可通过图形化管理工具快速实现相关恢复,并可将数据恢复到和原生产服务器不一样的物理或虚拟服务器上。 恢复粒度可以是单个文件或整个应用系统,如数据库等。

云备份的弹性资源分配模式很好地满足业务的扩容或数据的增长,并且可以按照实际使用量来进行计费,永久解决了业务增长和信息系统之间的不匹配,而需不断扩容之间的矛盾。为用户提供了可在任何情况下都稳定运行的支撑环境。

        1. 数据实时云备份

数据实时云备份即将大用户的数据实时备份到云平台上,通过较低的成本实现对数据实现实时备份保护,数据备份到云端后,可以随时按需要恢复到任意源端或异地的服务器上:

应用级集中云灾备

当工作机异常或者宕机时,由云端的备用服务器接管应用,对外提供服务,实现应用级的快速恢复。具体步骤如下:

1)源端服务器异常

2)数据将从云平台的灾备服务器恢复到云端的备用机上

3)数据恢复完成后,新申请的备用机提供和工作机一样的服务,应用程序可以直接从该备用机上得到服务和响应

4)原有的工作机恢复正常后, 备用机归还给云平台,最新的数据从灾备服务器推送到工作机上

5)数据恢复完成后,工作机继续提供服务

应用级一对一云灾备

应用级一对一云灾备即将每个工作机都对应到云平台上的一台服务器上,架构图如下:

该方案能快速地实现应用级切换,可将 RTO缩短到分钟或者秒级。

云到云的灾备

云到云的灾备可以是用户私有云到公有云,或者不同公有云之间的灾备;可以仅是数据的灾备,也可以是应用级的云间灾备保护,该方案适用分支机构分布广泛,灾备级别要求更高的用户需求,比如一南一北两个云之间的灾备,各分支机构按就近原则访问数据;

也可实现对区域级灾难的灾备保护:

异地灾备

云平台应用过程中产生的资源、 数据异地灾备到市教育局中心机房。

      1. 软件定义网络设计
        1. 规划预期效果

SDN(Software Defined Network ,软件定义网络)是一种新型网络创新架构,其核心思想是将网络设备的控制层面与转发层面分离,以实现对网络流量的灵活控制,为核心网络及应用的创新提供良好的平台。SDN的关键益处如下:

开放性:任何一名开发人员都可编写软件,在网络的使用方式和操作方式上实现灵活性;

快速供应:用户能够以更快的速度获得想要的功能,无需等待供应商的后续提供;

高效率:可降低操作费用和减少错误的数量,从而减少网络故障时间,因为可自动进行网络配置,减少人工配置的数量;

网络虚拟化:SDN能实现网络的虚拟化,把网络、计算和存储融为一体,简单化;

集中化:通过一个控制点和工具套,就可以对整个 IT作业情况进行管理。便于与计算功能整合,便于开展资源管理和维护,从而可以更好地使网络与业务目标保持一致。

        1. 软件定义网络规划

SDN产品的(Virtual Converged Framework ,虚拟应用融合架构)控制器以软件定义网络为核心,采用 SDN开放平台和 SDN应用分离的设计思想,支持标准的 SDN协议和第三方插件应用,通过丰富的北向API接口,为客户提供一个基于自适应 SDN网络构建各种丰富SDN应用的统一融合解决方案,帮助客户实现从传统网络向

SDN网络的平滑迁移、SDN业务的弹性扩展和灵活调度。

控制器是一个开放的软件平台,提供可编程的用户接口,使用标准的协议作为网络控制协议实现对物理网络的管理。

控制器是 SDN解决方案的重要组成部分,它类似一个网络操作系统,为用户提供开发和运行 SDN应用的平台。VCF控制器可以控制网络中的各种资源,并为应用提供接口,应用通过调用控制器提供的接口来实现自己的网络转发需求。

VCF控制器的主要特点如下:

基础和完整的控制器平台;该平台基于 Linux操作系统,使用OSGi框架(Equinox)和容器(Virgo)作为模块化软件部署的基础,支持标准协议控制网络。平台内置基本的服务包括安全认证、数据缓存、日志记录和告警等。

高可靠的平台;通过集群功能提高网络的可靠性,避免单台控制器故障导致 SDN网络处于非管理状态。支持独立运行模式和集群模式。

可扩展的平台;提供嵌入式 Java应用程序接口,基于该接口编写本地应用程序运行在控制器平台之上。也可以通过任意语言开发部署在控制器外部的应用程序,通过 REST API与控制器进行交互。

开放架构

采用OSGi开放式架构,可以通过开发 APP的方式灵活扩展新的

功能;

对外提供丰富的 REST API接口;

对外提供丰富的 Java API接口。

高可靠性

多台VCF控制器之间可以组建集群,当集群的部分成员发生故

障时,业务不受影响。当前集群中的成员个数最多支持 32台。

高易用性

基于WEB页面进行管理;

直观显示用户的网络设备和接入主机;

记录详细的日志信息,可对用户行为进行跟踪。

遵循标准

规划支持标准的 OpenFlow 1.0.0 和OpenFlow 1.3.3 版本。但

是为了与原来的系统进行兼容, 默认TCP端口号仍然是 1.3.0 版本

定义的6633,而1.3.3版本定义的是 6653。

      1. 软件定义存储设计
        1. 预期规划效果

EMCScaleIO是一款软件,可以利用 X86服务器本地存储,通过聚合服务器本地服务器的容量和性能以创建分布式块存储, 按需提供存储容量和性能。 ScaleIO安装在X86服务器的通用操作系统之上,由于对服务器的 CPU/内存资源开销非常小,可以在运行ScaleIO软件的服务器上运行应用程序,这种部署方式也被称为融合部署模式。ScaleIO有很强的扩展性,单系统可扩展至上千节点。

此外ScaleIO对运行的服务器、操作系统没有任何限制,可以基于实际需求任意组合,一个集群内可以支持不同厂商、不同型号、不同操作系统的服务器混合部署。对于被管理的物理磁盘介质,ScaleIO也不做任何限制,可以是 HDD、SSD、PCIe闪存卡,甚至DAS,或者其他外置存储分配给该主机的逻辑卷。 ScaleIO可以根据实际的需求结合不同的磁盘介质和物理服务器数量, 组成具有不同性能、容量、可靠性的存储池,从而满足服务器虚拟化、数据库、开发测试与虚拟桌面等多种场景对不同性能、容量、可靠性的存储的需求。

        1. 软件定义存储规划

体系结构组件

ScaleIO包含三个组件:数据客户端(SDC),数据服务器(SDS)以及元数据管理(MDM)

MDM:用于配置和监控 ScaleIO系统,存储元数据信息,建议配置为集群模式以保证该组件的高可用性

SDS:管理服务器的存储空间,并作为存储数据访问的后端进程。

SDS需要安装到所有为 ScaleIO系统贡献存储容量的服务器上。这些设备的访问需要通过 SDS。

SDC:SDC是一个数据块设备驱动程序,它使得应用程序可以访

问ScaleIO共享数据块卷,在需要访问群集数据块存储卷的应用程序服务器上运行。当本地应用程序发出 I/O请求,不论请求的数据块在哪个位置,SDC都将满足该请求。SDC拥有群集内所有数据的位置信息,总是将 I/O请求定向到正确的目标 SDS,不论目标 SDS位于同一服务器或任何其他服务器。 I/O操作不会经由中央路由点,从而避免出现瓶颈。

聚合存储与计算

ScaleIO 支 持 多 种 主 流 X86 操 作 系 统(Windows/Linux/Xen/ESXi/Hyper-V )以及主流服务器配置,对于被管理的物理磁盘介质, ScaleIO也不做任何限制,可以是 HDD、

SSD、PCIe闪存卡,甚至 DAS,或者其他外置存储分配给该主机的逻辑卷,可以根据实际需求灵活配置。典型的部署架构分为两种:

两层架构:选择单独的存储服务器作为存储集群运行 ScaleIO

分布式块存储软件,其中存储服务器选择存储型服务器配置, 低CPU、低内存、多磁盘插槽配置,节点之间通过以太网或者 Infinitband进行互连。

融合架构:服务器即运行应用程序,同时运行 ScaleIO 分布式块存储软件,由于ScaleIO对CPU/内存的需求非常小,即使ScaleIO与应用程序安装在一台物理服务器上也不会影响应用程度的性能。

该配置下,服务器根据需求选择合适的 CPU、内存以及磁盘配置。

节点之间通过以太网或者 Infinitband 进行互连

线性可扩展性

ScaleIO经设计可大规模扩展,可从三节点扩展至数千节点。 与大多数传统存储系统不同,随着存储设备数量的增长,吞吐量和IOPS也会同时增长。随着部署节点数量的增长, 容量、性能也呈线性扩展。一旦需求有所变化,即可通过模块化方式添加更多存储和计算资源(例如更多服务器和驱动器)。

存储弹性伸缩

ScaleIO支持在线添加节点或者磁盘。节点或者磁盘添加以后,ScaleIO会在集群中进行数据块的重新分布,这个过程称为数据重分布。数据重分布过程中,视搬移数据量的不同,可能会有大量的IO操作。为了保证应用程序能够正常运行, 可以设置多种 QoS策略,以限定数据重分布的速度。

添加节点

ScaleIO支持在线删除节点或者磁盘。 提交节点或者磁盘删除操作以后,ScaleIO会首先在集群中进行数据块搬移,数据块会首先从被删除节点或磁盘中搬移至集群中剩余节点或磁盘中, 这个过程也被称为数据重分布。数据重分布过程中,视搬移数据量的不同,

同样会有大量的 IO操作。为了保证应用程序能够正常运行,可以设置QoS策略,以限定数据重分布的速度。

删除节点

由于ScaleIO对集群内服务器的型号、配置、操作系统没有任何的限制,结合在线添加、删除节点功能,可以实现存储集群硬件的在线更换,而且更换过程中对应用没有任何影响。

通过I/O并行提升性能

在ScaleIO 环境下,存储卷会均匀分布到存储池中的所有磁盘上。当某台应用服务器通过 SDC进行IO访问时,集群中所有的节点都会对其提供服务,这样能很好的保证 IO的大规模并发。

此外,整体的吞吐量和 IOPS的扩展性与集群中节点数量和本地存储设备数量成正比。随节点和本地存储磁盘数量的增长而线性增长。添加节点、磁盘时候性能负载均衡将自动进行, 无需手工干预。

数据保护和恢复能力

ScaleIO架构中不存在单点故障。 ScaleIO会将存储卷进行切片操作,并进行跨集群所有节点的切片镜像。如果发生节点故障,ScaleIO会自动进行故障数据块的网状数据重建,以实现集群的自我修复,而无需管理员手工操作。此外 ScaleIO可以设置多种 QoS策略,以限定故障重建导致的 IO流量,以保证数据的快速恢复。

针对网络故障,ScaleIO可以自动进行多网口的负载均衡以及故障切换,充分保证端到端的高可靠性。

磁盘IO加速

ScaleIO提供缓存功能,可以利用服务器的内存或者服务器本地的闪存设备作为 IO缓存,来对底层的低速存储介质进行 IO加速。

通过采用该功能,只需配置少量的闪存设备或者分配部分服务器的内存,即可优化数据存储介质的延迟并提高 IO,从而大幅提升应用程序的性能。

快照

ScaleIO系统允许针对已有存储卷进行快照。 快照为瘦供给模式,快照速度非常快。一旦快照生成,该快照即可作为一个新的、未映射的存储卷来进行使用, 可以将该快照映射给应用服务器来进行使用。

服务质量保证

ScaleIO可以提供多种场景下,多种手段来保证应用的存储服务

质量:

可以针对数据重建的流量进行限制,以保证在进行数据重建时不会影响应用对存储的访问。

可以针对数据负载均衡的流量进行限制,以保证应用正常运行,而不会受到影响。

可以限定某个应用服务器对某个存储卷能访问的 IO和带宽。这可以充分避免非关键应用的性能滥用,从而保证关键应用的运行。

简单的管理和监视

ScaleIO的采用批量分发、自动化安装,通过 ScaleIO网关,可以将安装文件推送到需要安装 ScaleIO组件的节点,并自动执行安装配置过程。另外 ScaleIO提供图形化管理界面,可以对集群进行管理,并实时监控整个集群从磁盘、存储池到节点的性能、容量以及告警情况。

    1. 应用系统技术介绍
      1. 虚拟仿真实验室

虚拟仿真技术,则是在多媒体技术、虚拟现实技术与网络通信技术等信息科技迅猛发展的基础上, 将仿真技术与虚拟现实技术相结合的产物,是一种更高级的仿真技术。虚拟仿真技术以构建全系统统一的完整的虚拟环境为典型特征, 并通过虚拟环境集成与控制为数众多的实体。实体可以是模拟器,也可以是其他的虚拟仿真系统,也可用一些简单的数学模型表示。 实体在虚拟环境中相互作用,或与虚拟环境作用,以表现客观世界的真实特征。虚拟仿真技术的这种集成化、虚拟化与网络化的特征,充分满足了现代仿真技术的发展需求。

      1. 网络直播课堂

互联网的迅猛发展和普及为流媒体业务发展提供了强大市场动力,流媒体业务正变得日益流行。流媒体技术广泛用于多媒体新闻发布、在线直播、网络广告、电子商务、视频点播、远程教育、远程医疗、网络电台、实时视频会议等互联网信息服务的方方面面。

流媒体技术的应用将为网络信息交流带来革命性的变化, 对人们的工作和生活将产生深远的影响。

一个完整的流媒体解决方案应是相关软硬件的完美集成, 它大致包括下面几个方面的内容:内容采集、视音频捕获和压缩编码、内容编辑、内容存储和播放、应用服务器内容管理发布及用户管理等。

流媒体技术和声音信息经过压缩处理后放上网站服务器,让用户一边下载一边观看、收听,而不要等整个压缩文件下载到自己的计算机上才可以观看的网络传输技术。 该技术先在使用者端的计算机上创建一个缓冲区,在播放前预先下一段数据作为缓冲,在网路实际连线速度小于播放所耗的速度时, 播放程序就会取用一小段缓冲区内的数据,这样可以避免播放的中断,也使得播放品质得以保证。

流式传输的实现需要缓存。 因为Internet 以包传输为基础进行断续的异步传输,对一个实时 A/V源或存储的A/V文件,在传输中它们要被分解为许多包,由于网络是动态变化的,各个包选择的路由可能不尽相同,故到达客户端的时间延迟也就不等,甚至先发的数据包还有可能后到。为此,使用缓存系统来弥补延迟和抖动的影响,并保证数据包的顺序正确,从而使媒体数据能连续输出,而不会因为网络暂时拥塞使播放出现停顿。 通常高速缓存所需容量并不大,因为高速缓存使用环形链表结构来存储数据:通过丢弃已经播放的内容,流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。——流式传输的实现需要合适的传输协议。由于 TCP需要较多的开销,故不太适合传输实时数据。流式传输的过程一般是这样的:用户选择某一流媒体服务后, Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息,以便把需要传输的实时数据从原始信息中检流媒体制作索出来;然后客户机上的 Web浏览器启动A/VHelper程序,使用 HTTP从Web服务器检索相关参数对 Helper程序初始化。这些参数可能包括目录信息、 A/V数据的编码类型或与A/V检索相关的服务器地址。

A/VHelper程序及A/V服务器运行实时流控制协议( RTSP),以交换A/V传输所需的控制信息。与CD播放机或VCRs所提供的功能相似,RTSP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。A/V服务器使用 RTP/UDP协议将A/V数据传输给A/V客户程序(一般可认为客户程序等同于 Helper程序),一旦 A/V数据抵达客户端,A/V客户程序即可播放输出。

      1. 智慧课堂

对于低年级的学校学生而言, 智慧课堂系统学生终端采用电子墨水屏是比较好的建议, 因为电子墨水屏对学生的视力有一定的保护作用,减少小学生的视力疲劳。

电子墨水是一种革新信息被显示的新方法和技术。 像多数传统墨水一样,电子墨水和改变它颜色的线路是可以打印到许多表面,从弯曲塑料、聚脂膜、纸到布。和传统纸差异是电子墨水在通电时改变颜色,并且可以显示变化的图象,像计算器或手机即那样的显示。电子墨水屏表面附着很多体积很小的“微胶囊”,封装了带有负电的黑色颗粒和带有正电的白色颗粒, 通过改变电荷使不同颜色的颗粒有序排列,从而呈现出黑白分明的可视化效果。

在使用普通墨水可以打印的材料上都可以应用电子墨水。 对于电子书,书页将由某种超薄塑料制成。墨水可以覆盖整个书页,并由类似于方格纸上的方格的单元格分隔。 可以将这些单元格看作计算机屏幕上的像素,每个单元格与嵌入该塑料板内的微电子元件连接。然后,可以使用这些微电子元件向微胶囊施加正电荷或负电荷,从而形成所需的文字或图像。

  • 智慧校园大数据云平台及系统设计规划
    1. 设计原则与思路
      1. 设计原则

根据的教育现状及实际需求, xxx市智慧校园大数据云平台系统设计总的原则是:遵循标准、立足需求、以技术为基础、以建设智慧化的教育产业为目的、总体规划、分步实施。具体来说,在智慧校园大数据云平台规划方案设计过程中,需要严格遵循系统稳定、先进是第一要素的指导方针,按照以下几点指导原则进行设计:

        1. 标准性原则

系统的设计应符合中华人民共和国国标及教育部的相关行业标准,若没有国内标准,应符合相关国际标准。随着国内技术标准化进程逐步进行,自有版权技术的不断涌现,系统要保证符合国标和对相关技术的兼容应用。

        1. 安全性原则

系统应建设成为专业级系统,在系统设计中考虑了完善的应急方案,并对各种应急预案有切实可行的操作模式。

        1. 先进性原则

采用符合国际国内标准的、成熟的技术,兼顾信息化技术、物联网技术、数字化技术、网络技术、存储技术、数据库技术、检索技术的发展方向,保证系统能够在业界具有领先地位,不会落后主流技术;系统所选设备在其领域内须具备先进性。

        1. 系统性和可实施性

能够对建设智慧校园大数据云平台,提高教育水平、提供多样化教育方式、扩大教育覆盖范围起到推动性作用。 并且能够提供逐步的实施策略,确保培训、使用替代原有系统不会造成任务的延迟。

        1. 可用性原则

基于对教育现状调研的实际情况而设计,面向智慧校园所作的专有规划,保障了后期智慧校园大数据云平台建设后满足教育的可用性要求。

        1. 可扩展原则

规划设计具有极强的可扩展性,在保证初期业务的前提下,预留充分的扩展空间,保证将来各种新业务的开展。

        1. 可升级原则

能够实现可预见的平滑升级,确保在系统不作大的变更前提下,平滑升级到更高的层次。

        1. 全开放性原则

系统采用开放式设计,保证各大厂商设备、系统的良好集成性能,确保系统接口的宽泛及融合性。

        1. 可管理性原则

系统具备健全的管理功能,可对网络、设备、应用系统进行实时全面的监测和控制。

        1. 灵活性和兼容性原则

系统具有很好的向下和向上兼容性,移植性强。

      1. 设计思路
        1. 教育信息化的建设思想

以人为本:服务于教育以学生为核心的目标;

优质资源聚集:服务于学生个性成长(选课程,选学法,推送有利于解决学习困难的解决方案和优质资源),因材施教;

服务于教师个性化教学,节约教师备课收集资源的时间,推送教师施教优质资源,实现多样化的教学组织;

大数据挖掘:服务于管理者,大数据服务于科学决策;

服务于社会,创设社会化教育环境,使人们更好地理解教育,鼓励社会力量投入教育,营造良好的教育生态,实施终身教育,辐射于全球。

简化操作:选择化需要多样性,简捷化需要精准性。

迭代思想:认识是螺旋上升的,在不断的应用实践中逐步提高认识,完善平台。

        1. 教育信息化的设计方法论

系统论(整体法和隔离法结合,模块化策略平衡多与少)实践论(理论模型构建和操作实践经验相结合,教、学、研、管相结合)

迭代法(版本升级和多组开发相结合)

        1. 从办教育要回答的根本问题看教育信息化内容

1、办教育要回答的根本问题

1) 培养什么人(教育目标)

2) 怎么培养人(课程体系:大和小课程观,课程包括课程资

源、教学、活动、评价)

2、教育信息化的内容

1) 教育教学平台:课程资源、教学互动、评价、和教研。

2) 教育管理平台:组织管理平台。

3) 学生、教师、管理者、社会人士的人人空间,以及互联

互通的平台。

        1. 从课程和学习理论看教育信息化的着力点

1、课程观与学习观

什么是课程?我与世界的关系是建立在我与周围关心我的人的关系之中的,课程从来就不是大纲、课标、教材、主题、专题之类的东西,课程是人们用来建立事物意义的交流活动,是我与塑造我的人一起建立关系意义的过程。

什么是学习?建构主义认为,知识不是通过教师传授得到,而是学习者在一定的情境即社会文化背景下,借助其他人 (包括教师和学习伙伴)的帮助,利用必要的学习资料,通过意义建构的方式而获得。

2、教育信息化的着力点

提炼学习的四大关键要素(“情境”、“协作”、“对话”和“意义建构”),提出教育信息化的着力点如下:

1) 构建教育课程资源系统,推进自主 (多样化)学习。支撑学习者的学习方向选择和帮助学习者通过意义建构的方式获得知识;

2) 搭设互动交流环境(校内,社区),推进协作学习。促进学习者与自然、他人、自我互动与对话,实现知识的意义建构;

3) 建立诊断检测体系,推进针对性学习。检核学习者的意义建构结果,发现学习者特征,营造满足个性化的学习环境,反馈教育者检核结果,改进教学,改善管理,科学决策。

        1. 教育信息化要求教育流程再造

1、教育信息化下的流程

教育信息化要遵循教育规律,遵循信息化规律,二者的共同的规律是流程,教育有教育的流程,信息化有信息化的流程,教育信息化要求将两条流程并轨,那就是教育流程再造。

教育流程中流淌的是数据、信息、知识,流淌的是有结构性的知识,有价值的信息。

数据流是如何的呢?数据流的基本流程是数据采集、数据记录、数据分析与挖掘、和信息发布。

2.、教育流程的再造

1) 宏观层面的教育流程再造案例

反转课堂成为教育流程再造的典型范例:反转前教学主要体现为“1.课上创设环境集中讲解与互动、练习内化; 2.课下练习内化。”等流程环节,课堂上以 “教师讲,学习者听讲”为主;反转后教学主要体现为” 1.课前学习者按照计划选择资源自主学习 (如微课,文本等)和自我诊断;2.课上教师针对学生学习的结果,组织协作交流,典型案例辅导。 “等流程环节,课堂上以”学习者互动,教师辅导“为主。反转课堂再造了教育流程。

“自主学习”、“泛在式学习”是教育流程再造的高级阶段。

基于问题解决,随时随地地自主学习,组织合作伙伴实景中异地

合作学习,合作研究问题解决方案,独立或合作利用方案解决问题,是信息化时代的学习产物,实现了流程的再造。

2) 微观层面的教育流程再造

(1)课程:增加“选课”、“自学”、“论坛”、“诊断”、“作业”等功能;

(2)互动:增加“协作板”、“展示”、“分类”、“游戏”、“投票”、“评价”等功能;

采集记录分析与挖掘 发布

(3)诊断:“诊断”、“错题知识点讲解推送”等功能。

    1. 建设目标与规模
      1. 设计目标
        1. 总体目标

xxx市教育局智慧校园大数据云平台是一项为区域实现终身制教育的

教育生态环境的创建,智慧校园云建设过程中,应本着“总体规

划、分步实施”的原则进行,建设以数据资料数字化为基础、以

沟通交流数字化为纽带、以教育教学数字化为核心、以行政管理

数字化为支撑的教育云平台。在此生态环境中实现,教育质量均

衡化、信息化教学普及化、优质课程常态化的目标,通过生态环

境不断的演化最终实现区域内教育教学水平的不断良性提升。

        1. 阶段目标计划

项目的整体规划服务器为 5年,综合考虑项目的建设需求和实的可行性,建议阶段分为三个阶段:

第一阶,在第一年完成平台规划的所有建设内容,搭建统一的“两级部署、三级应用”智慧校园大数据云平台,定制一系列标准体系和服务标准体系,构建一系列应用体系,达到应用上线率 100%。

做到数据采集、处理、加工、展现、管控一体化,集中化。第二阶,在项目建设的第二年内完成各个区县用户个性化特色应用建设的需求,完成各个区县标准体系应用建设的个性化需求,如智慧课堂、创客空间、网络阅卷、录播教室、电子班牌等。在本阶段,项目的承建单位应进一步完善服务标准体系,提升服务质量和服务能力。

第三阶段,在项目建设的第 3-5年,建设较为完善的 xxx智慧校园云服务体系,进一步推进市级管理服务水平,优化升级已建应用,扩展新应用建设。通过线上线下相关推广活动,扩大xxx市智慧校园大数据云平台的服务影响力, 提升教师和学生的信息化素养,满足在教、学、管、评、测各个方面的需求。建立并完善智慧校园大数据云平台服务标准体系,形成在全国范围内的应用示范效应。

xxx市教育局智慧校园大数据云平台建设完成后,将覆盖 xxx市全部10个区县,支撑四十五万学生、四万名教师和五百余所学校及机构用户的各种应用需求。

    1. 教育云平台基础设施建设
      1. 教育城域网建设
        1. 教育城域网建设
          1. 概述

xxx市行政区划共分五县五区,共有各类大、中、小学校480所,各县区教育局由于本地经济差异及网络建设思路与方案的差异造成教育网络资源的差异化较大, 但也基本实现了教育网的建设工作,各县区至市教育局至少实现 1G上行,各县区辖区学校至少实现100M电路上行至县区教育局。

1、xxx新区:现有学校 4所,使用1000M电路接入市教育局,所属学校通过100M电路接入区教育办。全区已实现多媒体进教室、宽带进校园的现代教学模式,在人人通平台应用方面也有所提升。

今后对应用需求主要为智慧校园、 综合管理平台、远程同步课堂等。

因学校数量与应用业务较少,对带宽需求较低

2、xxx区:现有学校42所,使用1000M电路接入市教育局,所属各学校使用 1000M电路接入区教育局。现使用应用主要为 xxx区教与学平台、xxx区教育信息网站、“一课一名师,一师一优课”平台、校园天网平台、教学视频平台、办公 OA等,下一步平台建设方向为学生在线学习系统与数据综合分析及各平台整合工作。 因学校数量较多且应用平台很多,对带宽需求极大。

3、开发区:现有学校 15所,使用1000M电路接入市教育局,各所属学校使用 100M电路接入区教育局。目前主要业务应用为学乐云教学平台、一师一优课平台、省校舍信息管理系统、国家校舍信息管理系统等。下一步建设平台为数字化办公系统与翻转课堂系统。开发区学校数量较少,但新学校较多,随着新学校的硬件设施的完善,有较大的带宽增长需求。

4、xxx县:现有学校72所,使用1000M电路接入市教育局,各所属学校使用 1000M电路接入县教育局,现主要业务应用为“一师一优课”晒课平台、网上备课平台、远教平台。下一步网络建设要点为基础网络提升改造与学生在线学习系统、 教学资源库统一管理平台等系统建设。xxx学校数量较多,现有平台业务虽较少,但下一步平台建设关注点多,建设集中,业务增长会较快,对带宽扩展性要求较高。

5、xxx区:现有学校59所,使用1000M电路接入市教育局,各所属学校使用 1000M电路接入区教育局,现使用业务较少,下一步网络建设与平台使用主要为虚拟仿真实验室、 网上教研备课系统等教学与学习应用。xxx县学校数量较多,且下一步上线平台业务较高,有较大的带宽增长需求。

6、xxx县:现有学校61所,使用1000M电路接入市教育局,各所属学校使用 1000M电路接入县教育局,现主要业务应用较多,县区网络技术人员水平较高,但网络设备老化,网络瓶颈严重。 xxx县学校数量多,应用使用多样化,对网络需求很高,下一步网络建设方向为网络设备更新换代,网络瓶颈突破。

7、xxx县:现有学校59所,使用1000M电路接入市教育局,各所属学校使用 1000M电路接入县教育局,现主要业务应用较多,各类业务平台建设与使用较为完善, 下一步网络建设方向为提高县至市出口带宽,加大教学与学习功能系统建设, 如网上教研备课系统、远程同步课堂等。xxx县学校数量多,各类系统平台多样,对带宽需求较大。

8、高新区:现有学校 6所,使用1000M电路接入市教育局,各所属学校使用 100M电路接入区教育办,现使用各类平台系统业务较少,下一步将会加快各类系统平台建设。高新区学校数量少,业务量少,对带宽要求不高,对带宽扩展性有较高要求。

9、xxx县:现有学校92所,使用1000M电路接入市教育局,各所属学校使用 1000M电路接入县教育局,信息化建设工作中已完成宽带网络校校通、优质资源班班通等平台建设。下一步网络建设工作主要是继续完成智慧校园、家校互动 APP、在线考试等平台系体建设。xxx县学校较多,业务使用量较多,对带宽需求较高。

10、xxx县:现有学校 85所,使用1000M电路接入市教育局,各所属学校使用 1000M电路接入县教育局,信息化建设工作中主要完成了办公平台、教室晒课平台、教学论坛等平台系统建设,下一步网络建设工作主要目标为完成资源平台、人人通、服务平台、网络数据监测系统等平台建设。 xxx县学校较多,对带宽需求较高。

11、市直学校:4所市直学校使用 1000M电路与市教育局直连。教育网络设计原则

1、网络建设严格按照“三通两平台”的建设要求,提供大带宽

的网络通道为 xxx市智慧校园云服务。

2、按照统一的技术标准,实现与各县(区)信息中心、市直属

学校智慧化校园相关系统的互联互通, 在整合全市网络资源的基础上,建设充分满足各级教育部门应用的城城网。

3、安全性原则:采用相关软件技术提供强有利的管理机制、控制方法、网络安全保密等技术措施,防止网络风暴和外来入侵,满足公司网络的通信安全保密要求。

4、先进性原则:采用先进的计算机网络传输技术,要充分考虑

到今后的技术发展和应用的发展, 保证整个网络系统在一段时期内保持技术的先进性,并具有良好的发展潜力,能够满足业务发展和技术升级需要。

5、可靠性和稳定性原则:推荐可靠的网络架构、网络产品和应用服务器,并进行可靠性设计,保障骨干网络和服务器的稳定可靠性,确保通信质量。

6、良好的扩充能力和升级能力:可根据基地的业务发展需要,方便地扩展网络,进行端口交换能力升级,扩充网络容量,具有支持多种通信媒体、多种物理接口的能力,设备更新灵活方便。

7、合理性原则:主要体现为投资合理性和技术运用的合理性性能价格比高,特别是长期运行费用要比较经济。

          1. 规划方案

设备规划方案

市教育局主干网

xxx市电子政务中心机房内新增两台核心路由器。 两台核心路由器通过10G接口互联,互为备份。布署一台高性能防火墙,使用10G接口接入两台核心路由器,防火墙上层接入电信、联通、移动、教育网,达到公网访问的目的。两台核心路由器分别通过一条 10G电路接入教育云数据中心机房,达到访问教育云的目的通过前期网络资源摸查情况,各县基本配有一台大型三层设备或高端路由器用于辖区学校接入,对于支持 10G端口,有较强动态路由与交换转发能力的可利用原有设备。对没有以上设备的,新增华为S9306三层交换机一台,新增设备配置均为双电源、双主控,双业务板配置,确保设备具备热备功能。

各县区教育局汇聚交换机、 市直属学校、市教委办公室通过 xxx电信提供的1G线路(OTN波分)接入核心路由器-1,以上单位原有电路可作为备份线路接入核心路由器- 2。两条电路使用负载均衡设计,流量分担且互为备份。

注:对于实际流量较大的县区,如 xxx县、xxx县、xxx区可直接扩容电路带宽至 1G×n(可使用端口聚合技术或使用动态路由技术),建议直接扩容至 10G×1,可直接突破网络瓶颈,减少路由开

销,避免网络故障。

5.3.1.1.1.3.1.2 各县区学校接入

各县区学校接入使用现有县区教育网络接入。

5.3.1.1.1.3.1.3 使用动态路由 OSPF实现电路热备

在市县两级城域网设备启用 OSPF路由,可依据端口与线路分

配原则实现网络的保护与路由学习及发布。

5.3.1.1.1.3.2 线路建设方案

(1)xxx电信从中心机房放置完全不同路由的两条光缆进入市

教育局机房、市电子政务办机房,两条光缆进入不同的 ODF,通过

配线架的不同路由接入传输设备,中间路由无任何重叠处,确保路

由业务清晰。

(2)各区县将新放置两条不同路由的线路进入各县区教育局机

房内,由近区域主干光交各布放一条至少 24芯光缆,确保路由业

务清晰,标识明确,配合设备组网方案,严格保护教育网的安全。

(3)使用全光网络,所有新增设备全部配备光口,所有线路接

入一概使用光模块接入,可提高网络扩展能力,减少故节点,方便故障定位与处理。

          1. 组网优点

(1)整合现网资源,优化网络结构。教育城域网建设充分考虑

了对现有网络资源的利用与整合,可节省大量投资,在整合资源同时,理清了网络架构,梳理了网络隐患。

(2)消除网络瓶颈,提高网络效率。新建城域网络提升了市至

县区电路的带宽,为今后大量系统平台数据流量提供了宽松的网络环境,解决了“下宽上紧”的网络瓶颈问题。

(3)网络结构清晰,可扩展性强。教育城域网络使用市、县、

校三级分布,分别对应核心、汇聚、接入三级网络架构,构造清晰、直观。新增设备具有极强的扩展性,可充分满足今后网络发展的需求。

(4)加固网络安全。教育城域网建设线路部分,尤其是波分与

城域网设备相连接部分全部使用完全双路由保护, 新增设备全部使用双电源、双主控板配置,将网络隐患降至最低。

获取完整版文档请添加关注并私信沟通!