关键词:广电网络;云计算
自2007年开始为业界关注以来,“云计算”已经成为信息技术行业最热门的词汇之一,吸引了几乎所有的IT企业投身其中,其在电子、通信、金融、医疗、能源、教育等多个领域的广泛普及与应用,将催生信息技术继PC、互联网之后的第三次革命浪潮,引发未来新一代信息技术、IT应用方式的核心变革,同时也将带来工作方式和商业模式的根本性改变。
在“三网融合”的新形势下,广播电视正从传统的模拟、线性、单向的传播方式向着数字化、网络化、双向化、高清化、3D化的多元方式转变,随时随地的海量数据交互要求对现有的计算架构提出了重大挑战,而云计算模式无论是在节省成本还是在系统的快速弹性扩展方面都具有得天独厚的优势。对于正处于发展转型期的广电企业而言,更应该抓住云计算发展的契机,将后发劣势转化为后发优势,通过这一全新的用户体验与商业模式,满足“三网融合”时期跨越式发展的需求。
1云计算技术概述
学术界与产业界分别从不同的角度,以不同的方式给云计算下做出了不同版本的定义。从技术发展的趋势看,云计算是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)和负载均衡(LoadBalance)等传统计算机和网络技术发展融合的产物[1-3],按照维基百科2011年给出的定义,云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备,其可以包含基础设施即服务(IaaS)、平台即服务(PaaS)及软件即服务(SaaS)等几个层次的服务。
在云计算模式下,用户端设备(个人电脑、智能手机、机顶盒/智能电视等)不再是存储和计算提供者,转而变为网络的接入终端,主要提供输入和输出功能,用户可以在任意时间、任意地点通过任意设备接入网络完成工作。它降低了对用户端设备的要求,且不会受到终端硬件或软件平台的局限。因此,云计算技术是一项革命性的举措,其最为显著的四个公共特征是弹性伸缩、快速部署、资源抽象及按用量收费[1]。
云计算的关键技术包括虚拟化技术、分布式系统技术及云计算平台管理技术等,如图1所示。
1.1虚拟化技术
虚拟化是实现云计算最重要的技术基础之一,是指将计算资源或计算环境加以抽象后呈现给其上运行的操作系统,使多个操作系统可以同时共享一个物理计算机设备。虚拟化技术可以分为服务器虚拟化、存储虚拟化以及网络虚拟化技术等。
1.2分布式系统技术
分布式系统一般是指通过网络将多个独立的计算节点(物理服务器)连接起来共同完成一个计算任务的构成模式,其主要由分布式文件系统、分布式数据库、并行编程模型和分布式协同管理技术等构成。
1.3云计算平台管理技术
通过云平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。云计算平台管理技术主要由自动化部署、弹性能力提供、资源监控、资源调度、负载均衡、用户管理、业务服务管理和计费度量管理技术等组成。
2云计算产业发展现状
目前,云计算产业链的参与者分为使能者、服务提供商和用户三类,如图2所示。
其中,云计算使能者是指为云计算服务商供应其提供服务所需的基础构建的角色,主要包括软件提供商(虚拟化软件、分布式中间件等核心软件)、设备提供商、系统集成商、咨询服务商等;云计算服务提供商主要指公有云的提供商,可以分为三类,即IaaS服务提供商、PaaS服务提供商和SaaS服务提供商;云计算用户既包括使用服务提供商提供的云计算服务的用户(最终用户),也包括购买云计算解决方案的用户,如私有云产品方案的购买者。
3广电云计算发展定位
3.1网络通道服务提供商
与传统互联网产业类似,广电网络运营商提供网络接入服务作为云计算的业务通道。
3.2基础资源服务提供商
广电网络运营商不仅提供网络资源,还提供包括服务器、存储在内的基础IT资源,并将它们以资源使用量或服务的形式提供给所有外部用户。
3.3服务整合平台提供商
以网络为核心,创建一个体验良好的交付平台,提供基础的认证、计费、代收费、推广等服务,汇聚第三方开发的应用,以统一的交付界面提供给用户使用,广泛覆盖各种类型的用户。
3.4咨询服务提供商
面向大型客户,提供包括网络、IT基础设施整合等一揽子解决方案,帮助大型客户构建自己的私有云。
4广电云计算业务需求分析
4.1下一代广播电视网建设
建设一个具有云计算特征的下一代网络是NGB未来的发展趋势之一。《中国下一代广播电视网(NGB)自主创新战略研究报告》指出:NGB融合了广播电视网络和互联网的技术优势,具有独特的网络特征,主要体现在具有开放式业务支撑架构,承载网对业务透明,服务提供机制引入云计算和透明计算模式以保证业务提供的便捷性、开放性与可信度。
4.2媒体内容的资源管理与使用
可通过内容资源管理系统的云计算改造,构建区域性的媒体内容资源池,逐步形成多片独立的媒体云,从而大大缩减媒体内容资源的存储成本、设备购置成本及维护成本。同时,通过相应的标准协议使不同的媒体云互联互通,逐步形成广电“媒体大云”,促使媒体资源更大范围内的共享。
4.3创新业务形态
业务融合是“三网融合”的实质所在,业务形态的创新是NGB建设的核心。云计算技术可以实现不同设备间的数据与应用共享,具有跨终端平台的业务推广优势,实现电视屏幕、电脑屏幕、手机屏幕真正的“多屏合一”,有助于数字医疗、智能家庭、家庭安全控制等新业态的快速、低成本推出,为用户提供全新的业务体验。
4.4客户终端设备性能提升
云计算使得简易终端支持复杂应用成为可能,数字电视机顶盒、无线手持设备等客户终端的配置要求不用太高,即可开展高清互动电视和各类增值业务,在很大程度上解决终端设备性能需不断升级的问题,有效地降低运营商在终端上的投入,在节省投资的同时快速部署各类增值应用。
4.5IT支撑管理
随着“三网融合”进程的推进,未来广电运营商将在统一的运营框架下,支持开放业务运营环境下内容和业务的运营和管理,支持结算中心和第三方支付等新型收(付)费模式,支持创新业务或服务的全网快速部署,对IT支撑提出了更高的要求。云计算在跨域IT系统建设与整合、规模数据的共享与处理、信息系统的维护升级等方面都有广阔的应用前景。
5广电云计算实施策略
从广电运营商的现有情况出发,广电云计算平台的建设可以采取以下策略分步演进:
5.1从新业务、非核心业务局部开展
在云平台建设的初期,适宜选择广电网络中的非核心业务与对资源需求动态扩展性高的新业务开展。
5.2从引入云计算的部分核心技术开始
不妨从云计算的先进IT技术开始,如虚拟化、分布式存储、并行编程模型、云平台管理技术等,不断实践,积累经验。
5.3先私有云后公有云
可以采用云计算技术先建立局部的私有云,开展小规模试验应用,满足内部一定范围服务的需要,摸索云环境下业务应用和流程的适用性,不断扩大服务范围,最终扩展至为公众用户服务的公有云。
5.4逐步建立云平台的安全体系
在不断实践的过程中,结合传统系统安全模型及相关规范,结合云计算的独特性,规范云计算安全体系,为云计算的稳步推进奠定基础。
5.5进一步提升广电网络的接入质量
在“网络即服务”的云计算时代,用户的应用越来越多的涉及实时性的交互,对网络的要求除了接入带宽,也包括实时性(延迟)和稳定性(丢包率)等,这是影响用户体验的核心因素。因此,必须将网络建设作为保证广电网络运营商优势的核心内容,进一步提升网络的接入速度、质量和覆盖范围(有线、无线),做到随时随地、安全可靠的为用户提供实时在线服务。
5.6重视已有IT资源的整合利用
高效、节能是云计算模式的发展初衷。由于云技术基础设施具有投资规模大、回收周期长、运维成本高等特点,因此,必须始终以市场需求为导向,认真梳理已有IT资源,对过剩资源进行充分的整合利用,坚决杜绝基础设施的重复建设、重复投资。
6总结
广电云计算技术的应用与发展是一个复杂的系统工程,在实践的过程中,可以考虑部分云平立建设,也可以根据需要,与第三方机构合作建设云平台,更好的满足应用的需要。云计算技术发展所依赖的大量关键技术,其成熟度也需要在广电业务中的应用与实践过程中得到进一步检验与完善。
[参考文献]
[1]雷万云.云计算:技术、平台及应用案例[M].北京:清华大学出版社,2011.
第一个视角:商业模式
主要观点:
云计算最有价值的是其商业模式:按需取用,按需付费,是最美丽的商业模式,也是对产业带来最大的震撼,会被延伸至IT之外的产业,甚至是影响企业经营思维。
IT领域云服务的推广,最大的阻力是信任,信任的解决核心不是技术,而是是对用户服务质量的承诺。
评估云计算项目实施与否,成功与否要从商业化角度评估。
云计算的商业视角:
是基于互联网的相关服务的增加、使用和交付模式。
其核心理念是:
按需取用,按需付费,集中管理。用户由传统的自购软硬件,烟囱式的系统部署,自行维护,到从网络购买服务,无需运营服务,从而聚焦业务。
按照这样的理念,可以有很大的想象空间,让IT系统真正充分利用起来,是IT领域的共产主义社会。对中小企业而言,可以把资产性支出变为运营性支持,增加了现金流,又可以摆脱对IT的不熟悉与投入,甚至以低成本的方式享受原来需要高价值的业务服务;对大企业而言,产生了一种新的运营收入模式,变卖设备为出租设备;
把云计算的思想从IT延伸到其他领域,物流领域,交通领域,企业运营等领域,何尝不是和IT系统现状也一样,都是烟囱式建设,如果能够把这些系统或资源统一管理,平台化运营,按需分配,确实能够提升效率,带来的贡献远大于IT系统的云计算实施。所以,个人认为把云计算的思想进一步升华,是云计算最有价值的东西,也是最容易被云计算专业人士认为是忽悠的部分。
苏宁云商,算是业界第一个以云计算改造企业运营架构的先例,不管成败,至少代表一种方向。是把云服务模式进一步深化,逐步探索出线上线下多渠道融合、全品类经营、开放平台服务的业务形态,苏宁认为未来中国的零售模式将是“店商+电商+零售服务商”,称之为“云商”模式。其本质就是统一了后台资源,不需要再维护两套甚至是多套运营系统,把实体店面和互联网作为用户的入口,资源按需调配。
再说马云的菜鸟物流骨干网,其目的也是把物流资源的平台化运营,统一管理调度,实现资源的共享。通过自建、共建、合作、改造等多种模式,形成一套开放的社会化仓储设施网络。同时利用先进的互联网技术,建立开放、透明、共享的数据应用平台,为电子商务企业、物流公司、仓储企业、第三方物流服务商、供应链服务商等各类企业提供按需取用的服务。
所以,云计算是一种美丽的商业模式,重构的不仅仅是IT行业,真正改变的是企业和社会的运营理念。
云服务模式实施的最大挑战是信任,信任的背后是数据的安全性,可靠性,隐私性。信任的解决靠的不是技术,而是管理和承诺。就像支付宝一样,解决了用户网购的信任问题,靠的是机制。云服务模式也是一样的。
云服务的决定性因素是网络,只有网络随时可及,访问流畅,云服务的推广才有基础。网络宽带也是物联网,智慧城市等概念模式推广的基础因素。
既然云计算美丽在于其商业模式,因此评判项目实施与否,成功与否,应该从商业模式角度评估,产品技术是实现商业模式的手段。
例如,2008年IBM宣称在无锡太湖建立中国第一个云计算,结果交付的是IBM一大堆传统昂贵的软硬件,运营收入不足以支付保安费用。IBM后来认为,从技术上说是成功的,这样就不好了。
例如,有些企业想利用云计算技术提升IT系统的利用率和管理效率,而现实的情况是,设备利用率是提升了,可以都要换成新设备,还要购买昂贵的软件,投资增加了不少,并不省钱。
第二个视角:业务模式
主要观点:
IaaS最基础最简单,用户存在现实需求,技术突破存在挑战。
PaaS最有竞争力,只有少数巨头可以玩得起。
SaaS看似美好,实际前景暗淡。
一个新的模式,新的概念,描述的再美好,最终需要化云为雨,重要的是能够提供给用户什么服务,这样的服务是否能切实解决现实问题。
云计算的业务模式可以从三个层次来看:IAAS,PAAS,SAAS。
业务层次不同,用户定位不同,挑战也不同,现实与理想的距离更为不同。
IaaS,基础设施级服务:
消费者通过Internet可以从完善的计算机基础设施获得服务。这些服务包括虚拟计算,虚拟存储,虚拟网络,虚拟数据库,主机托管等。
按照云计算的理想要求是:
以透明自助的方式,随时随需地向用户提供弹性计算、弹性存储及网络等基础软件服务。
以低成本的计算、存储能力提供,并保障服务的高可用性和高安全性。
现实的情况是:
大部分的服务商脱胎于IDC,服务提供的方式接近手工,有限的弹性计算,随时随需几乎没有,更多的是把传统的虚拟主机改名为云主机摇身一变成为云计算服务商,用户体验没有什么变化。
不过,用户对这类的需求在增长,特别是在线存储,虚拟主机,因此,只要服务商不断完善服务,还是会有较大的成长。当然用户体验的完善依赖于技术,主要是虚拟化技术。
PaaS,平台即服务:
云环境中的中间件即服务。能将现有各种业务能力进行整合,向下根据业务能力需要测算基础服务能力,通过IaaS提供的API调用硬件资源,向上提供业务调度中心服务,实时监控平台的各种资源,并将这些资源通过API开放给SaaS用户。
能够整合形成平台能力的,必然是拥有蓬勃发展或者形成规模的业务,业务在先PaaS在后,需要关注的是:
对于不同业务服务的流程编排、混搭及复用
支撑和激励第三方开发新的服务,并快速地在线部署、测试和上线运营
在中国,能够提供PaaS服务的只有几个互联网巨头,百度,阿里巴巴,腾讯,或者细分行业领导者,比如游戏平台。三大电信运营商虽然有号召力,但是缺乏业务,缺乏研发队伍和对用户需求的快速响应,也无能为力。中小企业,更是想都不要想了。
SaaS,软件即服务:
软件通过互联网来交付,向用户收取月服务费。从技术上看是美好的,它允许即时注册,极大地降低整合成本,并允许用户购买前试用,而且具有良好的可扩展性。服务和体验是这个领域的核心:
通过互联网及浏览器提供高用户体验的应用软件服务
实现高度的服务复用,支撑庞大、高弹性、复杂个性化需求的用户群
现实中的SaaS服务琳琅满目,最为常用的有:ERP,CRM,记账,电商,营销,通讯录,协作等,诸如此类的细分化服务还很多,碎片化的业务服务,用户无法一致化的全程服务和体验,导致有用而无法规模使用。
通过共享模式来降低成本,对国内客户认知和行为习惯是个挑战,在信用制度不健全的,普遍存在“诚信危机”的国情下,中国的中小企业是很不放心把自己的财务数据、客户数据这么核心机密信息放在互联网之上。
因此,SaaS业务模式可以说是看似美好,实际暗淡,符合国情与现实的业务更加漫长。
第三个视角:技术体系
主要观点:
核心技术短期难有突破,都把虚拟化当做云计算。
机房成为投资的重点,搭上云计算,也作为拉动投资的噱头。
技术是服务于业务的,对云计算的技术要求,应该是按照业务维度推导出对技术的要求。云计算系统涉及到多方面的技术,包括:虚拟化,大规模分布式数据库管理技术,分布式的并行编程模式,面向服务的应用组装及管理,在线的服务开发测试及编程技术,前端展现及交付技术等。对技术的讨论应该服从于业务价值,如果业务模式错误了,讨论再先进的技术也是没有意义的。
SaaS部分:
需要关注的是用户的需求,技术已经不再重要。
PaaS部分:
核心应该是业务能力的归一化,接口的标准化,将现有各种业务能力进行整合开放。毕竟这是只有几个巨头才能做得事情,因此分布式计算等被当作核心技术,Hadoop因此被吹捧。除了研究,对实际的业务支撑是相当的有限。
IaaS部分:
核心是硬件虚拟化资源的调度和使用,包括服务器虚拟化,桌面虚拟化,存储虚拟化和网络虚拟化。虚拟化技术来源自企业应用,更多是对一台或若干台服务器进行资源共享和备份。而云计算需要的不仅仅是共享,而是可以将不同的硬件资源整合起来提供服务,规模大,分布式部署,无缝迁移。涉及服务器,存储,网络、虚拟化、云管理和云安全等技术,挑战极大。
在核心技术无法得到突破的情况下,大部分企业倾向改善用户体验,比如在线存储,让用户可以方便备份存储,也得到客户的认可。
在虚拟主机领域,大部分企业不愿意也没能力攻克核心技术,只能把虚拟化作为云计算,把小规模资源共享,简单的虚拟机分配当作云资源调度。即使是所谓行业领导者的IBM,实施的很多项目就是服务器+虚拟化软件。
马云的观点或许更贴近市场:“客户需要云计算。如果我们不做云计算,将来必定会死掉。”马云的担心是有道理的。IT厂商最怕的就是技术落后他人,一旦错过技术的发展期,再想奋起直追也晚了。如果马云放弃云计算,或许阿里巴巴很快就将被竞争对手超越并取代。
一步落后,步步落后。对于这一点,我也感同身受。美地森的核心业务是大数据的存储。客户既需要传统的存储设备,也需要云存储,更需要云计算解决方案。客户在审查标书时,如果发现美地森不能提供云计算解决方案,那么美地森在客户心中的第一印象就会大打折扣。其实在很多情况下,客户目前根本用不到云存储和云计算解决方案,但用户的普遍心理是,我可以不用,你不能没有。阿里巴巴现在或许用不了那么多的云计算、云存储方案,但马云必须从战略上考虑,让阿里巴巴更具成长性。
不是革命是回归
回归到云计算的话题。有一种观点认为,云计算是剑走偏锋,偏离了IT的发展方向。我认为,云计算是技术和商业模式上的创新。云计算归根结底还是为数据服务的。因此,云计算不是对IT的深度革命,而是对IT的深度回归。
随着数据量的飞速增长,存储承受的压力越来越大。存储几乎成了IT业发展的瓶颈。如何才能更好地处理大数据呢?只有“云”知道。云计算市场正是在此背景下迅速成长并壮大的。从技术层面上讲,没有哪项技术能像原子弹爆炸一般,瞬间爆发出巨大的能量。技术是逐步发展和演进的,每项技术革新都是在解决既有的问题,在信息技术领域更是如此。
云计算虽然不是万能的,却能很好地解决大数据的存储和计算问题。云计算没有革掉IT的命,反而使IT活得更好。
2012年春节期间,网上售票系统经受了严峻的考验。经过这次波折,铁道部已启动了新一代客票系统的规划和设计工作。新系统的技术架构将通过引入云计算技术来支撑超大规模并发交易以及海量数据的存储。
云计算渐入佳境
近几年来,中国的云计算可谓渐入佳境。国家将云计算提升到战略地位,许多城市都在积极部署云计算项目。一些城市正在筹划的智慧城市项目就是云计算的具体应用。有些城市的云数据猛增,数据流量超过数百PB。
2012年或许是云计算的集中爆发期。云计算的爆发得益于政策的推动。继上海成立“云海联盟”之后,广州推出了“天云计划”,计划每年投入1000万元扶持云计算的发展,三年打基础,五年见成效,到2015年要建成5个以上国际水平的云计算服务平台,云计算产业规模将突破150亿元,并带动600亿元相关产业链产值。成都也不甘落后,成立了云计算产业联盟,中国电信西部云计算基地项目也正式落户成都。据估算,成都的云计算产业规模将达到3000亿元,其云服务规模占全国的比例将超过10%,移动智能终端产量占全球市场的20%以上。
关键词:云计算分布存储关键技术
中图分类号:TP333文献标识码:A文章编号:1007-9416(2016)11-0094-01
进入信息社会以后,各行各业所涉及到的数据信息量都出现了爆炸性的增长,信息资源的地位越来越高,发挥的作用越来越大。一些高尖端行业,比如高能物理、生物学、气候地质监测,涉及到的信息量更大,对信息存储的要求也更高。云计算技术就是在这种背景下产生的。如果数据信息的分布存储出现了问题,比如安全受到威胁,就会对云计算的使用和推广造成阻碍。
1云计算环境下分布存储结构类型
1.1交换机
交换机的内部结构分为聚合层、边缘层和核心层三个部分[1]。在云计算技术普及应用之前,用户专用网络与互联网之间的数据传输主要是通过交换机来进行的,交换机是用户进行数据信息存储的主要场所。在云计算技术普及应用之后,交换机仍然在数据存储中占据了重要地位,形成了以交换机为核心的分布存储结构。这种分布存储结构呈一种树形结构,具有操作简便、连接便利、拓展空间大的优点,缺点是存储容量有限,存储技术水平比较低。
1.2服务器
以服务器为核心的结构,就是通过网线把所有服务器当中的网卡连接起来而形成的分布存储结构。在这种分布存储结构当中,服务器扮演了核心角色,不仅要负责数据的存储和处理,还要承担数据包的转发职责。在以服务器为核心的分布存储结构当中,没有交换机设备,总体结构构成比较简单,具有服务器与网络交互性强、路由算法高效而且实用的优点。但是,这种分布存储结构同样存在这缺点,比如说线路连接经常出现冗余,服务器占用的计算资源数量大,给服务器运行带来了沉重负担等等。
1.3混合结构
无论是单一的以交换机为核心的分布存储结构,还是单一的以服务器为核心的分布存储结构,都存在着各自的优点和弊端。所以,“交换机――服务器”混合的分布存储结构应运而生。这种分布存储结构能够综合以交换机为核心的分布存储结构和以服务器为核心的分布存储结构的全部优点,消除两者的弊端[2]。在网络结构方面,交换机和服务器可以同时进行数据的路由转发,大大增强了网络结构的灵活性;在可扩展性方面,混合结构的可扩展性受到每个服务器的网卡数量的限制,也受到数据中心节点规模大小的限制;在成本方面,由于混合使用交换机和服务器,能够有效降低花费的成本。
2云计算环境下分布存储技术的种类
2.1数据容错技术
数据容错技术技术能够有效提高信息系统的可靠性和数据信息的访问效率。数据容错技术的基本原理是增加数据冗余,利用数据冗余来寻找到已经丢失的数据,或者将已经失效的数据重新恢复效力。但是数据冗余增加的同时,会导致储存资源的消耗增加。所以,为了同时达到降低容错率和降低成本的目的,纠删码容错技术和复制容错技术就成为了常用的技术手段。
纠删码容错技术能够把数据信息分为几段,分别进行扩展和编码,然后储存在不同的位置当中。将数据信息分为不同的片段,在其中一个或者几个部分丢失或者失效以后,仍然不会影响数据信息整体的准确性。但是,这种技术需要进行大量的计算工作,数据修复的成本也比较高,经常用于大量数据的储存。
复制容错技术就是对同一个数据对象进行复制,创造大量相同的数据模块,然后分别存储到不同的节点当中。这样,即使某个数据对象发生了遗失或者失效,仍然能通过其他数据模块来获取数据信息。复制容错技术的实行要点有两个:数据的复制策略和数据的组织结构[3]。总体上说来,复制容错技术具有方法简便、读取效率高的优点,但是由于要复制多个相同的数据模块,对存储空间的占有率比较大。
2.2节能技术
节能技术分为硬件节能技术和软件节能技术两方面。
硬件节能技术,就是从网络信息存储所用到的硬件设备入手,对硬件设备的安装、运行、维护情况进行改善,达到节约能源的目的。硬件节能技术在数据中心和计算机整体两方面实行节能措施,在数据中心方面,主要是在保持性能不下降的前提下,将高能源消耗的设备替换为地能源消耗的设备;在计算机整体方面;就是要改善硬件结构,降低设备体系的总体能源消耗量。
软件节能技术,就是要降低数据信息存储设备的能源消耗量,同时还要维持数据信息服务系统的正常运行。软件节能技术的实现要点在于改善对节点的管理和对数据的管理,利用各种控制操作行为来降低能源消耗。
3结语
云计算技术是由于信息时代的发展而产生的。云计算能够按照客户的需求提供客户所需要的服务,包括网络、服务器、存储设备、应用软件、各类数据信息服务,是现代社会普遍采用的一种技术形式。为了确保云计算模式当中海量数据信息的安全,云计算的分布存储技术就成为了新时期的重点科研项目之一。云计算的分布存储技术是否能够保证信息数据的安全,很大程度上取决于数据信息的分布存储结构和相关技术的运用。云计算必须采取合理的数据分布存储结构,尽可能地增加数据分布存储的扩展性,降低消耗的成本,同时利用各种数据容错技术来降低数据出现差错的可能性,从硬件和软件两方面入手降低对能源和计算资源的消耗。
参考文献
[1]赵杨,宋倩,叶少霞,等.云计算环境下的电子商务服务平台构建与运行机制研究[J].情报科学,2014,02:7-10+20.
在“云计算”计算技术的应用下,可配置人力资源管理系统,分别有不同的功能模块,每个模块都发挥着各自的不同功效。人力资源管理系统的功能模块,主要包括以下几个部分:1.培训管理。在培训管理中,主要对企业的员工们进行专业技能培训,包括岗前培训、在职培训和一些考取证书的培训等等。这些培训在云计算技术下,能够对每个员工的培训时间、培训方式、培训费用和地点等等,都会建立不同的培训档案,并且加以保存。2.员工信息管理。在云计算技术的应用下,企业能够借助计算机技术,更加有效地对企业中的所有员工进行更好地管理。这一模块为员工信息管理。在员工信息管理当中,企业的管理人员可以进行人员查找,员工信息内容记录得比较详细,包括员工自身的姓名、出生日期、家庭住址、毕业院校以及工作经历等等,云计算技术能够帮助企业提高人员管理的效率。3.人员考勤管理。这一模块中,对员工们在日常工作当中的考勤以及加班信息,都有非常明确的记录。人员考勤管理,可以从另一方面来促进员工们对待工作的热情,对企业的发展有着很大的帮助。4.员工档案管理。和传统的档案管理比起来,云计算技术下的员工档案管理,能够更加明确地为企业提供便利,方便企业对入职员工和离职员工进行系统性的管理,使企业对以往的员工有更加清晰的了解。5.绩效评估管理。在云计算当中创建的人力资源管理系统中,可以对所有的员工进行绩效考核评估,根据企业的绩效考核管理制度来建立不同员工的绩效考核表,使企业能够更加明了地对员工们的绩效进行管理。6.合同管理。在合同管理的模块当中,企业可以对所有员工们的合同信息进行修改和查询,提高企业的工作效率,也便于为企业进行合同的保存提供一定的依据。主要由相关负责人员,将员工的合同信息中的主要内容进行录入,方便后期查询。7.员工薪资福利的管理。对员工进行薪资福利管理,是企业的核心管理内容。企业可以在云计算技术下,对员工们的不同薪资类型进行统一管理,还能够方便地对薪资内容进行查询修改等等。8.系统管理。在这一模块当中,主要是对人力资源管理中的所有员工们进行管理,添加、删除、修改、查询等等,都可以实现这些功能。同时,在该系统中,还必须要及时地对各种数据进行备份,为数据提供一定的安全保障,以免出现意外使数据丢失。
二、人力资源管理系统的发展以及存在的问题
人力资源在最初诞生的时候,主要的工作内容是数据的计算,仅仅是简单地对员工们的工资薪金进行记录。在各种科学技术的不断发展下,人力资源管理开始对各种数据信息进行采集,随着互联网科学技术的广泛应用,人力资源管理出现了主要以管理为核心的工作内容,借助各种丰富的专业技术,对各种数据信息进行计算和分析,从而给企业进行某些重要的决策,提供一定的科学依据。在现阶段,市场的发展对企业提出了更高的发展要求,使得企业必须要在原有的基础上,不断提高自身的人力资源管理效率。目前,企业在人力资源管理方面,系统管理的功能不够全面,还需要进一步完善,才能够使企业成长得更加成熟,从而使其在现代社会中更好地发展。
关键词:云计算;海量视频点播;Hadoop系统;建模
中图分类号:TN911?34;TP37文献标识码:A文章编号:1004?373X(2013)14?0010?03
CloudcomputingtechnologyandmodelingofmassVODsystem
CHENXu?wen,HUANGYing?ming
(DepartmentofInformationEngineering,JieyangVocational&TechnicalCollege,Jieyang522000,China)
Abstract:Withthepromotionofthetriple?netfusion,themassVODemergesoutsomecharacteristicssuchascomplicatingdata,multipleplatformsandhugebusiness,whichmakeahugechallengetothetraditionalon?demandmode.Byusingthepowerfulcomputingabilityandmassdataefficientprocessingofcloudcomputation,theapplicationofcloudcomputationinmassVODsystemisdiscussedonthebasisofanalysisofthebasicframeworkandtechnicalcharacteristicsofcloudcomputationandincombinationwiththecharacteristicsofVODservice.Theframeworkandworkingprincipleofthecloudcomputingsystemareanalyzed.Somemaintechnologies,suchasredundancybackupofdata,heartbeatdetection,replacementofintelligentnodesandloadbalancingareelaborated.Anewideatomakethemassvideopropagationsmoothisputforward.
Keywords:cloudcomputation;massVOD;Hadoopsystem;modeling
随着互联网技术和多媒体技术的迅猛发展,基于网络的视频点播(VideoOnDemand,VOD)业务成为了网络应用的一大热点。人们通过手机、掌上电脑等简易的终端设备随意欣赏视频的新型模式极大地颠覆了传统的电视观看模式,逐步成为视频点播的主流。虽然流媒体及P2P技术[1]的应用在一定程度上减轻了中央服务器和骨干网络的负担,优化了节目流的播放质量,但当面对热点视频时,海量视频的处理传播极大地考验着视频运营商的实力。另外,随着电信网、计算机网和有线电视网三网融合步伐的快速推进,对于视频点播业务的需求也将呈现出数据量剧增和多平台共存的局面,光靠原有的硬件基础绝对无法满足形势的发展,而增加投入势必会增加企业的运营成本,租用第三方运营平台将成为一种发展趋势。
作为一种新型的商业计算模型,云计算提供了强大灵活的计算能力和高效快捷的海量数据处理方法,其高可靠性也是普通的第三租赁方所无法比拟的。本文以云计算为平台,研究了基于云平台的视频点播模式,为解决海量视频的高效传输提供了新方法。
1云计算技术及海量视频点播的技术特点
1.1云计算的概念
自云计算(CloudComputing)概念提出以来,至今仍没有统一、公认的定义,比较获得业界认可的是2011年由美国国家标准和技术研究院(NIST)提出的[2]:云计算是一种通过网络以便利的、按需付费的模式获取计算资源(包括网络、服务器、存储、应用和服务)并提高其可用性的模式,这些资源来自一个共享的、可配置的资源池,并能够以最省力和无人干预的方式获取和释放。
云计算是网格计算、并行计算、分布式计算、效用计算、网络存储、虚拟化、负载均衡等传统技术和网络技术发展融合的产物,它以虚拟化为核心,通过网络把多个成本较低的计算实体整合成一个具有强大计算能力的资源系统,以按需、易扩展的方式为用户提供所需的各种资源和服务。云是一个包含大量可用虚拟资源的资源池,云中的资源在使用者看来是可以无限扩展、随时获取、按需使用、按量付费的[3]。云模式[4]也即电厂模式,利用电厂的规模效应来降低电力价格,用户根据用电量付费,便可源源不断获取电力资源,而无需维护和购买任何发电设备。
云计算具有低成本、高性能、超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务等特点[5]。目前比较成熟的云计算业务和应用有:Google的AppEngine、Amazon的弹性计算云EC2、微软的Azure云平台和IBM的蓝云等。
1.2云计算的架构[5]
(1)软件即服务(SoftwareasaService,SaaS):SaaS服务供应商将各类应用软件统一部署在服务器上,用户通过简易的互联网接入终端就能直接使用,并按需按量付费。云中的软硬件设施由供应商负责维护和管理,用户不需顾虑类似安装、升级和防毒等琐事,且免去初期高昂的硬件投入、人员配置、软件许可证等费用的支出,经济便捷。
(2)平台即服务(PlatformasaService,PaaS):PaaS主要面向开发人员提供一个应用的开发和部署平台,包括SDK、文档、测试环境和部署环境等。平台的部署和运维均由供应商负责,用户可一心一意致力于研发工作。
(3)基础设施即服务(InfrastructureasaService,IaaS):IaaS由底层硬件或虚拟机资源构建而成,用户从供应商那里获取所需的计算或存储资源来装载相关应用,且仅需为所租借的那部分资源付费。
1.3海量视频点播的技术特点
(1)文件庞大,数据量多。单个视频文件非常大,视频资源繁多,数据海量化。
(2)编码多样,业务复杂。随着三网融合的推进及视频播放技术的改革,必将出现多编码、多平台共存及多业务共享的局面。
(3)质量至上,要求严格。庞大的数据量对服务器性能及网络带宽要求甚高,而随着点播量的快速增长,对于计算能力及处理强度的要求也相应剧增。
2海量视频点播系统的云计算技术与建模实现
2.1系统架构
根据视频点播业务的技术特征及云计算技术的特点,本文提出了基于云计算的海量视频点播平台的基本架构,其拓扑图如图1所示。用户通过Web交互服务器向视频点播系统发出业务请求,经Web交互服务器受理后将具体的业务要求提交给云核心服务器,由核心服务器对整个云文件系统进行控制处理,完成视频文件的调用并反馈回客户端。
图1系统架构图
2.2系统工作原理
系统采用Hadoop系统实现云点播平台SaaS层的构建[6]。根据点播系统的功能要求及Hadoop系统的基本构成,包括以下几个功能组件,阐述如下:
2.2.1Web交互服务器
在整个点播系统中,Web交互服务器作为系统前端窗口,负责受理用户的点播、注册、用户管理等常规业务,当涉及视频文件调用时,则将业务请求转交给后台的云核心服务器处理,Web交互服务器仅负责点播信息的传递工作,没有涉及具体视频文件的传输内容。
2.2.2云核心服务器
云核心服务器位于云计算的最上层,负责整个云系统的资源管理及任务控制。
(1)资源管理。作为Hadoop系统的主控节点,云核心服务器负责记录文件的数据块分割规则及这些数据块的具体存储位置,对内存及I/O进行集中管理。为加快维护效率,同时减轻本身负担,云核心服务器通过与各集群主控服务器进行交互控制,对集群中的所有节点和所有虚拟机进行实时控制,维护系统的资源状态信息表。为提高系统的运作性能,云核心服务器仅管理文件系统的元数据,具体的数据访问则交由下层服务器负责[7]。
(2)任务控制。响应Web交互服务器的点播请求,检索资源状态信息表,获取资源的具置,然后通过集群主控服务器汇总节点信息,建立客户端与各虚拟机实例的通信,实现数据传输。
2.2.3集群主控服务器
为提高云系统的运作效率,减轻核心服务器的负担,将云系统的资源划分成多个集群,由集群主控服务器负责管理该集群中的所有资源。集群主控服务器主要有以下作用:
(1)集群主控服务器管理其集群中的所有节点控制器和虚拟机,对系统资源进行实时监控,形成子资源状态信息表,并将结果反馈给云核心服务器,更新整个云系统的资源状态信息表。
(2)响应云核心服务器的任务要求,快速调用集群中的虚拟机实例,建立与客户端机器的连接,传输数据。
(3)担任Hadoop系统的主节点,控制集群中的所有从节点,对集群中所有虚拟机实例及系统资源进行统筹管理,提高系统的响应效率。
2.2.4节点控制器
节点控制器是整个云系统的前沿阵地,在节点控制器上真正运行着虚拟机实例,并通过虚拟机管理器进行管理,虚拟机实例的数量由节点控制器的资源及计算任务的类型决定,一般为3~5台。节点控制器的功能包括以下三方面[8]:
(1)节点控制器负责监控节点上运行的所有虚拟机实例的运行状态及资源的使用情况,并将监控状况实时返回给上层的集群主控服务器。
(2)响应集群主控服务器的需求,启动虚拟机实例实现数据通信。当任务完成后或在规定时间内客户端无响应(如客户异常退出)时,则停止虚拟机实例运作,释放网络带宽及点播资源。
(3)监控和管理虚拟机实例。包括虚拟机资源的存储备份、虚拟机宕机的应急处理等。
2.3系统设计的关键技术
2.3.1数据的冗余备份
云系统的文件传输采用流媒体技术实现,即将多媒体文件压缩后分解成若干大小相等的数据块(数据块的大小可根据实际情况进行配置),并统一编号,再由服务器对客户端进行实时传送。为了容错,文件的所有数据块都会有副本,即冗余备份。系统运行时,节点控制器利用虚拟机管理器对虚拟机上的文件系统进行监控,产生一份数据块与本地文件对应关系的列表,形成块报告返回给节点控制器,节点控制器根据块报告进行完善(如增加数据块具体路径等)后反馈给集群主控服务器更新资源状态信息表。
云系统的集群一般运行在多个机架上,不同机架上的数据通信必须通过交换机,通常机架内节点之间的带宽比跨机架节点之间的带宽要大,这有可能影响云系统的可靠性和性能。采用机架感知(Rack?aware)策略[9],将数据块以多个副本形式部署在本地机架和不同机架上,改进数据的可靠性、可用性和网络带宽的利用率。此策略可防止机架失效时的数据丢失,也可保证系统的性能。
2.3.2心跳检测技术
在任何系统设计中,硬件异常检测总是极其重要的。云系统采用心跳检测[10]技术来控制系统硬件的异常情况。集群主控服务器周期性地通过节点控制器接受虚拟机的心跳包和块报告,以此判断虚拟机的存活状态:收到心跳包说明工作正常;若在特定时间t内没有收到心跳包信息,则认为宕机,系统将不会发给它们任何新的I/O请求。对于宕机的虚拟机,系统将不断进行检测并通过虚拟机管理器进行故障修复,若在特定时间内仍无法恢复,则将重新复制该数据块,避免该数据块副本数减少所造成的影响。
2.3.3智能节点替换技术
智能节点替换技术与心跳检测技术联合应用,当系统在特定时间内仍无法检测到某数据块的心跳包时,则将该数据包重新复制,此时,节点控制器将更新数据包的新位置,并使用新节点替换原来的故障节点,保证数据传输的连贯性。
2.3.4负载均衡技术
负载均衡是很多系统中需要解决的重要问题。在云系统中,云核心服务器根据节点控制器发送的心跳信息和存储的数据块情况,掌握各节点的当前状态,通过平衡资源状态信息表中的资源分配情况,将数据块分配给负载较轻、写入速度较快的节点控制器。具体包括:在新数据加入时,为新数据寻找优越的存储位置;若现有的资源过于集中,可采用数据块迁移方法,重新分配合适的存储位置,平衡整个文件存储系统。
3结语
随着三网融合进程的不断推进,视频点播业务将面对内容繁杂、平台多样、业务量激增等局面,这对传统的视频点播模式提出了巨大的挑战。
本文在分析云计算的基本架构和技术特点的基础上,结合视频点播业务的特点,论述了云计算在视频点播系统中的应用,对其系统架构、工作原理和关键技术进行了详细的阐述,为解决海量视频的流畅传播提出了一个全新的思路。
参考文献
[1]陈旭文,林若波.基于P2P的多原VOD系统的设计[J].测控技术,2012,31(8):27?30.
[2]MELLP,GRANCET.NISTSD800?145theNISTdefinitionofcloudcomputing[S].Gaithersburg,MD:NISTSpecialPublication,2011.
[3]吴朱华.云计算核心技术剖析[M].北京:人民邮电出版社,2011.
[4]GROSSMANRL.Thecaseforcloudcomputing[J].IEEEComputerSociety,ITProfessional,2009(11):23?27.
[5]周洪波.云计算技术、应用、标准和商业模式[M].北京:电子工业出版社,2011.
[6]HADOOPWT.权威指南[M].曾大聃,译.北京:清华大学出版社,2010.
[7]刘鹏,黄宜华,陈卫卫.实战Hadoop:开启通向云计算的捷径[M].北京:电子工业出版社,2011.
[8]Anon.Amazonelasticcomputingcloud[EB/OL].[2011?07?18].http:///cn/ec2.