软件定义服务器:为应用而定制优化(转自Zdnet)
当SDI盛起,最先波及的是服务器,“为应用而定制”指引服务器的未来,从服务器虚拟化到为不同的应用场景而诞生的服务器… …
文章出自:ZDnet 作者: 赵效民
服务器可以说是数据中心里最核心的IT基础设施,网络、存储从根本上讲是为围绕服务器来部署的,因为数据中心本身最重要的作用是在于对数据的执行上,而这个执行的基础就在于对信 息的处理与数据的生成,否则网络上没有数据需要传输,存储上也没有数据需要存取。因此,从另一角度上讲,服务器是离企业应用承载最近的IT设备,它效率的 高低直接影响着企业应用的表现,进而关乎企业的竞争实力与发展的未来。
当软件定义之风盛起时,最先波及到时的也是服务器,同时也因为其与应用的紧密关系,从而让软件定义在与服务器结合之初,就与应用结下了不解之缘,我们可以总结为“为应用而定制”,这一原则也在指引着服务器发展的未来。
软件定义服务器的典型案例:服务器虚拟化
由于服务器虚拟化主要由虚拟化管理器(VMM)来实现,所以传统的服务器虚拟化就是典型的“软件定义”,从它自身的发展过程中,就能很好的体现出“软件定义”的由来、优势和其与硬件之间的关系。
与所有流行的技术一样,虚拟化技术的诞生,是与用户需求密不可分的,这也从侧面印证了软件定义本身也是需求引发的产物。
在很早以前,人们就已经发现服务器内部的计算资源(CPU+内存)并不是长期处于满负载的工作状态下,很多时候CPU占用率只在10%甚至更低的水 平,有的服务器长期处于5%以下的CPU利用状态。而当IT对于企业越来越重要之后,IT的投资也在逐年增长,渐渐的,对于这笔投资的回报率,也走进了企 业高管的视野——我投了这么多钱买服务器,实际只用了这么点资源?但是当时的应用架构,在兼容性与可靠性方面,也决定了服务器使用方式,一个应用一个服务 器,这在确保应用之间互不影响的同时,也划定了服务器的应用模式。然而,对于成本的考量,以及对资源物尽其用的要求,使得人们开始研究如何“复用”一台服 务器的技术,这就是当前已成主流的虚拟化。借助于VMM,它让一台服务器上可以运行多个虚拟机,每个虚拟机再承载不同的应用,在逻辑空间上实现隔离,既保 证了应用间的独立,也让服务器的资源获得最大化的利用,CPU占用率长期保持在50-70%左右,相较于原来的水平,相当一台服务器顶原来的5至10台来 用,效益可观。
当前,我们已经很熟悉服务器虚拟化所带来的好处,虽然它与云计算并没有直接的联系,但谁都不否认它是实现云计算的一大捷径,尤其是云计算所强调的自 动化资源配置,没有服务器虚拟化的帮助,很难想像会如此动态而灵活的计算资源调度——借助软件层对硬件抽象层的全局管理,计算资源打破了物理机箱的限制, 而在数据中心级别实现汇总与融合,进而为新一代的应用诞生提供了必要的土壤与未来进一步发展的核心理念。
但是,对于当今占据数据中心主流的x86平台来说,在很长一段时间里,因为硬件性能的限制,x86服务器虚拟化都单纯依靠软件来实现,从而造成了虚 拟化后的性能较物理机性能有较大幅度的下降,平均达30%左右,这足以抵消CPU换代升级所获得性能提升,也因此长期制约了服务器虚拟化的普及,直到 CPU虚拟化技术的出现将虚拟机的性能损耗降低至5%以下,才打开了服务器虚拟化在x86市场兴盛的大门,并进一步促成了x86服务器在数据中心里的领导 地位。
从这一点来说,就明显能看出最早的软件定义在服务器上的体现,以及其与服务器硬件平台发展的关系,而这种“相辅相成”的互动,也在日后的发展中随处 体现,而软件定义也不再仅仅局限于服务器虚拟化,它更强调了针对不同应用场景的底层支撑软件的适配,与硬件一起,更好的为应用服务。
为不同的应用场景而诞生的服务器
在IT最早诞生之初,应用的类型是非常单一的,甚至有些公司认为全球只需要几台大型主机就够了(IBM),也有一些IT名人在当时认为计算机的内存 有640KB就足够了(比尔-盖茨),但显然随着人类文明的进步与IT技术自身的发展,IT越来越多渗透至更多的应用领域,也让其自身的形态发生了根本性 变化。这就如同汽车最早发明时,只是轿车,但后来随着汽车技术的成熟,逐渐出现卡车、大客车以及特种车辆(最典型的就是军用、消防等车型)一样,不同的应 用场景也带来了不同应用的需求,而这也就意味着服务器也必须发生改变,同时再借助相应的软件定义技术,为相关应用提供了更好的承载平台。
时至今日,不同的应用对于服务器不同负载指标均有不同的需求
在这一发展过程中,以英特尔至强为主要CPU平台的x86服务器借助于开放、标准化的平台设计,获得了广泛的生态支持,成为了可以覆盖最多场景的应用平台,而相关的服务器厂商在这其中的摸索则不断充实着服务器为应用而定制优化的发展之路。
作为完全采用x86作为其服务器平台的世界顶级IT供应商,戴尔(DELL)公司在x86服务器平台的研发上有着积极的创新。这其中,在2010年 专门为云计算应用而推出的PowerEdge C服务器的推出就是一个典型的例子(今天已经为至强E5v3而全面更新),戴尔亚太区解决方案副总裁Phil Davis表示,“现在很多大型的数据中心,尤其是巨型网站的数据中心,所采用的服务器都是定制的,它们有很明确的定向需求,一般都是结构很简单,但能效 比很高的设计。然而这种设计在一定程度上也极大限制了硬件扩展与搭配的灵活性,适用面很窄,而云计算时代则让很多企业的数据中心也向这样的模式靠拢,但需 求又没有如此的苛刻,所以在某种程度上又将形成一个通用的市场,这就是PowerEdge C的机会所在。”从Phil Davis的介绍中,我们可以看出服务器的定制化设计早已成为大型客户的服务范畴,但云计算本身的渐行通用化,则让这一大规模Scale-Out应用场景 得以普及,并带动了相关通用服务器形态的变革。
PowerEdge C推出之后获得很大的成功,在当时迅速成为了模块化服务器设计的领导者,也意味相应的应用场景正在大规模普及,如今,类似于PowerEdge C6100的2U4节点结构,已经成为互联网与大规模云计算基础设施的典型设计
另一个在x86服务器领域长期占据全球市场第一名的惠普公司,则在其他领域为我们呈现了为应用而优化的设计思路。
第一个就是数据分析领域,随着互联网的普及,它以越来越快的速度在吸收着各种各样的数据,在这些数据中则蕴含着丰富的商业机会,为此新的数据分析应 用场景诞生了,而当今最为响亮的声音莫过于Hadoop与SAP HANA。早在2012年,惠普就在世界顶级服务器厂商中,率先提供了Hadoop集群解决方案——AppSystem For Hadoop。
AppSystem for Hadoop是惠普面向大数据分析领域的最新解决方案,其基于现有的VERTICA实时分析应用系统(已升级至6.0版本),在原有的关系型数据分析能力 基础上,借助Hadoop集群与Autonomy IDOL 10分析引擎的集成,极大增强了其面对非关系型数据的处理能力。惠普公司企业集团融合应用系统产品管理总监Manoj Suvarna强调,HP AppSystem for Hadoop是业界第一个企业级Hadoop解决方案,率先为用户提供了基于Hadoop架构的大数据分析平台。
AppSystem For Hadoop采用Cloudera的解决方案(CDH,Cloudera's Distribution including Apache Hadoop,如今已经和英特尔结盟,为英特尔平台全面优化),它可以说是类似于服务器虚拟化的一层软件定义平台,只是针对数据分析应用需求,就相当于虚 拟化针对资源复用需求一样。在硬件上,全部采用的是英特尔至强E5处理器,至于原因则很简单,惠普公司企业集团系统及解决方案副总裁Martin Whittaker表示,“数据分析是一种对计算能力需求非常强烈的应用,所以在做系统架构时,突出的需求就是要快、更快,可以说对速度的追求是无止境 的,这一点很像高性能计算。因此,英特尔至强平台是显而易见的选择。”
HP AppSystem For Hadoop全面采用了英特尔的至强E5硬件平台与CDH软件平台
在SAP HANA方面,HP最典型的设计莫过于不久前刚刚发布的CS900系统,其基于至强E7v2平台,提供了迄今为止最为强大的x86内存计算的能力——16 插槽、12TB内存,未来还有机会扩展至32插槽与24TB内存,以应对不断扩大的内存数据库应用需求。这种配置规模,别说在x86领域,即使是传统高端 RISC领域,也非常罕见,而内存计算首先在x86平台上开花结果,也证明了x86在数据中心里的地位。
x86 Odyssey的第一款产品——CS900 HANA系统,16插槽E7v2,拥有12TB内存容量,这可以说是当今内存容量最大的SAP HAHA集成系统,从技术层面讲,完全可以推出32插槽、24TB内存的HANA系统,关键在于市场的需求
作为HP Odyssey计划的阶段性成果,CS900领先于通用裸机而推向市场,从另一方面也体现出惠普在服务器发展理念上的新特点。“我们认为高端的关键业务, 一定是跟应用场景相挂钩的”,中国惠普副总裁、企业集团关键业务服务器系统事业部总经理樊瀛表示,“因此,在Odyssey的发展过程中也非常关注这一 点”。其实说到CS900 HANA系统的起源,主推者除了惠普,另一个很明显就是SAP,否则单凭惠普自己而没有应用层面的配合,CS900 HANA也不可能诞生。樊瀛就此强调,随着x86高端平台的日益成熟,传统企业级关键应用提供商也在密切关注这一平台的发展,SAP的态度表明了市场对于 这种大HANA系统的需求,Odyssey计划正好与其相呼应,从而成为当今业界最大的单系统HANA平台,别无他选。
而为了CS900更好的支持超大规模SAP HANA平台的稳定运行,自Odyssey设计之始,惠普就明确了通过软件来尽量挖掘英特尔至强平台潜能的战略,。“E7v2的硬件RAS功能,我们是百 分百支持的,现在还没有其他厂商可以做到这一点”,惠普亚太及日本地区关键业务服务器产品部产品总监陈武胜,在接受采访时表示,“借助于惠普自身在关键业 务领域里长达几十年的积累,我们在整体的硬件架构、固件设计以及相应的软件配套上,都发挥了所有E7v2的硬件RAS能力。”事实上,关键业务服务器并非 在纵向上把配置简单堆叠提高就可以了,对于整体业务应用平台的可靠、可用与可维护性均有非同一般的要求,这也是为什么x86平台一直要努力的地方,并且不 仅仅是硬件一方,基础软件、应用软件与整体的解决方案都要符合用户对于关键业务应用的期望才可以,这其中有性能方面的,但更重要的则是可用性方面的。而正 是借助于惠普自身层面上的“软件定义”,率先实现了基于至强E7v2平台的真正高可用,这又可以看作是软件定义与硬件之间相辅相成的范例。
除此之外,在高性能计算与高密度模块服务器领域,惠普的创新也让我们看到了服务器发展更多的可能性,并为“软件定义”提供了更多的可发挥空间。
Apollo 6000系统和其主要的组成,它的主要功能组件都是专门研发的,包括专用的服务器机箱、高密度服务器与池化电源模块,并最终以一个方案级的系统统一交付给 用户,而非是采用现有的ProLiant服务器堆加而成。Apollo 6000的服务器机箱为5U设计,第个机箱满配10台ProLiant XL220a服务器,每台服务器内含两个单路处理节点(至强E3,未来有双路型号),每单路节点配32GB内存,整个机柜满载8个机箱,80个 ProLiant XL220a服务器,160个单路计算节点
与Apollo 6000一样,采用液态制冷的Apollo 8000系统重点功能组件也是重新设计的,ProLiant XL730f服务器内置两个双路计算节点(采用至强E5-2600 v3处理器,每个节点256GB内存并配有一块SFF SSD),在1U的全宽机架内包含两台ProLiant XL730f服务器,一个f8000机柜中最多可装载72台ProLiant XL730f服务器(另外8个槽位留给InfiniBand交换机模块),共144个双路计算节点,目前采用NVIDIA Tesla与英特尔Xeon Phi的加速处理模块也已经推出
惠普全球服务器高性能计算业务开发部部门经理Ed Turkel,在谈到高性能计算的发展时表示,“我们谈到高性能计算的发展,实际上是研究了不同的工作任务得出来的。当人们想到HPC的时候,他们通常理 解的是针对政府和学术界的高性能计算。但实际上HPC可以被应用到不同的行业,比如电子设计、金融服务、汽车,甚至有一些电影行业的3D设计都在使用 HPC技术。当我们研究了HPC不同的细节应用以后,发现所有的应用都集中需要更好的性能。随着计算扩展的范围越来越大,我们可以看到更多的客户对单位面 积的效率和能耗有了更高的需求。同时,我们发现HPC领域需要更广泛的兼容性和可访问性,因为更多客户要求更简洁的系统以便更好的管理,他们同时希望一些 新的业务需求和想法也都可以快速地实现。为此,惠普郑重推出了Apollo系列高性能计算产品。”
Apollo 6000系统的第一个客户就是至强E3处理器的提供者——英特尔公司,其CIO Kim Stevenson对Apollo有着如此的评价:在电子设计自动化应用程序工作负载上,我们看到35%的性能提升。我们已经部署了5000多台这样的服 务器,实现了更好的机架密度和功率效率,同时为英特尔硅片设计工程师提供更高的应用程序性能。对此,Ed Turkel进一步补充到,“原来英特尔EDA部门的服务器基本上用的是刀片服务器40000多个,我们通过用15000台的Apollo 6000服务器替换过来,使客户实现了更好的机架密度、功率密度,同时在使用中提供了更简单的方法,帮助英特尔EDA部门更好地设计微型处理器。”
美国国家再生能源局下属的国家再生能源实验室(NREL,National Renewable Energy Lab),则把Apollo 8000部署在了自己的办公大楼里。Ed Turkel表示,前面所讲到的那个成本优势就是来自于美国国家再生能源局局长的表述,Apollo 8000系统可以帮助他们每年节省100万美元的能源支出。这些能源支出由两部分组成,一部分是我们帮助他们节省了制冷的成本,另外系统产生出来的热水我 们还能帮助他们再次利用,从而节省了供热能源的开支——“这套Apollo 8000的PUE可以在5年内持续稳定在1.06,并不会因为时间的推移而升高(目前主流的风冷方案会随时间的累积而使PUE逐渐提升),还可将 185000平方英尺的办公室供热系统作为其冗余的散热循环。”
惠普Moonshot服务器的在高密度模块化服务器领域的创新范例
在高密度模块化服务器领域,惠普的Moonshot也可谓是典型的创新代表,其所提出的核心理念就在于让应用选择服务器。为此,与上述的CS900 HANA系统相类似,惠普完成了自己的硬件平台创新+软件定义,为不同的高密度应用提供不同的解决方案。其中最为典型的就是基于英特尔Atom处理器提供 了4.3U/180节点的高密度计算能力,非常适合于大型互联网应用,而随着不同的微卡服务器诞生(包括英特尔至强E3这样的高性能处理器,以及GPU、 FPGA、ASIC专用芯片等),Moonshot服务器的目标行业领域包括了高性能计算、游戏、通信、金融、基因研究等,若从工作负载类型来分,则包括 了内容缓存、Web主机、Web前端加速、大数据分析、VDI(虚拟桌面基础架构)、面部识别、视频处理等等,而每种负载也将有最适合、最优化的服务器模 组与之对应。
结语:软件定义服务器 为应用的定制优化而服务
现在我们应该可以理解,在本文前半部分所强调的——软件定义也不再仅仅局限于服务器虚拟化,它更强调了针对不同应用场景的底层支撑软件的适配,与硬 件一起,更好的为应用服务。而这些支撑软件的适配除了虚拟化,还包括了数据分析、高性能计算以及关键业务等多个领域,因此服务器本身的进化也可以说是软件 定义发展的历程。
回到本文的重点,我也必须要从服务器的核心本质来展望它的未来,即为应用服务。而软件定义的意义在于,为了实现这种为应用制定优化的目的,软件定义 提供了硬件无法达成了灵活性与功能实现的能力,它与相关优化设计的硬件相组合,为最终的应用场景提供了理想的平台,我想这也是软件定义在服务领域发展的根 本目的——而离开了硬件平台的支持,它也将一事无成。
而在上文的例子中,我们也基本看到全都是英特尔的身影,从至强E7、E5、E3再到Atom,覆盖了多个典型的应用场景,毕竟英特尔平台是当前数据 中心的绝对主流,这从侧面也体现出了硬件平台自己生态环境的重要性——因为你更为普及,所以才会有更多的,针对应用而优化的方案在你身上体现,反过来又会 进一步提供你的占有率。这可以说也是与应用走得最近的,服务器发展的必然规律。而要想在这一领域长期站稳脚跟,我坚信原则只有一个——基于开放、标准平台 的生态环境,为应用提供更出色的定制与优化!
媒体文章均为第三方观点,仅供参考, 不代表英特尔官方观点
精选资源:大数据
想免费获取精选的大数据资料吗?
立即注册您的邮箱订阅资料,即可获得大数据相关精选资源。英特尔® 商用中心每月推送 IT 领域的最新精选案例和资讯,并可参与专家在线访谈,与行业专家实时互动,了解大数据的发展趋势及未来的企业应用。