云技术是什么(三分钟了解云技术的原理与发展)

什么是云技术?云技术是指在广域网或局域网中统一硬件、软件、网络等一系列资源,实现数据的计算、存储、处理和共享的一种托管技术。

Cloudtechnology是基于云计算商业模式中应用的网络技术、信息技术、集成技术、管理平台技术和应用技术的总称,可以形成资源池,按需使用,灵活方便。云计算技术将成为重要支撑。技术网络系统的后台服务需要大量的计算和存储资源,比如文章网站、图片网站以及更多的门户网站。随着互联网行业的高度发展和应用,未来每个物品都可能有自己的识别标记,需要传输到后台系统进行逻辑处理。不同级别的数据会分别处理,各种行业数据需要强大的系统后盾支持,只有通过云计算才能实现。

云存储技术原理及架构分析与传统存储相比,云存储改变了数据垂直存储在一个物理设备上的存储模式,通过宽带网络(如万兆以太网或Infiniband技术)聚集大量存储设备,通过存储虚拟化、分布式文件系统、底层对象化等方式,整合位于单个存储设备上的物理存储资源。形成逻辑统一的存储资源池对外提供服务,使存储容量从单设备PB级水平扩展到几百PB级十、。由于云存储系统中的每个节点都可以并行提供读写访问服务,因此系统的整体性能可以随着业务节点的增加而同步提升。同时,通过冗余编码技术和远程复制技术,使系统进一步具备节点级甚至数据中心级的故障保护能力。容量和性能的按需扩展以及高系统可用性是云存储系统的核心技术特征。

一般来说,从云存储的技术层面来说,自下而上可以分为四个层次:存储层、管理与调度层、访问接口层、应用服务层,如下图所示:

存储层是云存储的基础。一个云存储节点设备通常可以安装24个以上的硬盘,大量的存储设备通常通过IP接口互联,形成一个存储设备资源池。在一个云存储系统中,底层的物理存储设备数量庞大,理论上允许设备形态异构(这样也可以连接传统的IPSAN或FCSAN)。在物理存储设备之上,有一个统一的存储设备管理层,实现逻辑虚拟化管理、状态监控和物理存储设备。

管理和调度层是云存储的核心部分。该层的主要功能是在存储层提供的存储资源上部署分布式文件系统,或者建立和组织存储资源对象,并对用户数据进行切片,将切片后的数据按照设定的保护策略以多副本或冗余纠删码的形式存储到特定的存储资源上。同时,该层还将进行节点间的负载均衡调度、业务调度以及节点或存储资源失效后的数据重建和恢复等任务,以始终提供高性能、高可用的访问服务。但在具体实现中,这一层的功能也可能上移,在接入接口层和应用服务层之间,甚至直接嵌入应用服务层,与业务应用紧密结合,形成业务专用的云存储。

访问接口层是业务应用和云存储平台之间的桥梁,提供应用服务需要调用的功能接口。通常云存储系统会提供一套专门的API或者客户端软件,业务应用软件直接调用API或者使用云存储系统客户端软件访问云存储系统,往往会达到更好的访问效率。但是,由于一个云存储系统往往需要支持多种不同的业务系统,然而,许多业务系统只能使用特定的访问接口,如block接口或POSIX接口,所以一个优秀的云存储系统应该同时提供多个访问接口,如ISCSI、NFS、CIFS、FTP、REST等。以便在业务适应上有更好的灵活性。

业务应用层通过云存储系统提供的各种访问接口为用户提供多种业务类型,如高清文章监控、文章图片智能分析、大数据搜索等。部分云存储系统还将在该应用业务平台上实现管理调度层的功能,将业务数据的冗余编码、分散存储、负载均衡、故障保护等功能与各种服务的实现紧密结合,形成富有业务特色的应用云存储系统。在选择存储节点时,可以使用标准的IPSAN、FCSAN或NAS设备。比如时宇科技的文章监控云存储CDS(CloudDirectStorage)解决方案就是典型的应用云存储。

CDS解决方案继承了时宇技术文章ISCSI块直接存储高性能的优势,采用了时宇最先进的裸数据存储技术,可以极大发挥存储设备的读写性能,实现云存储中的秒级检索和播放。通过采用标准的IPSAN设备,通过CDV存储虚拟化组件,通过CDM云存储管理服务器集中统一管理底层存储资源,形成全球统一的虚拟存储空间。前端应用设备要读写时,先向CDM请求可访问的存储空间,将数据离散存储到底层标准的存储节点。当一个存储节点出现故障时,CDM会自动重新分配一个新的空间供前端设备访问,从而实现业务的不间断读写。CDS系统支持海量云存储节点管理能力,最多可管理2048个存储节点,支持动态扩展和收缩,提供不间断的文章和图片存储服务。同时,还可以提供文章文章、文章点播回放、报警管理、防御解除、地图应用等多种文章服务。

将云存储与业务深度相结合,根据业务特点选择合适的存储模式,往往可以提供优秀的服务访问性能。但是,通常不同的制造商有不同的实现方法,因此它们之间很难相互交流,或者第三方很难开发新的数据处理服务。因此,云存储系统的应用更适合业务类型较少、业务模式相对固定的应用。在智慧城市的建设中,一个云存储不仅会存储海量的数据,还需要对这些数据进行分析和利用,这往往需要聚集多家专业厂商在各自的领域发展自己的业务。因此,系统的开放性和接口的标准化成为云存储系统建设的重要要求。云存储的核心功能应该直接在存储上实现,然后通过访问接口层为业务平台提供多种通用的访问接口。如ISCSI块存储访问接口、POSIX文件访问接口、REST对象访问接口等。而业务应用开发不需要考虑数据冗余、分散存储、负载均衡等存储特有的特性。而是侧重于业务应用的功能特性,如车辆识别、卡口计数、图像集中等。在文章监控系统中,这种云存储系统与具体应用的耦合度低,通用性更强,可以认为是一种通用的云存储。

在流行的云存储架构中,根据元数据的管理模型,一般的云存储系统都可以被定义为

集中式元数据云存储系统是一个典型的非对称系统。在系统中,通常有一个中央元数据管理服务器,它负责存储元数据并处理查询和修改请求。例如,在HDFS系统中,元数据管理服务器是Namenode NameNode。同时,还有大量的数据存储节点来提供客户I/O数据的并行存储和访问。在这种架构下,客户端每次对数据流进行I/O操作,都需要先查询元数据管理服务器。客户端获得需要读写的数据块的物理位置等信息后,直接在客户端和数据存储节点之间对数据进行I/O操作。与传统存储系统相比,集中式元数据云存储系统将控制流和数据流分离,大大提高了系统的可扩展性和处理性能。同时,由于元数据在一台服务器上管理,整个系统架构相对简单,降低了系统设计的复杂度。目前业界采用这种架构的系统主要有GFS、HDFS、Lustre等。

图3具有集中式元数据管理的HDFS系统架构

不难看出,集中式元数据云存储系统虽然架构简单,但主要存在两个问题:

性能瓶颈问题。元数据的基本特性要求用户的数据要随时同步修改。因为每一次I/O访问都需要先访问元数据服务器,随着系统规模的不断扩大,需要管理的存储节点、文件和I/O操作的数量会急剧增加,而管理元数据的物理服务器的性能是有限的,从而形成了性能瓶颈,当访问大量小文件时,这种瓶颈会更加突出。为了解决这个问题,人们通常使用更高性能的CPU和更大的内存,并使用SSD来加速对元数据的访问。虽然可以在一定程度上提高元数据访问性能,但是成本极高,推广效果有限。

元数据服务器的单点故障。在集中式元数据云存储系统中,整个系统的性能和可靠性完全取决于元数据服务器。一旦元数据服务器出现故障,系统将无法提供任何服务。因此,元数据服务器是整个系统中潜在的单点故障。为了解决这个问题,元数据服务器通常使用备用HA解决方案来提供更高的系统可用性。主用服务器和备用服务器之间的元数据必须随时同步,否则一旦主用服务器出现故障,就可能导致数据不一致。而元数据同步操作会进一步增加元数据服务器的性能负担,拖累整个系统的访问性能,无法彻底解决脑裂问题。

为了解决集中式元数据系统的性能瓶颈和单点故障,一种改进的分布式元数据云存储系统应运而生。该系统通过使用多个元数据服务器组成集群来提供元数据访问服务,集群中的每个设备都可以提供元数据访问,从而提高了整体访问性能,解决了元数据服务器的单点故障问题。分布式云存储系统需要在所有元数据存储节点之间同步元数据,这大大增加了系统设计的复杂性。在同步过程中,经常需要各种锁,锁机制的存在使得一些任务难以并行运行,降低了整个系统的性能。此外,如果元数据没有及时同步或被意外破坏,同一文件或对象的元数据将会不一致。这进一步导致上层应用程序通过不同的物理服务器访问文件或对象数据时出现数据不一致或读写错误的问题。这种风险随着云存储系统的扩展而大大增加。同样,为了保证元数据同步的速度,需要高性能、大内存、SSD的服务器,硬件成本非常昂贵。

第三种云存储系统完全抛弃元数据,而是使用一种算法来定位文件或对象,并将该算法集成在各个存储节点上。当客户端从任何存储节点访问数据时,都会得到相同的结果。云存储系统中的每个存储节点都可以独立并行地提供服务,从而实现性能随着节点数量的增加而线性扩展。由于节点之间不需要同步元数据,系统的稳定性和可靠性大大提高。就硬件成本而言,

时宇科技的UCS(UnifiedCloudStorage)统一云存储系统是除了文章应用云存储CDS解决方案之外,更通用的云存储解决方案。它是一个完全对称的分布式存储系统,无元数据设计,其存储节点可提供16至60个3.5英寸硬盘插槽,无需额外服务器,底层采用对象存储机制。自动实现数据分片、冗余校验计算和存储、节点故障业务接管、存储资源故障数据高速重建等功能,并提供各种标准软件接口,如ISCSI、NAS、REST等。通过部署UniFS分布式文件系统读写POSIX for standards,现有业务系统无需修改即可使用育碧的UCS云存储系统。但如果整个业务系统采用时宇设备,前端摄像机、管理服务器、智能分析服务器、UCS存储系统之间可以直接采用更优化的CBI(CloudBlockInterface)接口,继承了时宇科技上一代ISCSI文章监控直存解决方案的优势。根据云存储资源池的配置,直接在前端摄像机和接入服务器中实现数据切片和离散存储,将大量的计算工作分布到大量的前端设备上实现分布式计算,从而大大降低存储系统本身的工作量,显著提高整个系统可承载的文章监控摄像机数量。同时,面向智慧城市建设需求的业务处理分析系统还可以集成时宇提供的API或客户端软件,实现数据的并行读写或极高的性能体验。UCS统一云存储解决方案可广泛应用于高清文章监控系统、治安案件文章图库、警察执法文书在线存储、交通管理分析系统等。为智慧城市和平安城市建设提供大数据和云存储解决方案。

图Ubisoft完全对称分布式UCS的通用云存储解决方案

云计算技术的主要服务形式和典型应用云计算还处于起步阶段,各个厂商都在开发不同的云计算服务。云计算有多种形式。简单的云计算在人们的日常网络应用中随处可见,比如腾讯QQ空间提供的在线Flash图片,谷歌的搜索服务,GoogleDoc,GoogleApps等等。目前云计算的主要服务形式有SaaS(SoftwareasaService)、PaaS(PlatformasaService)和IaaS(infrastructureeasasaservice)。

(1)软件即服务(SaaS)SaaS服务商统一在自己的服务器上部署应用软件,用户根据需求通过互联网向厂商订购应用软件服务,服务商根据客户订购软件的数量、时间长短等因素收费,并通过浏览器向客户提供软件模型。这种服务模式的优点是服务提供商维护和管理软件,并提供软件运行的硬件设施。用户只要有一个可以上网的终端,就可以随时随地使用该软件。在这种模式下,客户不再像传统模式那样在硬件、软件和维护人员上花费大量资金,只需要支付一定的租赁服务费,就可以通过互联网享受相应的硬件、软件和维护服务,是网络应用最有效的运营模式。对于小企业来说,SaaS是采用先进技术的最佳途径。

就企业管理软件而言,SaaS模式的云计算ERP允许客户根据并发用户数、使用功能数、数据存储容量、使用时长等因素的不同组合按需支付服务费,无需支付软件授权费、购买服务器等硬件设备、购买操作系统、数据库等平台软件,不承担软件项目定制、开发、实施等成本。不需要承担IT维护部门的费用。事实上,云计算ERP继承了开源ERP最重要的特点,是面向服务的ERP产品。

目前,Salesforce.com是提供此类服务的最著名的公司,GoogleDoc、GoogleApps和ZohoOffice也属于此类服务。

(2)平台即服务(PaaS)提供开发环境即服务。这是一个分布式平台服务。厂商向客户提供开发环境、服务器平台、硬件资源等服务。用户基于他们的平台定制和开发他们自己的应用程序,并通过他们的服务器和互联网交付给其他客户。PaaS可以为企业或个人提供研发的中间件平台,提供应用开发、数据库、应用服务器、测试、托管和应用服务。

Salesforce的force.com平台GoogleAppEngine和拥有800个客户的800APP是PaaS的代表产品。以GoogleAppEngine为例,它是由python应用服务器组、BigTable数据库和GFS组成的平台,为开发者提供集成的主机服务器和可自动升级的在线应用服务。用户可以通过编写应用程序并在Google的基础设施上运行,为互联网用户提供服务,Google提供应用程序运维所需的平台资源。

(3)基础设施服务(IaaS)IaaS是指制造商的“云”基础设施,由多台服务器组成,作为计量服务提供给客户。它将内存、I/O设备、存储和计算能力集成到一个虚拟资源池中,为整个行业提供所需的存储资源和虚拟化服务器。这是一种托管硬件模式,用户付费使用厂商的硬件设施。比如AmazonWeb Services (AWS)和IBM的BlueCloud都是租用基础设施作为服务。

IaaS的优势在于用户只需要低成本的硬件,按需租用相应的计算能力和存储容量,大大降低了用户在硬件上的成本。

目前最具代表性的是Google云应用,如GoogleDocs、GoogleApps、Googlesites、GoogleAppEngine等。

GoogleDocs是最早的云计算应用,也是软件即服务思想的典型应用。是一款类似微软Office的在线办公软件。它可以处理和搜索文档、表格和幻灯片,并可以通过网络与他人共享并设置共享权限。Google file是一个基于web的文字处理和电子表格程序,可以提高协作的效率。许多用户可以同时在线更改文件,并实时查看其他成员所做的编辑。用户只需一台连接互联网的电脑和一个可以使用谷歌文件的标准浏览器,就可以随时随地进行在线创建和管理、实时协作、权限管理、共享、搜索、修改历史和访问,大大提高了文件操作的共享和协作能力。

GoogleAPPs是谷歌企业应用套件,它使用户能够处理不断增加的信息量,随时随地保持联系,并与其他同事、客户和合作伙伴进行交流、分享和协作。它集成了Cmail、GoogleTalk、Google Calendar、GoogleDocs、最新的云应用GoogleSites、API扩展和一些管理功能,包括通信、协作和发布、管理服务等,具有云计算的特性,可以更好地实现随时随地的协同共享。此外,它还具有成本低、托管方便的优势,用户无需维护和管理自建的协同共享平台。

云技术发展的驱动力推动更开放的“云端”战略:IBM认为,目前云计算33%的驱动力来自移动和嵌入式领域,未来这一比例将进一步增加。为此,IBM提出了非常明确的“云端”战略。除了加强后端的云能力,IBM在前端的整合方面做了更大的努力,包括移动、嵌入式和众多的前端需求。相比业界,IBM的“云端”策略更加开放,在可扩展性、兼容性、安全性、分析能力等方面优势明显。

加强“云”分析的实力:运行在IBMSmartCloudEnterprise云计算平台上的IBMInfoSphereBigInsights可以让客户组织内部的任何用户都可以访问大数据分析,帮助企业提升行业洞察和业务决策能力。云中的大数据分析使企业能够捕获和分析任何数据,而无需安装、运行或维护硬件和软件。

提升“云”部署能力:IBMSmartCloud产品正在帮助全球企业提升云环境和传统环境的可视化、可控性和自动化水平,使企业能够安全管理和部署云服务,优化业务流程,提高效率,享受虚拟化带来的更高价值。

利用“云”协作提升企业协作:IBMLotusLive解决方案为企业搭建了一个“云”办公平台,使员工能够更高效地与来自世界各地的客户、合作伙伴和供应商进行沟通和协作,使企业成功进入办公协作的云计算时代。

不仅如此,IBM在不断开发和升级现有产品的同时,还通过积极的收购策略来扩展其云计算产品线,以期通过最全面的云产品线为企业带来最好的云服务。