云应用时代存储 云时代的主要应用

大数据时代下的三种存储架构

大数据时代下的三种存储架构_数据分析师考试

大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。

传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。

基于大数据应用需求，“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点，才能满足具备大数据特征的业务应用需求。

尤其在云安防概念被热炒的时代，随着高清技术的普及，720P、1080P随处可见，智能和高清的双向需求、动辄500W、800W甚至上千万更高分辨率的摄像机面市，大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。

目前市场上的存储架构如下：

（1）基于嵌入式架构的存储系统

节点NVR架构主要面向小型高清监控系统，高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房，存储容量相对较小，用户体验度、系统功能集成度要求较高。在市场应用层面，超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。

（2）基于X86架构的存储系统

平台SAN架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过录像存储管理模块存储到SAN中。

此种架构接入高清前端路数相对节点NVR有了较高提升，具备快捷便利的可扩展性，技术成熟。对于IPSAN而言，虽然在ISCSI环节数据并发读写传输速率有所消耗，但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点，仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多，比如县级或地级市高清监控项目，大数据量的并发读写对千兆网络交换提出了较大的挑战，但应用FCSAN构建相对独立的存储子系统，可以有效解决上述问题。

面对视频监控系统大文件、随机读写的特点，平台SAN架构系统不同存储单元之间的数据共享冗余方面还有待提高；从高性能服务器转发视频数据到存储空间的策略，从系统架构而言也增加了隐患故障点、ISCSI带宽瓶颈导致无法充分利用硬件数据并发性能、接入前端数据较少。上述问题催生了平台NVR架构解决方案。

该方案在系统架构上省去了存储服务器，消除了上文提到的性能瓶颈和单点故障隐患。大幅度提高存储系统的写入和检索速度；同时也彻底消除了传统文件系统由于供电和网络的不稳定带来的文件系统损坏等问题。

平台NVR中存储的数据可同时供多个客户端随时查询，点播，当用户需要查看多个已保存的视频监控数据时，可通过授权的视频监控客户端直接查询并点播相应位置的视频监控数据进行历史图像的查看。由于数据管理服务器具有监控系统所有监控点的录像文件的索引，因此通过平台CMS授权，视频监控客户端可以查询并点播整个监控系统上所有监控点的数据，这个过程对用户而言也是透明的。

（3）基于云技术的存储方案

当前，安防行业可谓“云”山“物”罩。随着视频监控的高清化和网络化，存储和管理的视频数据量已有海量之势，云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务，在未来安防监控行业有着客观的应用前景。

与传统存储设备不同，云存储不仅是一个硬件，而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心，通过应用层软件对外提供数据存储和业务服务。

一般分为存储层、基础管理层、应用接口层以及访问层。存储层是云存储系统的基础，由存储设备（满足FC协议、iSCSI协议、NAS协议等）构成。基础管理层是云存储系统的核心，其担负着存储设备间协同工作，数据加密，分发以及容灾备份等工作。应用接口层是系统中根据用户需求来开发的部分，根据不同的业务类型，可以开发出不同的应用服务接口。访问层指授权用户通过应用接口来登录、享受云服务。其主要优势在于：硬件冗余、节能环保、系统升级不会影响存储服务、海量并行扩容、强大的负载均衡功能、统一管理、统一向外提供服务，管理效率高，云存储系统从系统架构、文件结构、高速缓存等方面入手，针对监控应用进行了优化设计。数据传输可采用流方式，底层采用突破传统文件系统限制的流媒体数据结构，大幅提高了系统性能。

高清监控存储是一种大码流多并发写为主的存储应用，对性能、并发性和稳定性等方面有很高的要求。该存储解决方案采用独特的大缓存顺序化算法，把多路随机并发访问变为顺序访问，解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。

针对系统中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。在海量视频存储检索应用中，检索性能尤为重要。传统文件系统中，文件检索采用的是“目录-》子目录-》文件-》定位”的检索步骤，在海量数据的高清视频监控，目录和文件数量十分可观，这种检索模式的效率就会大打折扣。采用序号文件定位可以有效解决该问题。

云存储可以提供非常高的的系统冗余和安全性。当在线存储系统出现故障后，热备机可以立即接替服务，当故障恢复时，服务和数据回迁；若故障机数据需要调用，可以将故障机的磁盘插入到冷备机中，实现所有数据的立即可用。

对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展能力十分重要。市场中已有友商可提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。

云存储系统除上述优点之外，在平台对接整合、业务流程梳理、视频数据智能分析深度挖掘及成本方面都将面临挑战。承建大型系统、构建云存储的商业模式也亟待创新。受限于宽带网络、web2.0技术、应用存储技术、文件系统、P2P、数据压缩、CDN技术、虚拟化技术等的发展，未来云存储还有很长的路要走。

以上是小编为大家分享的关于大数据时代下的三种存储架构的相关内容，更多信息可以关注环球青藤分享更多干货

云时代该如何掌控企业数据安全

云时代该应该这样掌控企业数据安全，在2016年的安全界盛会RSA 2016上DLP（Data Loss Prevention,数据防泄密）成为企业用户关注度最高的产品，大会的DLP分类厂商多达88家，从本次大会上，可以看到企业数据防泄露产品的一些发展趋势。

DLP与网关功能整合

将DLP与网关类产品的传统安全功能进行整合，实现从内容层面的安全检测和防御，比如将DLP功能加入Web网关、将DLP功能加入URL与反垃圾邮件网关等，代表厂商有Forcepoint、ClearSwift等。

基于终端加密与权限控制的DLP+

从数据泄露的源头上对其进行封堵。在终端对文档进行不同的访问权限、操作权限和外发权限控制，并对发送者和接收者制定不同的权限策略。数据在外发的时候是加密的，只有被信任的接收者才能够看到文件内容或对文件执行对应的操作。代表企业Vera、Fasoo。

针对特定应用的DLP

只针对特定应用（如Exchange、outlook、office365、SharePoint）或特定通道（Email Cloud Service）的DLP检测。这类产品会在终端进行访问、打印、拷贝等操作的权限控制，并针对文件类型、收发件人、以及文件内容定义敏感信息检测策略，实现固定终端和移动终端的DLP检测。代表厂商有Messageawre、Mimecast等。

公有云环境下CASB成为重要方向

随着国外（特别是美国）企业对SaaS（Office365、DropBox、Box、Facebook等云服务）的依赖程度日益增高，已经将很多数据、业务迁移到云服务和云平台上，企业员工对公有云环境的使用也会成为一个安全问题。数据泄露已经成为云安全面临的首要威胁，通过Office365、DropBox等云服务和云存储上传或共享文件时，都有可能带来数据泄露的问题。CASB（Cloud Access Security Broker，云访问安全代理）的方法是一种解决思路，实现在“任何时间、任何地点”保护企业数据不被泄露。基于CASB的DLP实现可以分为两种形式：

形式一：应对企业内部DLP问题

保持原有DLP产品的软硬件形态不变，在原有网关上增加对云服务和云应用的支持，可以部署在企业网的终端和边界处。代表厂商Symantec、Intel Security（McAfee）、AvePoint等传统DLP厂商。

形式二：应对企业员工移动办公的DLP问题

CASB作为一种云服务，部署在企业员工使用的云平台上，在云中为用户提供单点登录、访问控制、行为监控、数据防护、安全合规等服务。DLP是CASB要考虑的重要问题，也是产品落地的明确方向，CASB也在积极寻求与传统DLP厂商的合作。对于DLP而言，相对于传统边界部署上方案，CASB的区别在于其结合了用户、设备、内容和应用这几个维度，来理解数据是如何在云环境中被共享或被使用的，从而做出相应的策略配置。基于CASB的DLP产品形态也从传统的Network+Endpoint+Storage DLP变成了Cloud+Mobile DLP。代表厂商有Skyhigh、BlueCoat等。

云时代该如何掌控企业数据安全

数据是企业中最重要也是最需要保护的资产，因此数据安全也变得越来越重要。随着公有云和BYOD技术的不断发展，数据防泄密（Data Loss Prevention, DLP）作为数据安全领域最重要的技术产品，也面临着“实现云中数据泄露防护”的挑战。虽然目前国内企业和个人用户对云服务和应用的依赖还较小，但Cloud+Mobile的DLP将成为DLP产品的发展趋势，国内的DLP产品，也需要快速适应从on-premise到cloud-based的转变。

数据防泄密系统：这是一套从源头上保障数据安全和使用安全的软件系统。包含了文件透明加解密、内部文件流转功能、密级管控、离线管理、文件外发管理、灵活的审批流程、工作模式切换、服务器白名单等功能。从根本上严防信息外泄，保障信息安全。

云时代的主要应用

亚马逊网站（Amazon，下称亚马逊）

是以在线书店和电子零售业起家的，如今已在业界享有盛誉，不过它最新的业务却与云计算有关。两年多以前，亚马逊作为首批进军云计算新兴市场的厂商之一，为尝试进入该领域的企业开创了良好的开端。

亚马逊的云名为亚马逊网络服务（Amazon WebServices，下称AWS），目前主要由4块核心服务组成：简单存储服务（Simple StorageService，S3）；弹性计算云（Elastic Compute Cloud，EC2）；简单排列服务（Simple QueuingService）以及尚处于测试阶段的SimpleDB。换句话说，亚马逊现在提供的是可以通过网络访问的存储、计算机处理、信息排队和数据库管理系统接入式服务。

谷歌公司（Google，下称谷歌）

围绕因特网搜索创建了一种超动力商业模式。如今，他们又以应用托管、企业搜索以及其他更多形式向企业开放了他们的“云”。

今年4月，谷歌推出了谷歌应用软件引擎（Google AppEngine，下称GAE），这种服务让开发人员可以编译基于Python的应用程序，并可免费使用谷歌的基础设施来进行托管（最高存储空间达 500MB）。对于超过此上限的存储空间，谷歌按“每CPU内核每小时”10至12美分及1GB空间15至18美分的标准进行收费。最近，谷歌还公布了提供可由企业自定义的托管企业搜索服务计划。

Salesforce

是软件即服务厂商的先驱，它一开始提供的是可通过网络访问的销售力量自动化应用软件。在该公司的带动下，其他软件即服务厂商已如雨后春笋般蓬勃而起。Salesforce的下一目标是：平台即服务。

该公司正在建造自己的网络应用软件平台，这一平台可作为其他企业自身软件服务的基础。包括关系数据库、用户界面选项、企业逻辑以及一个名为Apex的集成开发环境。程序员可以在平台的Sandbox上对他们利用Apex开发出的应用软件进行测试，然后在Salesforce的AppExchange目录上提交完成后的代码。

微软公司

在云计算的起步阶段，微软曾经历过不少周折。经过几年的磨合调整之后，这个软件巨头的云计算战略终于走上了正轨。

根据有些厂商的预想，未来绝大部分的IT资源都将来自云计算，但微软却并不这么认为。几个月前，微软首席软件架构师（CSA）雷;奥兹（RayOzzie）曾表示，微软的宏伟计划是“提供均衡搭配的企业级软件、合作伙伴托管服务以及云服务”。简而言之，微软将其称为“软件加服务”（software plus services）。

微软将在今年推出的首批软件即服务产品包括Dynamics CRM Online、Exchange Online、OfficeCommunications Online以及SharePointOnline。每种产品都具有多客户共享版本，其主要服务对象是中小型企业。单客户版本的授权费用在5,000美元以上。针对普通用户，微软的在线服务还包括Windows Live、Office Live和Xbox Live等。

五个主要原因使得分布式计算必然会越来越普遍，逐渐发展成主流的计算模式而取代集中式的大型计算机：

1。现在分布式系统的第一个原因就是因为他具有比集中式系统更好的性能价格比。你不要花几十万美元就能获得高效能计算。

2。多数应用本身就是分布式的。如工业企业应用，管理部门和现场不在同一个地方。

3。高可靠性。冗余不仅是生物进化的必要条件，而且也是信息技术。现代分布式系统具有高度容错机制，控制核反应堆主要采用分布式来实现高可靠性。

4。可扩展性。买一台性能更高的大型机，或者再买一台性能相同的大型机的费用都比添加几台PC的费用高得多。

5。高度灵活性。能够兼容不同硬件厂商的产品，兼容低配置机器和外设而获得高性能计算。

粗略地计算，目前的个人计算机每个CPU芯片的处理能力是200MIPS，就是每秒种执行 200M也就是两亿次指令，而最近Yahoo!公司报道他们已经实现了有一万个节点（node）就是一万台PC计算机连接的分布式系统，总的处理能力是 2,000,000MIPS，最快的芯片也达不到这个速度，因为在一定面积上设计的芯片的速度是存在一个极限的，不可逾越。而当前世界著名的超级计算机所谓的TOP500，达到每秒几百万亿次指令执行，都是采用分布式设计的，世界第一的IBM BlueGene超级计算机采用了32部机架，每部机架部署有768个PowerPC440 CPU。顺便说一句，这TOP500基本都是使用Linux操作系统的！现在社会和家庭拥有的个人计算机就是PC，只有30%的计算能力被利用，甚至更低，而其余70%的实际上是被闲置的，这些闲置的计算机资源和计算能力只有通过分布式系统才能得到有效的利用，这样可以大大提高一个国家的计算能力，而计算能力是衡量一个国家国力和科学研究能力的指标，这一点现在还没有被国人充分认识到。一个国家和地区的计算能力现在已经成为一种重要的战略资源，不亚于石油和其他战略物资的重要性。云计算就是把普通的服务器或者个人计算机连接起来以获得超级计算机也叫高性能和高可用性计算机的功能，但是成本更低。这在世界上也是个先进的项目。云计算模式必定能大大提高我国科学计算机和商业计算能力，使得我国经济竞争力大大提升。美国和欧洲有许多社会分布的分布式计算系统，他们动员和使用这些社会计算能力进行人类基因组学（Genomics）的研究、天文学问题研究、数学难题研究以及其他的科学问题研究。去年的一个研究报告估计我国个人计算机PC保有量接近两亿台。

按照计算机操作系统的宗师Andrew S. Tanenbaum（AST）给分布式系统的的定义：“分布式系统是这样的系统，它运行在不具有共享内存的多台机器上，但在用户的眼里却像是一台计算机”。（引自《现代操作系统》，机械工业出版社，1999年中文版）。它的目标是让每个用户感觉联网的计算机是一个分时系统——就像使用个人计算机一样——而不是一个由许多计算机联合起来的集体，即使由五个节点组成的分布式系统也应该让用户感觉自己是在使用一台价值20万美元的大型计算机，唯一不寻常的感觉是处理速度提高了许多，别的没有什么不同。例如，这里有一个简单的例子，在机器A的用户要使用安装在机器B上用户的目录里的文件，A用户要使用远程登录命令rlogin B登录到机器B的目录上，那么这就不是一个真正的分布式系统，因为用户A意识到了另外一台机器的存在，分布式系统必须要做到，用户A登录到一个目录上的时候不知道自己是在本地机器上还是在远程机器上的目录上，对于用户A来说机器B是透明的，这就是分布式系统设计时考虑的“透明性”要求。其他有关的问题包括：分布式文件系统的问题，目录和文件访问机制以及一致性问题，分布式系统进程的通信问题等等。目前的云计算严格说还没有到达真正的分布式计算的语义学水平。

云计算在存储领域的发展趋势和优势

也许你的计算生活表面上看起来就是收发电子邮件和浏览网络,但是对于那些专业的数据用户来说，还要创建文件、表单、乏味的演示和以各种方式存储的信息。这就提出了一个问题：你在什么地方存储你的数据?你准备在第三方供应商托管的服务中存储你的数据吗?

个人和非常小的公司把重要的文件都放在自己的计算机硬盘上。但是硬盘会发生故障，尽管硬盘看起来好像是能够永远运行。在过去的几年里，笔记本电脑的销售量超过了台式电脑的销售量。但你又很可能把笔记本电脑遗忘在出租汽车里。把数据存储在个人电脑中总是会出现这样或那样的问题。

本地文件服务器在第一台PC问世后不久就出现了。这种服务器存储容量越来越大，价格越来越便宜(许多TB级的硬件存储价格是1300至2000美元)Novell旗下的NetWare创建了本地文件服务器市场，但最后却丧失了市场领先地位，由微软取代了。本地文件存储设备以很低廉的价格做了很多的工作。但是，这个世界又发生了变化。

对于小企业来说，最大的变化是什么?他们不再让全部员工都在一个地方。只有大约25%的小企业在一个地方经营。即使是这种小企业，它的员工在客户的站点等公司外面的地方工作时仍需要访问公司文件。价格便宜的、在办公室里工作很好的本地文件存储设备不能在互联网上访问。

有许多公司为个人和企业提供在线文件存储。自称是“云计算文件服务器”的Egnyte公司为台式电脑和笔记本电脑提供M/Drive(移动硬盘)服务，甚至提供连接到iPhone手机的存储服务。Egnyte有适用于Windows、Mac和 Linux电脑的客户端软件。

考虑到FTP是最早的互联网协议之一，这个技术并不是新的。但是，这个技术变得更容易使用了。而且美国的宽带网服务更加可靠，足以依靠用于访问重要的商业文件。

Egnyte骄傲地宣称“我是一个文件服务器”，尽管许多公司以前曾进入过这个领域。Xdrive服务出现的时间早一些。但其拥有者，AOL(美国在线)公司表示，虽然这个网站现在仍在提供服务，但它将会关闭这个网站。

还有一些公司在自己的协作服务中包含文件存储服务。一个名为HyperOffice的服务包括所有的在线协作工具，如共享的和专有的联络人、日历、任务列表和文件存储等。它甚至包括文件版本控制功能，让大企业控制如审计记录、锁定的文件和多种版本的文件的。这个公司的HyperDrive功能能够把用户的Windows计算机连接到HyperOffice的公共的和专有的存储文件夹。

另一项名为iPrismGlobal的服务提供类似的功能。但是，它主要提供虚拟工作场所的外观和感受。协作是这两项服务以及这个领域许多其他服务的主要功能，而不是简单的文件存储功能。

从一台在线服务器传送文件用的时间不比从本地存储硬件传送文件的时间长，但是，大型的文件可能用到的时间会长一些。当然，你任何时候访问在互联网上的东西都要比在局域网上的性能差一些。但是，访问一个托管的服务与通过局域网连接到你的办公室服务器的速度一样快，而且你不必为硬件付费。

由于小企业主仍是技术领域对价格最敏感的买主，因此我们谈一下钱的问题。Egnyte为其服务定的价格是每个用户每个月15美元。这个价格似乎有点高。这个价格包括默认的20GB存储容量和三个以上用户的不限制容量的存储。与其他GB级存储主机相比，这项服务还是很好的。Egnyte说，它的价格是基于硬件的系统的八分之一。

然而，HyperOffice等协作服务以每月、每用户较少的钱(少量用户每月不到10美元)提供在线文件存储和许多协作功能。这项服务不依照价格提供无限制的存储空间。但是，创建办公室文件的用户一般不需要许多GB存储空间。而提供销售或者项目管理模块的其他服务收费要依此提高。

如果你有大量的音乐文件，你可以寻找MP3Tunes等专业的音乐存储服务。这种服务以“音乐存储柜”模式工作。因此，你能够把自己的音乐文件传送到任何连接的设备。所有这些都在一直可用的云计算中完成。

在线文件夹和文件存储有三大优势。第一，你不必为文件存储硬件投入任何前期的费用。而服务提供商一直在大力宣传这个事实。但实际情况是，你能够租赁服务器硬件和软件，把每个月的费用减少到可以管理的规模，而这两种方式都可以得到已知的预算总数。

第二，主机服务提供商会维护用户文件服务器的安全和更新问题。服务器可以租赁并且你可以计划你的预算。但是，你却不能计划安全更新、错误和硬件故障。而服务提供商会派专人负责管理存储，保持系统处于最新状态。

最后，在你的企业中的一台物理服务器上与远程员工、客户和合作伙伴共享文件是一件非常痛苦的事情。每一个在线服务，无论是Egnyte那样单纯的服务器服务还是HyperOffice式协作服务，都很容易控制谁看文件。这些控制功能能够让你仅与你指定的人共享文件，无论这些人是你的员工还是外部人员。你可以控制访问者的权限。而你也不必允许外部人员访问你的公司网络。

有些人到目前为止还不信任云计算，尽管有人信任Google等公司的服务胜过信任自己的IT经销商。如果你信任微软超过信任Google，你可以关注Windows Live SkyDrive。甚至是目前最大的本地文件服务器软件厂商，也在提供作为一种基于互联网的主机服务的服务器功能。（IT专家网）