大数据时代来临 存储技术趋势预测与分析
信息计算现已进入以数据为中心的时代,存储行业是目前最热门的领域之一。面对不断出现的存储需求新挑战,我们该如何把握存储的未来发展方向呢?本人根据自己的经验和理解尝试预测和分析一下存储的未来技术趋势,与存储同行分享,不当之处还请大家批评指正。
1、存储虚拟化
存储虚拟化是目前以及未来的存储技术热点,它其实并不算是什么全新的概念,RAID、LVM、SWAP、VM、文件系统等这些都归属于其范畴。存储的虚拟化技术有很多优点,比如提高存储利用效率和性能,简化存储管理复杂性,绿色节省,降低运营成本等。现代数据应用在存储容量、I/O性能、可用性、可靠性、利用效率、管理、业务连续性等方面对存储系统不断提出更高的需求,基于存储虚拟化提供的解决方案可以帮助数据中心应对这些新的挑战,有效整合各种异构存储资源,消除信息孤岛,保持高效数据流动与共享,合理规划数据中心扩容,简化存储管理以及绿色节能等。目前最新的存储虚拟化技术有自动分级存储(HSM)、自动精减配置(Thinprovision)、云存储(Cloudstorage)、分布式文件系统(Distributedfilesystem),另外还有诸如动态内存分区、SAN和NAS虚拟化。虚拟化可以柔性地解决不断出现的新存储需求问题,因此我们可以断言存储虚拟化仍将是未来存储的发展趋势之一,当前的虚拟化技术会得到长足发展,未来新虚拟化技术将层出不穷。
2、固态硬盘
固态硬盘(SSD,solidstatedisk)是目前倍受存储界广泛关注的存储新技术,它被看作是一种革命性的存储技术,可能会给存储行业甚至计算机体系结构带来深刻变革。在计算机系统内部,L1cache、L2cache、总线、内存、外存、网络接口等存储层次之间,目前来看内存与外存之间的存储鸿沟最大,磁盘I/O通常成为系统性能瓶颈。SSD与传统磁盘不同,它是一种电子器件而非物理机械装置,它具有体积小、能耗小、搞干扰能力强、寻址时间极小(甚至可以忽略不计)、IOPS高、I/O性能高等特点。因此,SSD可以有效缩短内存与外存之间的存储鸿沟,计算机系统中原本为解决I/O性能瓶颈的诸多组件和技术的作用将变得越来越微不足道,甚至最终将被淘汰出局。试想,如果SSD性能达到内存甚至L1/L2cache,后者的存在还有什么意义,数据预读和缓存技术也将不再需要,计算机体系结构也将会随之发生重大变革。对于存储系统来说,SSD最大突破是大幅提高了IOPS,摩尔定理的效力再次显现,通过简单地用SSD替换传统磁盘,就可能可以达到和超越综合运用缓存、预读、高并发、数据局部性、磁盘调度策略等软件技术的效用。SSD目前对IOPS要求高的存储应用最为有效,主要是大量随机读写应用,这类应用包括互联网行业和CDN行业的海量小文件存储与访问(图片、网页)、数据分析与挖掘领域的OLTP等。SSD已经开始被广泛接受并应用,当前主要的限制因素包括价格、使用寿命、写性能抖动等。从最近两年的发展情况来看,这些问题都在不断地改善和解决,SSD的发展和广泛应用将势不可挡。
3、重复数据删除
重复数据删除(Deduplication)是一种目前主流且非常热门的存储技术,可对存储容量进行有效优化。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。Dedupe技术可以帮助众多应用降低数据存储量,节省网络带宽,提高存储效率、减小备份窗口,节省成本。Dedupe技术目前大量应用于数据备份与归档系统,因为对数据进行多次备份后,存在大量重复数据,非常适合这种技术。事实上,dedupe技术可以用于很多场合,包括在线数据、近线数据、离线数据存储系统,可以在文件系统、卷管理器、NAS、SAN中实施。Dedupe也可以用于数据容灾、数据传输与同步,作为一种数据压缩技术可用于数据打包。为什么dedupe技术目前主要应用于数据备份领域,而其他领域应用少呢?这主要由两方面的原因决定的,一是数据备份应用数据重复率高,非常适合dedupe技术。二是dedupe技术的缺陷,主要是数据安全、性能。dedupe使用hash指纹来识别相同数据,存在产生数据碰撞并破坏数据的可能性。dedupe需要进行数据块切分、数据块指纹计算和数据块检索,消耗可观的系统资源,对存储系统性能产生影响。信息呈现的指数级增长方式给存储容量带来巨大的压力,而dedupe是最为行之有效的解决方案,因此固然其有一定的不足,它大行其道的技术趋势无法改变。更低碰撞概率的hash函数、多核、GPU、SSD等,这些技术推动dedupe走向成熟,由作为一种产品而转向作为一种功能,逐渐应用到近线和在线存储系统。ZFS已经原生地支持dedupe技术,我们相信将会不断有更多的文件系统、存储系统支持这一功能。
4、云存储
云计算无疑是现在最热门的IT话题,不管是商业噱头还是IT技术趋势,它都已经融入了我们每个人工作与生活当中。云存储亦然。云存储即DaaS(存储即服务),专注于向用户提供以互联网为基础的在线存储服务。它的特点表现为弹性容量(理论上无限大)、按需付费、易于使用和管理。云存储主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAID、CDP、快照、备份与容灾)等技术领域。从专业机构的市场分析预测和实际的发展情况来看,云存储的发展如火如荼,移动互联网的迅猛发展也起到了推波助澜的作用。目前典型的云存储服务主要有AmazonS3,Googlestorage,MicrosoftSkyDrive,EMCAtmos/mozy,Dropbox,SugurSync,SyncPlicity,中国电信e云,中国移动139信箱,世纪互联有备,联想网盘,金山快盘、数据银行、新浪微盘、QQ硬盘、360云盘。私有云存储目前发展情况不错,但是公有云存储发展不顺,用户仍持怀疑和观望态度。目前影响云存储普及应用的主要因素有性能瓶颈、安全性、标准与互操作、访问与管理、存储容量和价格。云存储终将离我们越来越近,这个趋势是不无可置疑的,但是终究到底还有多远?这由这些问题的解决程度决定。云存储将从私有云逐渐走向公有云,满足部分用户的存储、共享、同步、访问、备份需求,但是试图解决所有的存储问题也是不现实的,我姑且推测一下,2012年底云存储发展将进入一个崭新的发展阶段。
5、SOHO存储
SOHO(Smalloffice,homeoffice)存储即家庭或个人存储。现代家庭中拥有多台PC、笔记本电脑、上网本、平板电脑、智能手机,这种情况业已非常普遍,这些设备将组成家庭网络。SOHO存储的数据主要来自个人文档、工作文档、软件与程序源码、电影与音乐、自拍视频与照片,部分数据需要在不同设备之间共享与同步,重要数据需要备份或者在不同设备之间复制多份,需要在多台设备之间协同搜索文件,需要多设备共享的存储空间等等。手机、数码相机和摄像机的普及和数字化技术的发展,以多媒体存储为主的SOHO存储需求突现。
- 上一篇:Gartner:64%的企业或将考虑大数据项目 2013/10/5
- 下一篇:天锐绿盾为企业内网搭建安全城墙 2012/5/23