分布式存储这个概念相信大家都不陌生了,分布式存储作为一种数据存储技术,通过网络使用每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散地存储在网络中的各个角落。随着新基建的落实,5G、边缘计算、云计算各项技术或者业务都纷纷发力,随之而来的海量数据的产生,那必然对数据存储就会有极大的要求。互联先锋小编今天就来说说,分布式与新基建之间的关系,对于分布式存储又是怎样的机遇和挑战。
数据存储将迎来挑战
①海量:海量数据的不断涌现,预计到2025年全球新创建的数据将达到175ZB。
②多元:数据从单一内部小数据形态向多元动态大数据发展,数据环境多样、复杂,大量文本、图片、视频等非结构化数据被产生和存储。
③实时:金融风险评估、交通自动驾驶、运营商智能网络等场景,都得依赖快速实时的数据采集、存储和分析得以实现,到2023年实时数据占全球数据圈24.5%的份额。
④上云:未来全球将有超过70%的企业选择多云部署模式,核心数据中心的数据存储容量占比将超过50%。
⑤空间:目前只有不到2%的企业数据被存储下来,其中只有10%被用于数据分析,这说明,我国数据存储利用能力存在很大缺口。
分布式存储和分布式系统的提升
分布式网络存储系统采用可扩展的系统结构,使用多个存储服务器共享存储负载,利用位置服务器定位存储信息,不仅提高了系统的可靠性,可用性和访问效率,而且易于扩展。可以说分布式存储的出现,使得服务器能够处理更多的数据。
①容量横向扩展:集群容量的扩展,通过增加存储节点实现,因为网络强大的扩展性,在理论上节点可以扩充到几千个,可以很好的满足海量存储容量需求。
②连接横向扩展:在传统存储应用中,网络接入带宽往往成为瓶颈,主要原因是存储对外接口数量扩展能力有限,而分布式存储则可以很好地解决这个问题,接口数量可以随节点数量的增加,实现接入带宽的行增长。
③性能线性提升:每个节点的性能(IOPS带宽)基本是确定的,整体性能随节点数量的增加线性提升,满足业务规模扩容后对性能的需求。
尽管分布式存储的优势大家也明白,但是目前为止,仍然存在许多一些瓶颈。
1、分布式存储从代码实现到协议层都有很大的优化空间,还会受到网络规模限制,存在I/O性能问题;
2、存储数据价值较高的用户需要承担更大的服务质量风险,付费意愿较弱,需要应用层解决方案。
3、考虑到系统运维成本、服务质量和宏观监管等问题,未来的分布式存储系统需要引入中心化组织形式来弥补运营成本。
可以说数字经济时代、新基建带来的大量存储需求,正在给分布式存储带来变革和挑战。
关注“互联先锋”获取更多IDC资讯。