当前位置:潘集新闻网 > 投资市场 >

自主研发,为云而生:QingStor分布式存储家族全速

发布时间:2020-11-21 15:00 来源: 作者:潘集新闻

过去十年,企业级存储市场正发生深刻变化,这种变化表现为两个方面:分布式存储正在经历快速的增长时期。IDC 2019年市场预测报告显示,无论是对象存储、文件存储还是块存储,在未来几年里都会保持两位数高速增长。

现如今,分布式存储在企业内部部署的占比越来越高,甚至超过了传统存储。这源于移动互联网、大数据、5G、AIoT等新兴技术应用场景对于存储提出新的需求。比如对高容量的需求,对更复杂场景(如云计算)的需求。分布式存储正因为场景的不同而产生巨大的增长。

第二个变化是全闪存储逐渐成为主流。IDC市场报告显示,全闪存储在企业中的使用率达到80%,而且几乎每年会保持50%的高速增长。这背后的原因在于SSD全闪介质的成本正在逐年快速下降。

QingStor存储产品线研发负责人王煜告诉记者,正是看到当前存储市场发生的巨大变化,过去的一年时间,QingStor围绕新兴业务场景不断打磨,形成了丰富的解决方案。近日,QingStor产品家族进行了全系产品更新,并推出了全闪一体机和容器存储一体机,为当下企业级存储市场提供了更为丰富的选择。

坚持完全自研 QingStor独特的竞争优势

QingStor是一款面向“高性能,多场景”的企业级分布式存储产品,由青云QingCloud (qingcloud.com)自主设计和研发。八年锻造,为云设计、为云而生,这款产品经历了公有云和私有云的大规模验证,到目前为止,QingStor的产品家族已经积累了数万家企业客户。

QingStor是集大成者,一套平台能够对接各类云计算和超融合架构,从VMware、OpenStack、到最新的K8s;一套软件能为Oracle等核心业务提供最强存储性能支撑,又能保障业务的连续可靠。

王煜说,QingStor坚持采用完全自研的方式,积累了大量在云计算环境下对于存储的需求和技术的实践。QingStor存储家族总共有四款产品:QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储、QingStor融合存储。“这些产品共同支撑市面上几乎全部主流的云计算产品,包括VMware虚拟化平台、OpenStack云平台、Kubernetes容器平台。”

目前国内的分布式存储厂商大多是基于开源分布式存储进行二次封装和开发。QingStor在架构设计上并没有参考当下开源的存储架构。王煜解释说,QingStor之所以选择自研,主要是基于两点:第一,企业核心业务上云对于存储的要求非常严格,特别是云计算复杂场景对于安全性、隔离性、大规模水平扩展能力的要求非常高,市面上主流的开源存储无法满足上述所有要求。

第二,在当下的经济背景以及世界格局下,国产化已经成为IT厂商和企业客户都绕不开的话题,所以QingStor在软件架构层面上,不仅仅是自主研发,更是自主设计。作为一家中国企业,青云QingCloud能够为中国客户提供全栈自主可控的优质产品,从而消除企业对数据安全的顾虑。QingStor存储家族的每一款存储产品都是独立进行架构设计和开发。

“此次QingStor升级发布最核心的是把存储全栈产品线进行国产化。除了软件架构的部分,底层的芯片和操作系统,也跟很多国产化厂商进行合作和互认证,包括鲲鹏、海光、飞腾、OpenPower等,还有操作系统,麒麟、统信等。我们希望通过国产化适配,能够让QingStor存储产品线实现全栈国产化,给客户很多国产化落地的选择,从而消除企业客户的顾虑和担忧。”王煜说。

通常开源存储或者基于开源存储的商业存储产品都采用了通用的、统一的存储底层,比如Ceph,向上封装各种不同的存储接口。但是企业的存储场景是复杂多样的,不存在一种架构设计能够完全满足所有存储场景。

所以,QingStor将存储场景大概分为热数据、冷数据、温数据以及混合场景,并提供了针对性的产品。比如QingStor NeonSAN是一款拥有极致性能的分布式SAN存储产品,能够稳定地支撑企业的核心业务,比如核心数据库Oracle RAC。

对象存储是分布式存储领域里一个新晋的派系,它解决非结构化数据存储的问题,如海量图片、音视频、日志、归档备份等。QingStor对象存储设计的核心是承载海量的数据。在整个架构设计时,采用了完全Share-Nothing的架构,没有任何单点,每一个组件都是可以无限水平扩展,并且性能不会下降。比如新发布的QingStor对象存储3.0版本在单bucket(存储桶)可以支撑100亿个对象的同时,性能也不会有所下降。

QingStor文件存储2.0版本为通用场景设计,QingStor文件存储的接口协议部分可以完整支持POSIX语义接口,从而帮助企业零成本无缝对接企业内部各种应用系统。

很多企业用户希望通过一次采购,获得多种存储类型和存储接口,承载各种业务。QingStor融合存储的推出就是为了满足客户的这类需求,而且QingStor融合存储跟Ceph有一个非常本质的区别,那就是将其他三款专业存储产品在部署层面进行了整合,它们之间存在技术架构集成关系,但是在架构层面上依然保持每一个专业存储本身的架构特点,底层存储池融合在QingStor NeonSAN块存储中,使用统一的管理界面进行管理。

王煜表示,新版本QingStor全新升级了管理平台Portal 3.0,核心改进有三点: 第一,加入对象存储的管理,实现存储后台的统一管理,可以用同一个管理后台管理所有存储产品;第二,在新版本的管理平台里,运用了很多创新的图形元素的方式,增强企业运维人员对存储的理解;第三,增加了硬盘健康状况预警功能,帮助运维人员在硬盘发生故障之前,提早预测系统内部可能发生的故障。

细数QingStor存储家族的更新亮点

前面说过QingStor存储家族包含了四款产品,在这次更新中,全系产品进行了功能迭代,亮点非常多。

QingStor NeonSAN 3.0版本里进行了场景能力提升和功能升级。QingStor存储产品线产品经理冯相东介绍说,从1.0版本到现在的3.0版本,QingStor NeonSAN 整个产品迭代都在围绕核心场景打造产品的能力,这次更新围绕以下四个主要核心场景:云平台/虚拟化场景、大数据场景、业务连续性场景以及容器/云原生的场景。

例如,QingStor NeonSAN除了可以与QingCloud云平台形成完美的对接、实现云平台层面的统一管理和性能的最大优化之外,还能很好地对接目前业界使用比较多的虚拟化平台、云计算平台,如VMware平台、OpenStack平台、Hyper-V平台;针对大数据场景,QingStor NeonSAN提供互斥卷组的策略,保证Hadoop、Spark的存储效率得到很大的提升;QingStor NeonSAN能够跟青云QingCloud云平台一起,统一管理云平台上的计算资源、网络资源、存储资源,提供一整套完整的业务连续性管理的解决方案,满足业务对不同RPO/RTO的要求,大大地简化业务连续性的管理,提高业务连续性的效率;QingStor NeonSAN增强持久化全闪存储的能力,可以为K8s、KubeSphere容器平台提供高性能、可靠性、企业级分布式存储的能力。

在功能升级方面,QingStor NeonSAN 3.0版本包含四大新增功能:异构存储池支持、卷粒度的QoS、协议层面的全RDMA互联、业界最主流的NVMeoF协议支持。除了以上新增的主要功能外,QingStor NeonSAN 3.0版本也进行了效率、运维、用户友好性等多项优化。

在场景能力提升和软件功能更新的同时,QingStor还推出了容器存储一体机KubeSphere KF3000和和分布式全闪存储一体机QingStor NF6000。

KubeSphere KF3000是青云QingCloud帮助企业级用户快速落地容器平台专门推出的一款产品,结合了KubeSphere以及QingStor NeonSAN两款产品本身的企业级能力,帮助企业打造成云原生基础设施,加速容器化环境的生产落地。

QingStor NF6000基于标准的x86服务器,3节点可以实现100万IOPS的性能指标,并且保证时延在0.5个毫秒以下。“这个指标完全是业界主流的中高端全闪阵列性能指标,青云QingCloud则基于标准的x86服务器、普通的硬件配置、以太网络,以高性价比的硬件形态提供给用户,这是QingStor NF6000分布式全闪存储一体机最大的价值。”冯相东说。

在对象存储方面,QingStor对象存储3.0带来了新能力:第一是服务更多数据场景,比如数据迁移、数据保护、数据备份、AI视频监控;第二是更强大、更具优势的存储性能,应对用户更复杂多样的需求场景。

QingStor对象存储产品经理贾斌表示,QingStor对象存储3.0带来四个新功能:对象版本控制、数据的追加写入、数据跨区域复制以及官方生态工具的重大重构升级,这四大功能分别对应四个有代表意义的业务场景,那就是数据迁移、数据保护、数据备份、AI与视频监控,从而满足用户更加复杂多样的业务需求。

QingStor对象存储3.0因其超高的性能,提供标准开放的应用接口。整体的高性价比,不仅仅是分布式存储对传统存储的成本优势,还有灵活部署、运维简单等隐性成本,得以很好地胜任客户需求。

QingStor对象存储场景化能力的提升并没有带有特别的行业属性,但是有了这些功能后,ISV能更容易地基于QingStor存储产品开发上层的应用。市面上有很多对象存储没有提供相应的功能接口,ISV需要自己调整和适配。QingStor对象存储场景化能力帮助存储上层的ISV厂商对接产品。

“应对日益多变的业务需求,QingStor对象存储在海量数据存储能力、整体超高性能、存储系统开放能力三个方面持续发力,实现了存储海量数据和数据存储的超高性能的兼得,丰富海量数据存储场景下的多维解决方案。”贾斌说。

在文件存储方面,要想实现在云计算基础架构下的通用文件存储,通常需要三个能力:通用的标准文件接口、多层次的扩展性,可以同时适配差异化的文件存储需求。QingStor文件存储的设计目标就是要在支持通用文件接口和通用的网络文件协议的前提下,提供一个可扩展高可用的分布式文件存储系统。

QingStor文件存储2.0实现了局部服务架构的优化,包括各个协议服务的I/O核心逻辑下沉或者卸载到统一的I/O服务中,由I/O服务负责Cache的管理和维护;增加智能的IO路由功能,实现更平滑的故障切换。此外,QingStor文件存储2.0采用了更先进、非常适合底层存储编码的编程语言——Rust,也带来了容量QUOTA限制、数据压缩/加密功能、更丰富的监控告警维度等。

“QingStor文件存储旨在打造一款在云计算基础架构下更加通用的文件存储产品,我们希望能通过这款产品帮助更多类型的应用更平滑上云,享受到更好的云计算基础设施带来的便利。”QingStor文件存储研发负责人黄蒙说。

结语

着眼于整个企业级存储市场的发展趋势,QingStor结合青云QingCloud在云计算领域的深厚积淀,通过自研实现技术创新和产品迭代,引领了存储市场的潮流。不管是分布式块存储,还是对象存储、文件存储、融合存储,QingStor始终站在客户的角度进行思考,帮助客户解决业务问题,这才是其生命力的源泉。