谁在布局ZNS?未来数据中心硬盘的全球新标准协议

扣丁书屋

△ 图源:微博达人@午后狂睡

△ 图源:B站达人@格物时间

不过在这热议的背后,一个关键的问题便随之浮现:在百度网盘占据超过2/3市场的情况下,如果在网盘市场继续价格战,真的还有意义吗?

量子位虽然未能获得各家详细成本资料,但通过另一种方式,独家采访到全球存储技术大佬,了解到数据中心存储技术的前沿储备。

这也许才是未来个人云存储的科技胜负手吧。

“存储领域的5G标准”

去年5月,就有海龟存储专家告诉量子位,未来数据中心硬盘的全球新标准协议已经通过。

总结一句话来说就是——

数据中心硬盘和存储系统沟通的协议,正在发生像移动通信从4G到5G的那种变化。

具体来说,这种NVMe2.0指令集中,关于固态闪存盘(SSD)和叠瓦磁盘(SMR)都可用的新标准ZNS(Zoned Namespace)

当时的一份指令集版本里,可以看到ZNS协议的核心作者(Technical Proposal Author)们经过了四年多时间,才最终与会员达成了最终标准设定。

这时很多友友们又会问了,所以呢?

别急,接下来我们就来讲讲,这个ZNS标准和存储性能的关系。

对NVMe这个词,凡是买过SSD(固态硬盘)的人一定不会陌生。

NVMe代表“非易失性存储器规范”,最大的特点就是不必实时供电、数据传输快。

2011年首次问世以来,NVMe迅速占领市场,成为高端SSD的代名词。

从手机(苹果手机内存使用NVMe规范)、家用硬盘到企业云存储都有广泛应用。

而ZNS指令集标准正是新一代NVMe2.0中针对进一步改善SSD性能和寿命的一种新尝试。

SSD的速度和使用寿命,都受到一种“写放大效应”的影响。

在操作系统的视角看来,SSD内部会分成一个个块(Block),块里面再分成页(Page)。

基于SSD的硬件特点,写入时可以按页为单位,删除时却只能整块删除。

如果一个块里有需要保留的数据,也有需要删除的数据怎么办?

传统做法,是先把需要保留的数据挪到另一个块里,再对原来的块整体删除。

对于一次写入操作,比如写入1个G数据,实际执行的写入量还要再乘上一个写放大系数(WAF)。

可以看出,写放大系数越大,对写入速度的影响也就越大。

并且,SSD的闪存单元有固定的寿命,现在主流的三层单元(TLC)大概在1000次擦写循环,成本更低但结构更复杂的四层单元(QLC)只有300-500次。

对于QLC单元的SSD来说,写放大效应更为致命。

除了影响速度和使用寿命,写放大效应也是导致SSD需要一定预留空间的“罪魁祸首”。

如果整块盘存满,就没有空间可以去挪动要保留的数据了,所以一块SSD里至少有7%左右空间是不能用的,多的时候这种预留空间(over-provisioning)甚至会达到28%。

7%对于家用硬盘一块两块来说倒也不是不可以接受,但如果存储引擎在软件层不给力,20%以上可就太浪费了,尤其对于大规模使用的云存储行业来说,还是挺肉疼的。

为解决以上问题,需要一个全新的存储技术标准,就好像通讯技术里的5G标准一样。

ZNS指令集标准应运而生。

其发起者,是NVMe协会的Matias Bj?rling,一位从20多岁起就死磕存储技术的工程师老哥。

为了能把这项技术讲明白,我们发邮件向他询问了ZNS标准制定过程中的一些细节。

他认为整个想法的来源很简单,就是ZNS把SSD的管理层一分为二。

其中管理硬件的事留在硬件内部,把数据应该存放到哪这种工作剥离出去,交给软件和操作系统来做。

最终实现方法是把SSD内部空间划分成不同区域(Zone),不同应用的数据存储至特定分区。

对于长期存放的数据,尽量完整的集中放在一些块里,便可以减少临时挪动。

虽然是很小的改动,收益却很大。

理想情况下,使用ZNS标准的SSD可以把写放大系数做到接近于1,写入速度提高的同时大大延长了使用寿命,也解放了不少预留空间。

Matias告诉量子位,这种做法的好处显而易见,不过也需要付出一定代价。

从软件、数据库方案到操作系统,都需要针对性的做出适配,才能最大程度发挥ZNS的价值。

于是,整个标准的制定,就需要硬盘生产方、云计算系统开发方、应用方共同参与才能完成。

谁在布局ZNS?

若是搜索一下与ZNS相关的消息,其实不难发现,全球已经有许多硬盘制造商布局于此。

例如西部数据早在2020年10月便推出了全球首个ZNS SSD——Ultrastar DC ZN540。

据悉,与传统SSD相比,西部数据的这款ZNS SSD吞吐量提高4倍,QoS改善2.5倍。

仅时隔半年,另一个“硬盘大玩家”三星,紧随其后推出了基于ZNS企业服务器的SSD——PM731a系列。

据三星方面表示,这款ZNS SSD在容量方面提供2TB和4TB两种规格,最大的亮点,便是能够“延长4倍的数据寿命”。

但除了上述这两家厂商之外,若是查看NVMe的规范文档,我们可以发现全球有许多大玩家也在追随着ZNS SSD的脚步,并为推动它的发展发挥着各自的作用:

NAND制造商:出了刚才提到的三星,还包括Intel、Micron、SK Hynix、Kioxia。

控制器厂商:Microchip。

超标量云计算提供商:微软、阿里巴巴。

还有一些知名公司包括Seagate、Oracle和NetApp等。

从受到全球产业链巨头们的热捧这一层面来看,也可以一定程度上反映出ZNS SSD发展的正确性。

而在众多贡献者之中,云计算厂商的位置非常关键,就像前面所说,ZNS硬盘要真的发挥高性能,需要在存储系统层面进行联动。

目前主流云计算厂商的分布式存储系统,也确实是不同介质、不同协议的存储硬件,都要进行接入适配的自主架构。

如果能深入到硬件层面去影响全球标准,这无疑是所有软件系统商核心能力的呈现。

为此,我们特意向Matias做了求证——云计算厂商为NVMe社区和ZNS相关工作做了哪些贡献?

他在邮件中的回复如下:

在ZNS前一代探索性的协议OpenChannel中,云厂商是首个大规模的数据中心集成应用实践者,推动了整个Open-Channel标准最终可用,这些实践支撑了ZNS标准的确立。

他们的工作对整体软件和部署复杂性有重大影响,他们降低了软件开销,提出了同时保证存储介质可靠、损耗均衡的关键意见,现在在采用ZNS时,可以显著简化一系列复杂性,能让ZNS更容易被使用。

……

不过就目前来看,虽说ZNS SSD是一种大势所趋不假,但其主要应用的场景还是聚焦在可以高度订制、更新换代较快的数据中心硬盘。正如Matias告诉量子位:

“如果希望将(ZNS)这种新的存储标准接口(Interface)在业界推广,人们一定会问,为什么要暴露这么多接口,或者会说,我们不愿意这样改变。这个过程经过了非常多的争论,随着获得的反馈越来越多,标准也逐渐成熟。当云计算厂商开始部署这项技术,它就将会有非常高速的发展。”

目前业内的研究显示,无论是高性能块存储EBS,还是通过SMR磁盘支持的如对象存储OSS(网盘的主要存储类型),都有可能在未来受益于ZNS协议体系。

Matias甚至认为,由于ZNS本身也能很好支持SMR HDD硬盘,所以此前的存储开源软件体系也几乎可以很快复用,无论是标准的文件系统(f2fs,btrfs),或者是开源数据库软件(RocksDB, Percona MySQL等),都已经发布了支持ZNS版本。

Matias还告诉我们:“ZNS目前还加速获得手机厂商的兴趣,新的闪存盘可能会让平板和智能手机的电池续航更久、单元存储的价格更低。”

或许在不久的将来,ZNS就会应用到个人存储的方方面面。

参考链接:

[1]https://nvmexpress.org/everything-you-need-to-know-about-the-nvme-2-0-specifications-and-new-technical-proposals/

[2]http://118.31.189.123/2021/05/06/the-next-step-in-ssd-nvme-zns/

[3]https://hardware.slashdot.org/story/20/11/11/2155246/western-digitals-ultrastar-dc-zn540-is-the-worlds-first-zns-ssd?utm_source=rss1.0mainlinkanon&utm_medium=feed

[4]https://news.samsung.com/global/samsung-introduces-its-first-zns-ssd-with-maximized-user-capacity-and-enhanced-lifespan?utm_source=nr_twitter&utm_medium=social

[责任编辑:]