为什么NVMe/TCP是数据中心的更优选择?

发布时间:2021-07-06  

自从NVMe作为高性能固态硬盘(SSD)的最新协议出现以来,已经改变了存储行业。

NVMe最初是为高性能直连式PCIe SSD设计的,后来以NVMe over Fabrics(NVMe-oF)的形式进行了扩展,以支持机架级(rack-scale)的远程SSD池。

业界普遍认为,这种新的NVMe-oF模式将取代iSCSI协议,作为计算服务器和存储服务器之间的通信标准,并成为解耦合存储(disaggregated storage)方案的默认协议。

自从NVMe作为高性能固态硬盘(SSD)的最新协议出现以来,已经改变了存储行业。

NVMe最初是为高性能直连式PCIe SSD设计的,后来以NVMe over Fabrics(NVMe-oF)的形式进行了扩展,以支持机架级(rack-scale)的远程SSD池。

业界普遍认为,这种新的NVMe-oF模式将取代iSCSI协议,作为计算服务器和存储服务器之间的通信标准,并成为解耦合存储(disaggregated storage)方案的默认协议。

广告

然而,NVMe-oF最初的部署选项仅限于光纤通道(Fibre Channel)和远程直接内存访问(Remote Direct Memory Access,RDMA)结构。

如果我们能够提供一种新的、更强大的技术,既能提供NVMe的速度和性能,又不需要高昂的部署成本和复杂性,将会如何?

NVMe over TCP(NVMe/TCP)就可以使用简单高效的TCP/IP结构将NVMe扩展到整个数据中心。

本文将描述NVMe/TCP如何成为面向现有数据中心的一种更优技术及其可提供的优势。这些优势包括:

  • 支持跨数据中心可用区域的解耦合
  • 利用无处不在的TCP传输和低延迟、高并行的NVMe协议栈
  • 无需在应用服务器端进行更改
  • 可提供类似直连式SSD(DAS)性能和延迟的高性能NVMe-oF解决方案
  • 针对NVMe优化的高效、精简的块存储网络软件栈
  • 可并行访问针对当今多核应用/客户服务器优化的存储
  • 标准的NVMe-oF控制路径操作

1. NVMe/TCP 概述

NVMe规范已经成为高性能SSD的最新协议。

与SCSI、ISCSI、SAS或SATA 接口不同,NVMe实现了针对多核服务器 CPU 优化的简化命令模式和多队列体系结构。NVMe-oF规范扩展了NVMe,实现了通过网络共享PCIe SSD,其最初是使用RDMA结构来实现的。如今,Lightbits Labs与Facebook、英特尔和其他行业领先企业合作来扩展NVMe-oF标准,以支持与RDMA结构互补的TCP/IP传输。

基于NVMe/TCP的解耦合存储方案具有简单、高效等明显优势。TCP具有普及性、可扩展性和可靠性,对于短暂连接和基于容器的应用而言是一种理想的选择。

此外,通过NVMe/TCP迁移到共享闪存(Flash)也不需要更改数据中心的网络基础设施。无需更改基础设施意味着可以轻松地跨数据中心进行部署,因为几乎所有数据中心网络都被设计为可支持TCP/IP。

基于NVMe/TCP协议的广泛行业合作意味着该协议从设计之初就具有广阔的生态系统,并且支持任何操作系统和网络接口卡(NIC)。NVMe/TCP Linux驱动程序原生匹配Linux内核,可以使用标准的Linux网络协议栈和NIC,无需任何修改。

这种很有前景的新协议为超大规模数据中心量身定制,可以在不改变底层网络基础设施的情况下轻松实现部署。

图1 NVMe/TCP可与Linux内核中的现有NVMe协议无缝集成

2. 现在的数据中心如何处理存储

2.1 直连存储构与NVMe

NVMe存储协议旨在从固态驱动器(SSD)中提取全部性能。

NVMe协议中所设计的并行能力有助于实现这种性能。NVMe并未使用单一队列的iSCSI模式。取而代之的是,NVMe在CPU子系统和存储之间可支持多达64000个队列。

SSD是使用多个并行通信信道与多个SSD存储位置相连接的并行设备,这意味着SSD可以在大规模的并行流中高效地接收数据。在NVMe/TCP协议出现之前,利用这种并行模式的最简单方法就是将NVMe SSD直接安装到应用服务器上。换句话说,你必须使用DAS模式来构建自己的存储基础设施。

使用DAS方法,应用可以受益于以下方面:

  • 多个CPU
  • 多个NVMe I/O队列
  • 并行SSD架构

对业界而言,挑战在于将SSD从可能具有多余容量的独立服务器转移到具有更高基础设施利用率且不会损失DAS性能收益的共享存储解决方案。因此,所有NVMe解耦合技术的目标都是在共享NVMe解决方案中实现DAS性能。

2.2 前一代基于 IP 的存储

以前,iSCSI标准是通过TCP/IP网络连接至块存储的唯一选择。它是在世纪之交开发的,当时大多数处理器都是单核器件。

在SCSI中,应用(Initiator)和存储(Target)之间只有一个连接。对于iSCSI,也是只有一个TCP套接字(socket)将客户端连接至块存储服务器。

现在,数据中心的处理器都是大规模并行多线程器件。当今处理器的这种复杂性要求对可用的存储协议进行彻底改革。其结果就是NVMe作为SATA和SAS(串行连接 SCSI)的替代者出现了。

所有那些早期协议的开发都是基于一个串行的旋转型磁盘驱动器。

非易失性存储器(NVM)是一种并行存储技术,它不需要一个或多个盘片在一个或一组磁头下面旋转。使用 NVM存储设备,可以并行访问许多存储单元,且具有较低的延迟。

毫无疑问,iSCSI仍然适用于具有低到中等存储性能要求的应用场景。然而,iSCSI却不能满足I/O密集型应用的要求,这类应用需要在大规模下实现低延迟。

2.3 其他替代方案和NVMe/TCP解耦合方案

RDMA、基于聚合以太网的RDMA(RoCE),以及基于光纤信道的NVMe(NVMe over FC),也是试图解决解耦合问题的其他网络存储协议。然而,这些替代方案要求在两端(应用服务器和存储服务器)都安装昂贵的特殊硬件,例如具备RDMA功能的NIC。此外,安装了RDMA硬件之后,在你具备RDMA功能的交换结构中配置和管理流控制也是很复杂的。

RDMA确实提供了适用于某些高性能计算环境的性能,但它要求更高的成本,并且需要进行非常复杂的部署。

TCP/IP已被证明可以在超大规模环境中可靠、高效地工作。NVMe/TCP继承了这种可靠性和效率,它可以作为RDMA的互补解决方案与之共存,也可以完全取代RDMA。

3. 数据中心中的闪存解耦合 NVMe/TCP解决方案

在DAS环境中,驱动器是在部署到服务器中之前购买的或与服务器一起购买的,随着时间的推移,它们的容量利用率增长得很缓慢。另外,为了避免存储用尽这种尴尬的局面出现,DAS常常会有意将容量配置为过剩的状态。

相比之下,将存储从计算服务器中分离出来的数据中心会更加高效。这样,存储容量就可以独立地进行扩展,并且可以根据需要分配给计算服务器。

随着每GB闪存成本的降低,解耦合存储方法更加经济高效,而且数据中心部署的前期成本也要低得多。通过动态分配存储资源,可以避免过度配置(over-provisioning)开销,从而大大降低总体成本。

NVMe/TCP解决方案释放了基于解耦合高性能固态硬盘(SSD)的云基础设施的潜力。它使数据中心能够从低效的直连式SSD模式转为一种共享模式,在该模式中,计算和存储可以独立扩展,以最大限度地提高资源利用率和运行灵活性。

这种新的共享模式采用了创新的 NVMe/TCP标准。Lightbits Labs发明了这一概念,并且正在引领这一新标准的发展。

NVMe/TCP不会影响应用的性能。实际上,它通常会改善应用的尾部延迟,从而提升用户体验,并使云服务提供商能够在相同的基础设施上支持更多用户。它也不需要对数据中心网络基础设施或应用软件进行任何更改。它还可以降低数据中心的总体拥有成本(TCO),并使维护和扩展超大规模数据中心变得更容易。Lightbits Labs正与其他市场领导者合作,以实现该标准在行业中的广泛采用。

NVMe/TCP利用标准的以太网网络拓扑,独立地扩展计算和存储,以实现最高的资源利用率,并降低TCO。

图2 从直连式存储(DAS)转为解耦合存储和计算

4. Lightbits Labs在数据中心部署NVMe/TCP

Lightbits Labs的解决方案提供了如下性能优势:

  • 与直连式存储(DAS)相比,尾部延迟减少多达50%
  • SSD容量利用率翻倍
  • 数据服务的性能提升2-4 倍
  • 可扩展至数万个节点
  • 可支持实现数百万IOPS的性能,平均延迟低于200 μs

Lightbits解决方案在不影响系统稳定性或安全性的情况下可实现如下改进:

  • 应用服务器及其存储的物理分离
  • 支持独立部署、扩展和升级
  • 支持存储基础设施比计算基础设施更快地扩展
  • 提高应用服务器和存储的效率
  • 通过对应用服务器和存储硬件进行独立的生命周期管理,可简化管理并降低TCO
  • 提供与内部NVMe SSD相当的高性能和低延迟
  • 可利用现有的网络基础设施,无需进行更改
  • 可在多跳(multi-hop)数据中心网络架构中实现解耦合

图3 NVMe/TCP可以跨数据中心将存储节点连接至应用服务器

5. Lightbits存储解决方案的工作原理

Lightbits Labs为云和数据中心基础设施提供了解耦合闪存平台。

当数万或数十万计算节点将直连式存储的多个孤岛锁定在每个物理节点中时,云级网络就会暴露出其所存在的极端复杂性。

Lightbits的解决方案释放了解耦合高性能 SSD解决方案的潜力。它使数据中心能够从低效的直连式SSD模式转为一种共享模式,在该模式中,计算和存储可以独立扩展,以最大限度地提高资源利用率和灵活性。

在 Lightbits Labs发明NVMe/TCP时,我们继续使用DAS设备所用的 NVMe模式,然后将其映射到行业标准的TCP/IP协议组中。NVMe/TCP是将多个并行的NVMe I/O队列映射到多个并行的TCP/IP连接上。这种NVMe和TCP之间的配对可以实现一种简单的、基于标准的、端到端的并行架构。

图4 针对并行云架构打造的NVMe/TCP

这种新的共享模式使用了创新的NVMe/TCP标准,该标准不会影响延迟,也不需要更改网络基础设施或应用服务器软件。Lightbits Labs正在与其他市场领导者合作,以推动这一新的 NVMe/TCP 标准的采用。

利用Lightbits Labs的解耦合存储解决方案,存储可以精简的方式配置给应用服务器。精简配置意味着管理员可以将任意大小的卷分配给客户端。而且,只有当应用服务器写数据时,才会消耗底层存储容量。因此,存储在最后一刻(即需要它的时候)才会被使用。这将延迟对更多存储资源的购买,从而进一步降低成本。Lightbits还为以线速运行的数据服务提供了一种硬件加速解决方案。

因此,当使用 Lightbits精简配置技术和面向数据服务的硬件加速方案时,存储成本可以降低到只有性能相当的DAS解决方案成本的一小部分。

5.1 适合闪存写算法

对于读和写操作而言,闪存介质的延迟都很低。但是,SSD上的闪存控制器必须持续执行“垃圾收集”操作,以便为即将到来的写操作提供可用空间。与硬盘驱动器的写操作可以覆盖现有数据不同,闪存驱动器只允许将数据写入以前未写入或已擦除的闪存块中。

垃圾收集操作会导致“写入放大”。顾名思义,SSD控制器执行垃圾收集时,应用服务器发出的单个写操作会被进行垃圾收集的SSD控制器在实际的闪存介质上放大为更多的写操作。写入放大会增加闪存驱动器的耗损,这将影响它的长期使用。

此外,后台的垃圾收集会导致即将到来的I/O的延迟增加,并且随着更多随机写操作被写入闪存驱动器,垃圾收集会显著增加。不幸的是,很大比例的I/O都是随机的。总的来说,这意味着用户无法获得最好的性能或闪存耐久性。

Lightbits Labs的解决方案通过一个智能的管理层来解决这一问题,该层以不同的服务质量(QoS)等级来管理SSD池。这种解决方案减少了SSD后台操作,并使I/O更快速、更高效。

LightOS架构将多种算法紧密结合在一起,以便优化性能和闪存利用率。这包括将数据保护算法与用于数据服务的硬件加速解决方案以及我们的高性能读写算法紧密结合在一起。最终,跨SSD池管理和平衡所有I/O,从而极大地提高闪存利用率。

这种设计提高了总体性能,减少了尾部延迟、写入放大和SSD上的耗损。这意味着LightOS可以为你的闪存存储提供最高的投资回报率(ROI)。

5.2 高性能数据保护方案

要想实现存储与应用服务器的分离,还需要智能、高效且不影响性能的数据保护功能。

Lightbits结合了高性能数据保护方案,其可与用于数据服务的硬件加速解决方案和读写算法一起工作。

就如何将数据写入SSD池而言,相比传统的RAID 算法,Lightbits的数据保护方法可以防止过多的写入, 以避免SSD遭受更多耗损。

6. 总结

Lightbits Labs实现了高效的闪存解耦合方案,在实施和运行方面具有以下优点:

不需要任何昂贵的专用网络硬件,Lightbits解决方案运行在标准的TCP/IP 网络上。

使用TCP/IP以机架规模在一个或多个局域网上运行,没有协议方面的限制。

提供与DAS相当的性能和延迟,包括尾部延迟比DAS尾部延迟低50%。

将高性能数据保护方案与其用于数据服务的硬件加速解决方案,以及可确保性能不受影响的读写算法结合在一起。

通过用于数据服务的硬件加速解决方案最大限度地提高闪存效率,该解决方案以全线速运行,且不影响性能。

实现了精简配置的存储卷,支持“按需付费”的消费模式。

Lightbits是NVMe/TCP的发明者,也是其广泛采用的推动者。

作为一种新理念的应用,Lightbits的NVMe/TCP解决方案可以实现高效的闪存解耦合,从而获得与 DAS相当甚至更好的性能。Lightbits创造了一种现代的IP存储架构实现方式,可以最大限度地发挥应用服务器、NVMe、TCP和SSD并行架构的潜力。

通过Lightbits Labs的解决方案,云原生应用可以实现云级性能,云数据中心可以降低其云级TCO。

责编:Luffy Liu

然而,NVMe-oF最初的部署选项仅限于光纤通道(Fibre Channel)和远程直接内存访问(Remote Direct Memory Access,RDMA)结构。

如果我们能够提供一种新的、更强大的技术,既能提供NVMe的速度和性能,又不需要高昂的部署成本和复杂性,将会如何?

NVMe over TCP(NVMe/TCP)就可以使用简单高效的TCP/IP结构将NVMe扩展到整个数据中心。

本文将描述NVMe/TCP如何成为面向现有数据中心的一种更优技术及其可提供的优势。这些优势包括:

  • 支持跨数据中心可用区域的解耦合
  • 利用无处不在的TCP传输和低延迟、高并行的NVMe协议栈
  • 无需在应用服务器端进行更改
  • 可提供类似直连式SSD(DAS)性能和延迟的高性能NVMe-oF解决方案
  • 针对NVMe优化的高效、精简的块存储网络软件栈
  • 可并行访问针对当今多核应用/客户服务器优化的存储
  • 标准的NVMe-oF控制路径操作

1. NVMe/TCP 概述

NVMe规范已经成为高性能SSD的最新协议。

与SCSI、ISCSI、SAS或SATA 接口不同,NVMe实现了针对多核服务器 CPU 优化的简化命令模式和多队列体系结构。NVMe-oF规范扩展了NVMe,实现了通过网络共享PCIe SSD,其最初是使用RDMA结构来实现的。如今,Lightbits Labs与Facebook、英特尔和其他行业领先企业合作来扩展NVMe-oF标准,以支持与RDMA结构互补的TCP/IP传输。

基于NVMe/TCP的解耦合存储方案具有简单、高效等明显优势。TCP具有普及性、可扩展性和可靠性,对于短暂连接和基于容器的应用而言是一种理想的选择。

此外,通过NVMe/TCP迁移到共享闪存(Flash)也不需要更改数据中心的网络基础设施。无需更改基础设施意味着可以轻松地跨数据中心进行部署,因为几乎所有数据中心网络都被设计为可支持TCP/IP。

基于NVMe/TCP协议的广泛行业合作意味着该协议从设计之初就具有广阔的生态系统,并且支持任何操作系统和网络接口卡(NIC)。NVMe/TCP Linux驱动程序原生匹配Linux内核,可以使用标准的Linux网络协议栈和NIC,无需任何修改。

这种很有前景的新协议为超大规模数据中心量身定制,可以在不改变底层网络基础设施的情况下轻松实现部署。

图1 NVMe/TCP可与Linux内核中的现有NVMe协议无缝集成

2. 现在的数据中心如何处理存储

2.1 直连存储构与NVMe

NVMe存储协议旨在从固态驱动器(SSD)中提取全部性能。

NVMe协议中所设计的并行能力有助于实现这种性能。NVMe并未使用单一队列的iSCSI模式。取而代之的是,NVMe在CPU子系统和存储之间可支持多达64000个队列。

SSD是使用多个并行通信信道与多个SSD存储位置相连接的并行设备,这意味着SSD可以在大规模的并行流中高效地接收数据。在NVMe/TCP协议出现之前,利用这种并行模式的最简单方法就是将NVMe SSD直接安装到应用服务器上。换句话说,你必须使用DAS模式来构建自己的存储基础设施。

使用DAS方法,应用可以受益于以下方面:

  • 多个CPU
  • 多个NVMe I/O队列
  • 并行SSD架构

对业界而言,挑战在于将SSD从可能具有多余容量的独立服务器转移到具有更高基础设施利用率且不会损失DAS性能收益的共享存储解决方案。因此,所有NVMe解耦合技术的目标都是在共享NVMe解决方案中实现DAS性能。

2.2 前一代基于 IP 的存储

以前,iSCSI标准是通过TCP/IP网络连接至块存储的唯一选择。它是在世纪之交开发的,当时大多数处理器都是单核器件。

在SCSI中,应用(Initiator)和存储(Target)之间只有一个连接。对于iSCSI,也是只有一个TCP套接字(socket)将客户端连接至块存储服务器。

现在,数据中心的处理器都是大规模并行多线程器件。当今处理器的这种复杂性要求对可用的存储协议进行彻底改革。其结果就是NVMe作为SATA和SAS(串行连接 SCSI)的替代者出现了。

所有那些早期协议的开发都是基于一个串行的旋转型磁盘驱动器。

非易失性存储器(NVM)是一种并行存储技术,它不需要一个或多个盘片在一个或一组磁头下面旋转。使用 NVM存储设备,可以并行访问许多存储单元,且具有较低的延迟。

毫无疑问,iSCSI仍然适用于具有低到中等存储性能要求的应用场景。然而,iSCSI却不能满足I/O密集型应用的要求,这类应用需要在大规模下实现低延迟。

2.3 其他替代方案和NVMe/TCP解耦合方案

RDMA、基于聚合以太网的RDMA(RoCE),以及基于光纤信道的NVMe(NVMe over FC),也是试图解决解耦合问题的其他网络存储协议。然而,这些替代方案要求在两端(应用服务器和存储服务器)都安装昂贵的特殊硬件,例如具备RDMA功能的NIC。此外,安装了RDMA硬件之后,在你具备RDMA功能的交换结构中配置和管理流控制也是很复杂的。

RDMA确实提供了适用于某些高性能计算环境的性能,但它要求更高的成本,并且需要进行非常复杂的部署。

TCP/IP已被证明可以在超大规模环境中可靠、高效地工作。NVMe/TCP继承了这种可靠性和效率,它可以作为RDMA的互补解决方案与之共存,也可以完全取代RDMA。

3. 数据中心中的闪存解耦合 NVMe/TCP解决方案

在DAS环境中,驱动器是在部署到服务器中之前购买的或与服务器一起购买的,随着时间的推移,它们的容量利用率增长得很缓慢。另外,为了避免存储用尽这种尴尬的局面出现,DAS常常会有意将容量配置为过剩的状态。

相比之下,将存储从计算服务器中分离出来的数据中心会更加高效。这样,存储容量就可以独立地进行扩展,并且可以根据需要分配给计算服务器。

随着每GB闪存成本的降低,解耦合存储方法更加经济高效,而且数据中心部署的前期成本也要低得多。通过动态分配存储资源,可以避免过度配置(over-provisioning)开销,从而大大降低总体成本。

NVMe/TCP解决方案释放了基于解耦合高性能固态硬盘(SSD)的云基础设施的潜力。它使数据中心能够从低效的直连式SSD模式转为一种共享模式,在该模式中,计算和存储可以独立扩展,以最大限度地提高资源利用率和运行灵活性。

这种新的共享模式采用了创新的 NVMe/TCP标准。Lightbits Labs发明了这一概念,并且正在引领这一新标准的发展。

NVMe/TCP不会影响应用的性能。实际上,它通常会改善应用的尾部延迟,从而提升用户体验,并使云服务提供商能够在相同的基础设施上支持更多用户。它也不需要对数据中心网络基础设施或应用软件进行任何更改。它还可以降低数据中心的总体拥有成本(TCO),并使维护和扩展超大规模数据中心变得更容易。Lightbits Labs正与其他市场领导者合作,以实现该标准在行业中的广泛采用。

NVMe/TCP利用标准的以太网网络拓扑,独立地扩展计算和存储,以实现最高的资源利用率,并降低TCO。

图2 从直连式存储(DAS)转为解耦合存储和计算

4. Lightbits Labs在数据中心部署NVMe/TCP

Lightbits Labs的解决方案提供了如下性能优势:

  • 与直连式存储(DAS)相比,尾部延迟减少多达50%
  • SSD容量利用率翻倍
  • 数据服务的性能提升2-4 倍
  • 可扩展至数万个节点
  • 可支持实现数百万IOPS的性能,平均延迟低于200 μs

Lightbits解决方案在不影响系统稳定性或安全性的情况下可实现如下改进:

  • 应用服务器及其存储的物理分离
  • 支持独立部署、扩展和升级
  • 支持存储基础设施比计算基础设施更快地扩展
  • 提高应用服务器和存储的效率
  • 通过对应用服务器和存储硬件进行独立的生命周期管理,可简化管理并降低TCO
  • 提供与内部NVMe SSD相当的高性能和低延迟
  • 可利用现有的网络基础设施,无需进行更改
  • 可在多跳(multi-hop)数据中心网络架构中实现解耦合

图3 NVMe/TCP可以跨数据中心将存储节点连接至应用服务器

5. Lightbits存储解决方案的工作原理

Lightbits Labs为云和数据中心基础设施提供了解耦合闪存平台。

当数万或数十万计算节点将直连式存储的多个孤岛锁定在每个物理节点中时,云级网络就会暴露出其所存在的极端复杂性。

Lightbits的解决方案释放了解耦合高性能 SSD解决方案的潜力。它使数据中心能够从低效的直连式SSD模式转为一种共享模式,在该模式中,计算和存储可以独立扩展,以最大限度地提高资源利用率和灵活性。

在 Lightbits Labs发明NVMe/TCP时,我们继续使用DAS设备所用的 NVMe模式,然后将其映射到行业标准的TCP/IP协议组中。NVMe/TCP是将多个并行的NVMe I/O队列映射到多个并行的TCP/IP连接上。这种NVMe和TCP之间的配对可以实现一种简单的、基于标准的、端到端的并行架构。

图4 针对并行云架构打造的NVMe/TCP

这种新的共享模式使用了创新的NVMe/TCP标准,该标准不会影响延迟,也不需要更改网络基础设施或应用服务器软件。Lightbits Labs正在与其他市场领导者合作,以推动这一新的 NVMe/TCP 标准的采用。

利用Lightbits Labs的解耦合存储解决方案,存储可以精简的方式配置给应用服务器。精简配置意味着管理员可以将任意大小的卷分配给客户端。而且,只有当应用服务器写数据时,才会消耗底层存储容量。因此,存储在最后一刻(即需要它的时候)才会被使用。这将延迟对更多存储资源的购买,从而进一步降低成本。Lightbits还为以线速运行的数据服务提供了一种硬件加速解决方案。

因此,当使用 Lightbits精简配置技术和面向数据服务的硬件加速方案时,存储成本可以降低到只有性能相当的DAS解决方案成本的一小部分。

5.1 适合闪存写算法

对于读和写操作而言,闪存介质的延迟都很低。但是,SSD上的闪存控制器必须持续执行“垃圾收集”操作,以便为即将到来的写操作提供可用空间。与硬盘驱动器的写操作可以覆盖现有数据不同,闪存驱动器只允许将数据写入以前未写入或已擦除的闪存块中。

垃圾收集操作会导致“写入放大”。顾名思义,SSD控制器执行垃圾收集时,应用服务器发出的单个写操作会被进行垃圾收集的SSD控制器在实际的闪存介质上放大为更多的写操作。写入放大会增加闪存驱动器的耗损,这将影响它的长期使用。

此外,后台的垃圾收集会导致即将到来的I/O的延迟增加,并且随着更多随机写操作被写入闪存驱动器,垃圾收集会显著增加。不幸的是,很大比例的I/O都是随机的。总的来说,这意味着用户无法获得最好的性能或闪存耐久性。

Lightbits Labs的解决方案通过一个智能的管理层来解决这一问题,该层以不同的服务质量(QoS)等级来管理SSD池。这种解决方案减少了SSD后台操作,并使I/O更快速、更高效。

LightOS架构将多种算法紧密结合在一起,以便优化性能和闪存利用率。这包括将数据保护算法与用于数据服务的硬件加速解决方案以及我们的高性能读写算法紧密结合在一起。最终,跨SSD池管理和平衡所有I/O,从而极大地提高闪存利用率。

这种设计提高了总体性能,减少了尾部延迟、写入放大和SSD上的耗损。这意味着LightOS可以为你的闪存存储提供最高的投资回报率(ROI)。

5.2 高性能数据保护方案

要想实现存储与应用服务器的分离,还需要智能、高效且不影响性能的数据保护功能。

Lightbits结合了高性能数据保护方案,其可与用于数据服务的硬件加速解决方案和读写算法一起工作。

就如何将数据写入SSD池而言,相比传统的RAID 算法,Lightbits的数据保护方法可以防止过多的写入, 以避免SSD遭受更多耗损。

6. 总结

Lightbits Labs实现了高效的闪存解耦合方案,在实施和运行方面具有以下优点:

不需要任何昂贵的专用网络硬件,Lightbits解决方案运行在标准的TCP/IP 网络上。

使用TCP/IP以机架规模在一个或多个局域网上运行,没有协议方面的限制。

提供与DAS相当的性能和延迟,包括尾部延迟比DAS尾部延迟低50%。

将高性能数据保护方案与其用于数据服务的硬件加速解决方案,以及可确保性能不受影响的读写算法结合在一起。

通过用于数据服务的硬件加速解决方案最大限度地提高闪存效率,该解决方案以全线速运行,且不影响性能。

实现了精简配置的存储卷,支持“按需付费”的消费模式。

Lightbits是NVMe/TCP的发明者,也是其广泛采用的推动者。

作为一种新理念的应用,Lightbits的NVMe/TCP解决方案可以实现高效的闪存解耦合,从而获得与 DAS相当甚至更好的性能。Lightbits创造了一种现代的IP存储架构实现方式,可以最大限度地发挥应用服务器、NVMe、TCP和SSD并行架构的潜力。

通过Lightbits Labs的解决方案,云原生应用可以实现云级性能,云数据中心可以降低其云级TCO。

责编:Luffy Liu

文章来源于:电子工程专辑    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    共享,舆论引导,运营闭环等问题,而政府也应该引导相关平台的建设,使智慧医疗健康发展。 伴随着医疗改革的进一步深入,国家对医疗卫生行业的投入持续增加。目前,医疗大数据发展纳入国家大数据......
    程建设前找到更耐腐蚀材料,一直是材料领域的核心课题。传统的材料腐蚀研究,采用实验的方法,通过不断试错来找到材料-环境-腐蚀的内在规律,费时、费力。用北京材料基因工程高精尖创新中心腐蚀大数据团队、国家材料腐蚀与防护科学数据中心......
    质量监控机制等逐步建立,的收益方式、与医疗保险连通等开始有效的尝试,以及诸如分级诊疗、医生多点执业、取消医院事业编制、医疗服务价格改革等政策也将促进智慧医疗产业快速扩大。 新冠疫情爆发及持续,5G、、大数据中心......
    智能制造体系,引领工业互联网创新发展。其中,新型工业基础设施由五个层面组成,新型智能设备和传感器解决数据来源的问题,内外网络解决网络连接问题,标识体系解决人、机、物连接问题,工业互联网平台和大数据中心......
    智能制造体系,引领工业互联网创新发展。其中,新型工业基础设施由五个层面组成,新型智能设备和传感器解决数据来源的问题,内外网络解决网络连接问题,标识体系解决人、机、物连接问题,工业互联网平台和大数据中心......
    国家工业互联网大数据中心:浪潮分布式存储为基座让制造业更智能;随着AI、大数据、物联网、云计算等新技术的发展和广泛应用,全球掀起了新一轮科技革命。各国为了推动经济发展,纷纷......
    高质量发展的关键,加快完善数字基础设施,扎实开展数据大会战,高标准建成城市大脑。达州市成功纳入国家“东数西算”工程成渝枢纽节点城市,是全省重点支持建设的数字经济发展创新试验区。川东大数据中心的正式建成投用,必将......
    不断打造大数据国家重点实验室和大数据中心; 贵州大学省部共建公共国家重点实验室特聘教授岗位 王崎:我希望在里面扮演一个类似于植物生产过程中的医生,利用人工智能和大数据,为植物进行诊断,让作......
    宁夏中卫:积极引进储能等数据中心配套设备制造企业;7月3日,中卫市人民政府办公室印发《中卫市支持建设大数据产业中心市的若干政策(试行)》。 《政策》指出,积极引进国内芯片、服务器、存储......
    医疗是实现医疗行业战略性转变的重要手段。 建立健全基层医疗卫生机构的一体化信息系统,结合医疗卫生实际需求,建立医共体数据中心,实现大数据的整合、存储、管理以及共享。为了提升基层医疗卫生机构的服务能力,势必......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>