极客油画

云块存储,云文件存储,都没有意义,所以云平台只需要提供虚拟机服务和s3服务就可以了,但是raid技术还是很有必要的。

常用名字的解释

  1. DAS: Direct Attached Storage,即直连附加存储,第一代存储系统,通过SCSI总线扩展至一个外部的存储,一般以磁带阵列的形式存在。
  2. NAS: Network Attached Storage,即网络附加存储,通过网络协议如NFS远程获取后端文件服务器共享的存储空间。

提供共享文件夹,客户端通过挂载目录的方式使用NAS提供的文件存储。

  1. SAN: Storage Area Network,即存储区域网络,分为IP-SAN和FC-SAN。IP-SAN使用标准的TCP/IP协议栈来封装SCSI命令,通过现有的以太网基础设施进行数据传输,即iSCSI(Internet Small Computer System Interface)协议。FC-SAN采用专门设计的光纤通道(Fibre Channel, FC)协议,它为存储通信提供了优化的数据路径,直接支持SCSI指令集。SAN没有使用局域网LAN技术,其使用的是高速专用存储网络。

SAN 提供块级别的数据访问,直接将磁盘空间呈现给服务器,如同直接连接的本地磁盘。
NAS 提供文件级别的访问,而 SAN 提供块级别的访问。
NAS 使用文件协议(如 NFS、SMB/CIFS),而 SAN 使用块协议(如 FC、iSCSI)
IP-SAN最适用的环境是通过IP网络环境的远程数据备份,在较轻网络负载和流量的情况下,IP-SAN网络的稳定性较好;在逼近极限的连续大I/O吞吐情况下,IP-SAN网络变得极不可靠。

  1. Object Storage: 即对象存储,随着大数据的发展,越来越多的图片、视频、音频静态文件存储需求,动则PG以上的存储空间,可无限扩展。

什么是块存储

块存储是i/o设备中的一类,将信息存储在固定大小的块中,每个块都有自己的地址,每次读取都读取一定长度的数据。

当给计算机连接块设备后,系统检测到有新的块设备后,该块设备的驱动程序就在/dev目录下创建个对应的块设备设备文件,用户就可以通过块设备文件使用该块设备了。

它们怎么有的叫sda?有的叫sdb?有的叫hda?

以sd开头的块设备文件对应的是scsi接口的硬盘,而以hd开头的块设备文件对应的是IDE接口的硬盘。

而sda和sdb的区别呢?当系统检测到多个scsi硬盘时,会根据检测到的顺序对硬盘设备进行字母顺序的命名。

怎么还有的叫 rbd1 和 rbd2 呢?

rbd 是“RADOS Block Device”的缩写,它是 Ceph 分布式存储系统的一部分。rbd 提供了一个块设备接口,可以让你像使用普通的硬盘那样使用 Ceph 存储集群中的存储空间。

可以这样理解,sda和hda但是通过数据线连接到了真实的硬盘,而rbd是通过网络连接到ceph集群中的一块存储区域。

块存储和文件存储的区别:

  • 块存储需要在/dev目录下创建对应的设备文件,并对其分区和文件系统格式化之后才能执行mount。文件存储直接mount就行。
    • 文件存储的挂载:mount -t nfs <NFS服务器地址>:/ /var/lib/kubelet/pods/<Pod的ID>/volumes/kubernetes.io~<Volume类型>/<Volume名字>
  • 数据组织方式不同:
    • 块存储将数据分成固定大小的"块"(如4KB、8KB),每个块独立存储并分配唯一标识(如LUN),不包含文件系统结构。
    • 文件存储以文件和目录的层级结构组织数据,通过文件系统管理,用户通过路径访问文件。
  • 访问方式不同:
    • 块存储通过低级协议(如iSCSI、Fibre Channel)直接访问存储块,由服务器上的文件系统管理数据
    • 文件存储通过标准网络协议(如NFS、SMB)共享文件,多个客户端可同时访问同一文件系统
  • 块存储往往IOPS更高,读写延迟更低。
  • 文件存储一定会通过网络,但是块存储就不一定了。
  • 块存储支持Direct I/O 操作,文件存储不支持Direct I/O 操作。

SCSI指令集 和 SAS接口

SCSI 是一种命令集或协议,它定义了计算机主机如何与外部设备(如硬盘、光驱等)通信的标准。

SAS(Serial Attached SCSI) 是专门为块设备设计的物理接口标准,基于 SCSI 的命令集来实现数据传输。

SAS接口 SATA接口 PCIe/NVMe接口

SAS(Serial Attached SCSI)接口主要用于数据中心、服务器和其他需要高可用性和稳定性的环境。

SATA(Serial ATA)主要面向消费级市场和个人电脑,强调成本效益和易于安装。

SAS具备2对收发通道,而SATA仅有1对收发通道,SAS的接口技术可以向下兼容SATA,但SATA不可以反向兼容SAS接口。

服务器中存储架构与SSD使用场景:

        +---------+                                                    +---------+
        |   CPU   |------------------------------------VROC----------->|  NVMe   |
        +---------+                                                    +---------+
             |PCIe
             v                                       Brandcom
        +---------+                                 +---------+
        | Chipset |---------------------------------|HBA/RAID |
        +---------+                                 +---------+
             |                                           |
             v                                           |
        +---------+                                      |
        |  SATA   |                                      |
        +---------+                                      |
             |                        +------------------+-------------------+
     +-------+-------+                v                  v                   v
+----v-----+   +-----v----+    +---------+          +---------+         +---------+
|Boot drive|   |Data drive|    |  SATA   |          |   SAS   |         |   NVMe  |
+----------+   +----------+    +---------+          +---------+         +---------+
                                    |                    |                   |
                            +-------+-------+            v                   v
                       +----v-----+   +-----v----+ +-----v----+        +-----v----+
                       |Boot drive|   |Data drive| |Data drive|        |Data drive|
                       +----------+   +----------+ +----------+        +----------+

从目前的市场发展来看,SATA接口衰减迅速,SAS市场份额平稳,而PCIe/NVMe SSD因其更高带宽的优势增长迅速将逐步取代SATA成为主流趋势。

公有云的云硬盘为何性能强劲呢?

公有云的虚拟机,无论是系统盘还是数据盘,其实都用的云硬盘。

公有云的云硬盘之所以性能强劲,是因为物理机和云硬盘之间的数据传输使用了特有的IO线路,该线路有一个专门的团队做性能优化。

云硬盘的性能等级:

  • 第一等级,基于传统HDD硬盘构建而成的:性能一般,但成本较低
  • 第二个等级,基于混合硬盘(HDD+SSD):综合发挥SSD的性能优势和HDD的容量优势
  • 第三个等级,纯SSD硬盘:使用的普通sata ssd,成本较高
  • 第四个等级,高性能SSD硬盘:使用的最新的PCIe ssd,成本极高
存储介质 iops 阿里云
HDD 数百 HDD
SSD/HDD 数百到数千 高效云盘
SDD 数千到数万 SSD
高性能SSD 数万到数十万 ESSD

本文发表于 0001-01-01,最后修改于 0001-01-01。

本站永久域名「 jiavvc.top 」,也可搜索「 极客油画 」找到我。


上一篇 « 下一篇 »

赞赏支持

请我吃鸡腿 =^_^=

i ysf

云闪付

i wechat

微信

推荐阅读

Big Image