数据库IO性能知识整理-创新互联

今年年初为了做一体机的性能测试以及CRM3.0的存储性能测试,走马观花的对存储相关的知识做了一些了解,并且结合Swingbench和fio,对数据库和存储性能做了一些测试工作。       

站在用户的角度思考问题,与客户深入沟通,找到巫溪网站设计与巫溪网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、做网站、企业官网、英文网站、手机端网站、网站推广、主机域名虚拟主机、企业邮箱。业务覆盖巫溪地区。

整个IO栈是一个比较复杂的流程,包含软件和硬性相关的内容,

数据库IO性能知识整理

图片原始地址:http://www.ilinuxkernel.com/files/Linux.IO.stack_v1.0.pdf

    受限自身的知识体系,只对基本的技术环境做了大概的了解,

数据库IO性能知识整理

很可惜,找不到这张图的原始出处,从google查询到的,可以帮助我们了解从数据库发起IO请求操作,到最终完成数据操作流经了那些设备。

数据库相关知识内容内容整理成了《X86平台RAC安装最佳实践》,在ORACLE用户组的活动中做过分享。

为了便于理解设备延迟,以Intel Xeon E5 CPU为基准,整理了一份不同设备的请求延迟数据。

系统设备

真实延迟

缩放延迟

一个 CPU指令

0.4 ns

1 s

CPU Level 1缓存

0.9 ns

2 s

CPU Level 2缓存

2.8 ns

7 s

CPU Level 3缓存

28 ns (10 X L2)

1 min

DDR内存

100 ns

4 min

Intel傲腾

<10us

7 hrs

8GB HBA卡

50 us

1.5days

NVMe固态硬盘

~25us

17 hrs

固态硬盘

50–150 μs

1.5–4 days

机械硬盘

1–10 ms

1–9 months

从硬件发展的趋势来看,传统的存储性能瓶颈在NVMe设备普及的情况下,越来越淡化,同时硬件性能的提升,也促进了分布式存储和开源数据库的快速发展。

客观的讲,目前大部分的一体机,在技术层面没有多少创新,只是使用了全新的硬件架构,使得数据库性能达到了极大的提升。更多的是看对一体机本身的管理、监控以及相关扩展功能的一些提供,比如备份以及CDP/CDM等辅助功能。

Linux设备发现,多路径管理,fio测试相关的知识,在《数据库系统IO性能测试方法》中进行了整理。

主机HBA卡信息
[root@dzqddb1 disk]# lspci | grep -i hba
c1:00.0 Fibre Channel: QLogic Corp. ISP2532-based 8Gb Fibre Channel to PCI Express HBA (rev 02)

服务器HBA端口编号
[root@dzqddb1 ~]# cd /sys/class/fc_host
host3 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/fc_host/host3

存储前端端口编号
[root@dzqddb1 ~]# cd /sys/class/fc_remote_ports
rport-3:0-0 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-0/fc_remote_ports/rport-3:0-0

磁盘设备映射路径
[root@dzqddb1 ~]# udevadm info --query=all --name=/dev/sdak
P: /devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-1/target3:0:1/3:0:1:12/block/sdak

包括一些磁盘参数的比对情况:


机械硬盘(HDD)

固态硬盘(SSD)

NVMe SSD

产品

希捷 ST4000DM006

INTEL SSD 545S

Intel SSD DC P4600

接口类型

SATA 6Gb/s

6 Gb/s SATA接口

PCIe NVMe 3.1 x4

容量

4TB

1.00 TB

4.00 TB

顺序读

220MB/s

550 MB/s

3200 MB/s

随机读

76

85000 

617500

顺序写


500 MB/s

1900 MB/s

随机写


75000

225000

读延迟

9 ms

50 µs

82 µs

写延迟

9 ms

50 µs

30 µs

价格

700¥

1500¥

19000¥

推荐一下阿里云的一套视频,《深入解析数据存储技术原理及发展演进》,非常精彩。https://yq.aliyun.com/promotion/689,不过视频在线直播数据有点慢,想看下载视频的,可以用百度网盘下载离线版本:

链接:https://pan.baidu.com/s/1FEq6mtD4x8e2UDqeqIs8Bg 

提取码:kyq2 

另外两个整理的文档也在网盘中有分享。

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章名称:数据库IO性能知识整理-创新互联
标题链接:http://pwwzsj.com/article/ghshi.html