NVMe SSD IO压力导致宕机案例解读-3

最后找到问题的根因：

NVME硬盘（mdts参数为10）的`max_hw_sectors_kb`设置为4096KB。当进行流式DMA映射时。如果单次请求的数据量过大，超过了128KB，导致无法有效利用IOVA优化机制，进而引发了对iova_rbtree_lock锁的竞争。

为了解决这个问题，建议根据DMA优化限制来限制max_hw_sectors的值，这样可以确保系统能够利用到可扩展的IOVA机制，减少锁竞争并提升系统性能。

将原来使用的dma_max_mapping_size()函数改为了dma_opt_mapping_size()函数。

dma_max_mapping_size()通常返回系统支持的最大连续内存区域可被映射用于DMA操作的大小；
dma_opt_mapping_size()则代表一个更优化的、基于特定设备或场景的DMA映射大小，它可能会根据设备的具体特性或者DMA引擎的能力来提供一个更为高效且适合当前设备的DMA映射大小。

在Linux内核中，dma_opt_mapping_size()函数的具体定义取决于不同的架构和平台。这个函数通常用于获取一个特定设备的DMA优化映射大小，即最适合该设备进行高效DMA操作的内存区域大小。

由于每个硬件平台和驱动实现可能不同，dma_opt_mapping_size()的实现和返回值也会有所差异。通常，它会考虑诸如CPU缓存行对齐、设备DMA引擎特性（如最大传输单元MTU）、以及系统对DMA一致性要求等因素来决定最优的内存映射大小。

回归测试中，除了修改max_hw_sectors，另外一块NVME硬盘MDTS参数为5且max_hw_sectors_kb为128，并未出现同样的问题，说明其硬件配置更适合于新的IOVA可扩展机制。

Linux DMA分类介绍：

在Linux内核中，DMA（Direct Memory Access）映射是系统为设备提供直接访问内存的一种机制。为了支持不同的硬件特性和需求，内核提供了两种主要的DMA映射接口：Consistent mapping和Stream mapping。

1. Consistent DMA Mapping
Consistent DMA mapping 主要针对的是需要保持CPU缓存与设备之间数据一致性的场景。在现代多核处理器系统中，为了提高性能，CPU使用缓存来加速对内存的访问。然而，如果设备通过DMA直接访问主内存，而这些内存区域的数据又被缓存了，可能会导致CPU缓存与实际物理内存内容不一致的问题。因此，consistent DMA映射会在进行DMA操作前确保内存区域的内容已经刷新到内存，并且在DMA操作完成后，如果必要的话，会再次同步内存以确保设备写入的数据也反映到了CPU缓存中。

特点：

- 确保CPU缓存与物理内存一致性。
- 对于cache-coherent架构（如大多数现代ARM、x86等），内核通常可以利用硬件提供的cache一致性机制。
- 在非cache-coherent架构上，可能需要额外的软件干预来保证一致性。

2. Stream DMA Mapping
Stream DMA mapping 则更关注于高性能的流式数据传输，它主要用于那些不需要严格保证CPU缓存一致性的场景。例如，在连续大块数据传输过程中，尤其是当设备能够自行管理缓存一致性或者数据无需立即由CPU处理时，可以使用stream mapping。