突破AI训练与推理瓶颈：加速知识领域专家转型至高效行动者

编辑 · 2周前 (10-10)

AI智能体的不断进步，使其已经成为知识领域的专家。然而，随着其能力的增长，我们遇到了两个主要瓶颈：训练效率低和推理过程中的内存带宽问题。

首先，AI模型的训练速度受到CPU和XPU之间配合不佳的影响。当企业希望加速模型迭代时，数据预处理环节常常出现“忙闲不均”的情况。例如，一些文件可能有数千页，而其他文件则只有百页。如果按照文件大小分配给XPU进行计算，大文件会迅速耗尽算力资源，小文件的XPU则面临等待状态；反之，在CPU逐页处理数据后，CPU负担过重，而XPU却因为缺乏可用数据而闲置。

其次，推理过程中的内存带宽问题限制了AI性能。当与AI进行多轮对话时，AI能够利用之前的信息进行高效推理。然而，在需要大量缓存管理的Agent场景中，重新计算一次的成本是使用缓存的十倍，因此优化缓存管理系统对于提高效率至关重要。

尽管内存带宽的增长速度远不及算力的提升（过去十年间，算力增长了300多倍，而内存带宽仅增加了8倍），但鲲鹏技术专家团在“鲲鹏昇腾创享月”直播中提出了解决方案。针对训练慢和CPU-XPU配合不佳的问题，他们采用了一种策略：根据数据的难度进行分桶，并结合单台XPU的算力进行统一分配，从而实现CPU与XPU资源的最大化利用。

对于推理过程中的内存带宽问题，鲲鹏采取了两方面的措施。一方面，通过MoonCake多级池化架构优化，实现了从“多层寻址”到“一步直达”的转变，显著降低了首包响应时延；另一方面，引入了IO Stash技术，使得网卡和SSD可以直接通过L3 Cache进行交互，绕过DDR内存这一瓶颈，从而在只使用2至4根内存条的情况下就能应对高带宽场景，有效控制了硬件成本。