在H200、B200、B300以及GB300 NVL72等硬件上，通过将Engram卸载到DRAM，性能最高可提升50%。这一结果源于实验，而非理论推测。更重要的是，这一优化并不仅限于英伟达的硬件，技术团队与两位工程师合作，将vLLM项目中ROCm版Engram的DRAM卸载支持也提升，获得了相同的50%性能增益，相关修改体现在PR 57491中。
在性能数据公布后，英伟达、AMD及SemiAnalysis迅速行动，通过PR 985、1002、1005和1006更新了默认推荐配置，将Engram的卸载纳入其中。这意味着原先被视为“可选优化”的功能，现已成为默认选项，用户无需自行判断开启与否，配置已为其做出决定。
选择将卸载方向设定为DRAM而非其他存储层次，显然在H200、B200、B300和GB300 NVL72上都有效，且跨越多个硬件代际。值得注意的是，这一50%的性能提升在英伟达的GPU和ROCm生态中均得到了验证，这在此次更新中是较为少见的现象。同时，英伟达、AMD与SemiAnalysis三方在推荐配置上的一致性，进一步强调了这一优化的重要性。
目前，公开信息主要集中在性能提升、涉及硬件型号、相关PR编号以及推荐配置的更新上，具体的实现细节及适用范围尚待后续PR内容进一步明晰。
发表评论