NVMeが長文LLM推論でGPUの再計算を上回る理由

楽天シンフォニーのブログは、長いコンテキストを扱うLLM推論で、GPUメモリから追い出されたKVキャッシュをNVMeから読み戻す方式が、GPUで再計算する方式より速くなると説明しました。
同記事は、GPUのB200が毎秒約9,000兆回の演算を行える一方で、実運用ではトークン生成時に演算よりもメモリ読み出し待ちが多い「メモリ制約」だと指摘しました。
さらに、コンテキスト長が伸びるほどKVキャッシュはGPU HBM上に線形に増え、再計算コストは全トークン間の注意計算の影響で二次的に悪化するため、長文では再計算が不利になると述べています。
一方、NVMeのリロードは転送速度に支配され、トークン数に対してほぼ線形に増えるため、128,000トークンでは再計算約2,700ミリ秒に対しリロード約47ミリ秒となる試算を示しました。
この結果、同記事は「R＝再計算時間／リロード時間」が1を超える領域ではストレージ方式が優位になると結論づけ、エッジやMECなど低遅延が重要な運用で、ローカル高速ストレージを容量計画に組み込むべきだと提案しています。
また、DeepSeek-V3の圧縮KV形式（MLA）がトークン当たり35KBと小さいことや、量子化でサイズを削れることが、NVMe優位をさらに押し上げると説明しました。

参照元：2026/08/20 「Why NVMe Beats GPUs in Long-Context LLM Inference」 https://symphony.rakuten.com/blog/why-an-nvme-drive-can-outrun-a-flagship-gpu-in-long-context-inference