なぜAIインフラでは、メモリが「余っている」のに「足りない」のか

AIやHPC向けのインフラ設計では、これまでCPUやGPUの性能向上が主な焦点でした。
しかし近年、多くの現場で次のような違和感が語られるようになっています。

本コラムでは、この一見矛盾した状況がなぜ生まれるのかを、「Stranded DRAM」と「Unused DRAM」という2つの観点から整理します。

見えにくい2種類のメモリ非効率

AIインフラにおけるメモリの非効率は、単に「容量が足りない」という話ではありません。
実務上は、性質の異なる2種類の非効率が同時に存在しているケースが多く見られます。

Stranded DRAMとは

Stranded DRAMとは、サーバーに物理的に搭載されているにもかかわらず、構造的な理由により割り当てることができないメモリを指します。

この場合、メモリは「存在している」が「利用できない」状態になります。

Unused DRAMとは

Unused DRAMは、ワークロードやVMに割り当てられているものの、実際にはほとんどアクセスされていないメモリです。

結果として、メモリは「割り当てられている」が「使われていない」状態になります。

なぜクラウドでも起きるのか

これらの問題はオンプレミス特有と思われがちですが、実際にはクラウド環境でも見られます。
クラウドは柔軟なスケーリングが可能である一方、基盤となるリソース割り当てがノード単位で設計されているケースも多く、 CPU/GPUとメモリの結びつきが固定的になりやすい点が背景になります。

その結果、Stranded DRAMとUnused DRAMの両方が同時に発生し、全体の利用効率やコスト構造に影響することがあります。

問題の本質は「運用」ではなく「構造」

重要なのは、この非効率が単なる運用ミスや設定の問題ではない点です。
トポロジ、リソース割り当てモデル、CPU/GPUとメモリの結合の仕方といった構造的な前提が、 「余っているのに足りない」という状況を生み出します。

そのため、メモリを追加するだけ、あるいはより高速なメモリを採用するだけでは、根本的な改善につながらないケースも少なくありません。

おわりに

AIワークロードが拡大し続ける中で、インフラ設計の前提そのものを見直す必要性が高まっています。
メモリの問題は容量や速度だけではなく、「どのように割り当て、どのように共有できるか」という設計思想の問題でもあります。

次回以降のコラムでは、こうした課題を背景に注目されている新しいメモリアーキテクチャの考え方について整理していきます。

関連

筆者について