生成AIサービスは損失がかさむ？　インフラと運用コスト高、GPU不足で苦闘

GPUが“アキレス腱”

　ITの世界では最新の技術が登場したあと、性能は上がり価格は下がるという流れで広まってきた。AIも、広がりとともに価格が下がると期待したいところだ。せめて、ランボルギーニではなくマセラティ、できればフィアットぐらいまで落ちないものか。

　だが、現状では、AIはクエリごとに膨大な計算を行う必要があるため、標準的なソフトウェアのような規模の経済のメリットが働かないことが多い、とWall Street Journalは指摘する。それどころか、顧客が使えば使うほどコストが膨らんでゆく。

　この状況は緩和されてゆくのだろうか――。The Next Platformは、データセンターサイドから今後の動きを予想している。特に「GPU不足」の問題だ。

　AI向けGPUを一手に引き受けているNVIDIAは、データセンター向け最新GPU「Hopper H100」を2023年に50万基出荷可能だが、Microsoft、Google、AWSなどが優先的に割り当てを受けているという。他社は入手しにくい状況だ。

　2024年にはその製造能力は150万～200万に拡大できると見込まれており、「不足はいくぶん緩和されて、価格が下がり、サーバー市場が正常化するだろう」とする。

　その上で、「最新の生成AIモデルのトレーニングのためにGPUが2万～2.5万必要であるとして、（NVIDIAが2024年に出荷できる数とされる）GPU50万基ならばクラスタの数は20～25台に過ぎない。その一方、大規模なトレーニングを行いたい企業は世界で20～25では収まらない」と試算する。

　モデルのトレーニングに数カ月を要することなどを考慮すると、ユーザーにとってインフラを共有して進める方が理にかなっているという。実際、IDCの2023年第2四半期のデータセンター市場調査でも、共有クラウドインフラが、他セグメントの低調をよそに大きく成長した。

　だが、それでも足りないようだ。「2024年にH100を200万基出荷したとしてもインフラを共有できる顧客は数百に過ぎず、生成AIの需要を満たすことはできない」とThe Next Platformはみる。「GPUの価格は高止まりし、AIシステムの価格も高止まりする」との予想だ。