AI推論チップのGroqが欧州データセンター開設　“スピード”でNVIDIAに挑む

　AI推論チップのスタートアップGroqが、欧州初のデータセンターをフィンランドに開設する。同社は、従来のGPUとは根本的に異なる独自のLPU（Language Processing Unit）技術で注目されている。その高い推論処理速度を武器に急成長しており、企業評価額は1年前の28億ドルから倍増して60億ドルに達すると予想されている。NVIDIAが一強のデータセンター向けAIチップ市場で、その牙城を崩せるか――。

推論に特化した高速アーキテクチャ

　Groqの設立は2016年で、GoogleでTPU（Tensor Processing Unit）の開発に携わったJonathan Ross氏が中心となって立ち上げた。クラウドベースのAI推論プラットフォーム「GroqCloud」や、チャットボットの「GroqChat」などを提供している。GroqCloudは推論に特化しており、「Llama 3.1」ファミリーやGoogleの「Gemma」、OpenAIの音声認識モデル「Whisper」などのオープンなモデルをサポートしている。

　同社のコア技術は、LPU（Language Processing Unit）と呼ぶ独自のチップアーキテクチャだ。言語処理に特化したプロセッサで、最初からLLM（大規模言語モデル）処理を念頭に置いた設計となっている。

　現在AIを支えているGPUはもともとグラフィック処理のために設計されたものだ。それまでCPUで行っていた画像処理を分離し、並列処理する仕組みだ。ただし、メモリーはチップ外に接続されている。

　これに対してGroqのアーキテクチャは、オンチップのメモリーを採用することで劇的に高速化したという。「外部メモリーは推論を高速に処理するにあたって大きなボトルネックだ」とRoss氏はVenture Beatのインタビューで述べている。

　こうしたアプローチによって、「OpenAIのChatGPTやGPT-4oと同様のアーキテクチャを持つ既存の生成AIモデルを、10倍のスピードと10分の1のエネルギーで実行できる」（TechCrunchが紹介）というのが同社の主張だ。

　今年6月には、Alibabaの「Qwen3 32B」モデルが持つ13万1000トークンコンテキストウィンドウが完全に利用可能になったと発表した。高速推論プロバイダーとしてはGroqだけが達成したものという。

　LLMでは100万トークンのコンテキストウィンドウに対応するものも珍しくないが、速度やコストなどの点で実用的ではない。これに対しGroqは13万トークンという巨大なサイズを、短い文章を処理するかのように高速で、ストレスなく処理できるという。

　Groqは同日、機械学習プラットフォームHugging Faceの公式推論プロバイダーとなったことも発表した。