ニュース
SambaNova、5nmに微細化され、広帯域メモリと大容量メモリの両方をカバーした新AIプロセッサ「SN40L」
2023年9月20日 00:00
米国の半導体ベンチャー SambaNova Systems（サンバノバ・システムズ、以下SambaNova）は、9月19日（米国時間）に報道発表を行い、同社が提供するAI用プロセッサの最新製品「SN40L」を発表したことを明らかにした。
SN40Lでは、製造に利用するプロセスノード（製造技術）がTSMC 5nmに微細化され、集積されるトランジスタ数が増えている。従来のSN30との大きな違いは、SN30ではオンチップメモリと外部DDRメモリという2段階だったメモリ階層が、オンチップメモリ、HBM、そして外部DDRメモリという3階層になり、帯域幅が重視されるアプリケーションでも、64GBの大容量メモリを利用することが可能になる点だ。
TSMCの5nmへ微細化され、学習にも推論にも使えるように内部メモリ/HBM/DDRの3階層メモリ構成が可能なSN40L
SambaNovaは、2017年に設立されたベンチャー企業で、創業当初よりマシンラーニング/ディープラーニングに基づいた半導体やソフトウェア開発環境を提供してきた。同社が開発するRDU（Reconfigurable Dataflow Unit）は、マシンラーニング/ディープラーニングに最適な、データフローをパラレルに処理するのに最適なプロセッサになっており、同社が用意するソフトウェア開発環境となるSambaFlowを同時に提供することで、ハードウェアとソフトウェアをセットにして、顧客が大規模なAI学習を効率よく行える環境を提供している。
SambaNovaが注力してきたのは、大規模モデルと呼ばれる、多くのパラメータがあるモデルを利用して学習を行うようなAIアプリケーションで、生成AIで一般的に活用されているLLM（大規模言語モデル）などを処理するのに適しており、ここ最近、NVIDIAのGPUに代わる選択肢として注目を集めている。
SambaNovaは、まずCardinal SN10を提供し始め、2022年に、その後継で性能などが倍になったCardinal SN30の提供を開始した。そして今回発表されたのが、それらの後継となるCerulean SN40Lで、新しいRDUのアーキテクチャとして「Cerulean」（セルリアン）と同社が呼んでいるものを採用している。
SN40LはTSMC 5nmプロセスノードで製造され、従来のSN10/SN30のTSMC 7nmプロセスノードに比べて微細化されている。このため、メインチップに実装されているトランジスタ数（半導体の性能を左右するものだ）が増えており、従来のSN30が860億トランジスタであったのに対して、SN40Lでは1026億トランジスタとなった。
ただし、Bflot16での演算性能は638TFLOPSと、SN30のBflot16での演算性能になる680TFLOPSに比べてむしろピーク性能は下がっている。
しかし、メモリ周りは強化されている。従来は同社がオンチップメモリと呼んでいるRDUのダイに統合されていたメモリと、基板上に実装されているDDRメモリというメモリ階層になっていた。しかしSN40Lでは、それに加えてパッケージ上にチップレットとしてHBM（High Bandwidth Memory）が64GB搭載されており、広帯域のメモリが必要な場合はオンチップメモリとHBMを利用し、逆にメモリ容量が必要な場合には基板上に実装されるDDRメモリを活用する、そうした階層に変更されている。これにより、学習のようにメモリ帯域が必要な場合でも、推論のようにメモリ容量が必要な場合でも、どちらのタイプの生成AIのアプリケーションにも対応できるのがSN40Lの最大の特徴だと言って良い。
こうした特徴を備えているSN40Lは、TCO（Total Cost of Ownership、所有している間にかかる初期コスト＋ランニングコスト）が低く抑えられるとSambaNovaは強調している。SambaNovaは、NVIDIA DGX H100（NVIDIA H100 GPU×8）が24台のシステム（NVIDIA H100 GPUが192基）と、ラック1/4のシステムになるSN40Lのシステム（SN40Lが8基）が同性能とのことで、TCOは約28倍優れていると主張している。
生成AI向けにハードとソフトをすべてパッケージ化してサブスク提供するSambaNova Suiteが生成AI版に強化
SambaNovaは、こうしたSN40LのようなRDUを単体で提供しているのではなく、ラックレベルのシステム（DataScale）、ソフトウェア開発キットのSambaFlowなどすべての要素を組み合わせて、「SambaNova Suite」としてパッケージ提供している。SambaNovaはそれを顧客のオンプレミスのデータセンターにも、あるいはクラウドのデータセンターにも置くことを可能にしており、料金モデルはサブスクリプション型になっている。
今回SambaNovaは、そのSambaNova Suiteの生成AI向けの拡張を明らかにした。GPT 175B/13B/1.5B、Bloom 176B、Llama-2 70B/7BなどのLLMを事前学習済みとして標準で用意しており、エンタープライズは、サブスクリプション契約することですぐに利用できる。例えば、これからGPT-4を利用して生成AIの学習を行い、推論の環境として利用したいエンタープライズは、SambaNova Suiteを契約するだけで、比較的簡単にそうした環境を構築できるという。
SambaNovaによれば、SN40Lを搭載したシステムは既に出荷開始しており、既に顧客がSN40LベースのSambaNova Suiteを選択することが既に可能になっているとのことだ。