NEC、オンプレミスで生成AIを利用可能な「cotomi Appliance Server」をソリューションとして提供

　日本電気株式会社（以下、NEC）は、自社開発の生成AI「cotomi」のサービスラインアップを拡充し、専用アプライアンスサーバー「cotomi Appliance Server」を、ソフトウェアやサービスと組み合わせたソリューションとして、6月より販売すると発表した。なお同製品には、軽量かつ高性能な新開発のLLMである「cotomi Light」を搭載する。

　NECが今回提供するのは、専用アプライアンスサーバーを活用した、オンプレミス環境での生成AI利用を実現するソリューション。このソリューションでは、各企業に合わせたプロンプトテンプレート設定など、cotomiの利用に必要な機能をソフトウェアにした「NEC Generative AI Framework」が提供され、プロンプトエンジニアリングなどの専門知識がなくとも、Web画面での簡単な操作によりcotomiを活用できるとした。

　また、アプライアンスサーバーに搭載されるcotomi Lightは、世界トップクラスの日本語能力を持ちながらも、パラメータ数をコンパクトに抑えることで、モデルの省電力化・軽量化・高速化と、運用コストの抑制を実現する。

　専用アプライアンスサーバーとしては、推論モデル、推論＋ファインチューニングモデルの2モデルがラインアップされる。いずれもNVIDIA GPUを搭載しており、これを企業の拠点へ設置することで、レスポンス時間が短く、セキュアな生成AI利用環境を実現可能とのこと。

　こうしたオンプレミス環境での利用は秘匿性の高い業務に適していることから、NECではまず、金融業とコンタクトセンターに向けて展開する考え。また、推論＋ファインチューニングモデルを活用すると、企業の業務に特化させた生成AIモデルを、短期間で構築可能になると、そのメリットを説明している。

　なおNECでは、アプライアンスサーバーを利用する形態以外にも、閉域クラウド、パブリッククラウドでの利用形態を用意しており、コンサルティングサービスを通じて、利用企業の状況に合わせた適切なLLMやその利用環境を選択できるよう、顧客企業を支援するとのことだ。

柔軟なLLM提供形態