NEC、AIモデルの自動選定によりトークンコストを最適化する「cotomi Gateway」

　日本電気株式会社（以下、NEC）は5日、安全性とトークンコスト最適化の両立に加え、AI利用状況を可視化できるソリューション「cotomi Gateway」を、11月から提供開始すると発表した。機密性・タスク難易度・回答品質・コストなどの複数の要素を総合的に評価し、適切なAIモデルを自動で選択・ルーティングする機能を提供する。

「cotomi Gateway」全体イメージ

　「cotomi Gateway」は、AI活用時の安全性を担保しつつ、プロンプト圧縮や適切なルーティングによってトークンコストの最適化を実現するソリューション。既存のシステムやアプリケーションとはAPI連携が可能で、業務フローや運用を大きく変えることなく、共通ゲートウェイによる一元管理でAI活用を効率化できるという。

既存環境とAPIでスムーズに連携

　具体的には、AIを利用する際に、処理内容に応じて必要な性能を判定し、機密性やタスクの難易度、コストなどに合わせて適切なAIモデルを自動で選択する機能を備えている。軽量な回帰モデルや統計モデルも活用し、プロンプト内容に加えて、過去の利用履歴や会話の流れ、キャッシュ状況など複数の要素を総合的に判断することで、トークンコストの最適化を実現。あわせて、プロンプトの冗長部分や不要情報を圧縮することで、トークン消費を抑制する機能も搭載した。

あるタスクで同一精度を担保するのにかかるトークンコスト

　またセキュリティ面では、AI活用時に機密情報を自動で検知・マスキングし、秘匿した状態で外部AIモデルを利用できるため、機密情報の外部漏えいリスクを低減可能。マスキングによって処理が難しいタスクについては、オンプレミス環境で稼働するAIモデルを利用して対応する。こうした秘匿化やルーティングを自動化することで、人手による運用負荷を軽減し、安全なAI活用の業務適用拡大に貢献するとした。

　なお、AIの利用実績やコスト削減効果などのデータは、ダッシュボード上でリアルタイムにモニタリングや評価を行える。これにより、利用状況やコスト面の効果を一目で把握できるだけでなく、運用状況の分析やAI活用の最適化にも役立つとのこと。

　NECではまず、ソフトウェア版の提供から開始し、順次SaaSとしても展開する予定。価格は、ソフトウェア版の場合で月額100万円（税別）から。

　また、「cotomi Gateway」を「BluStellar Scenario」に組み込み、既存の利用環境を柔軟に活かしながら、安全性とトークンコスト最適化を両立するAI利用環境の構築を推進するとしている。