カゴヤ・ジャパン、「KAGOYA CLOUD VPS」で複数LLMを統合管理できるLiteLLMを提供

　カゴヤ・ジャパン株式会社は27日、クラウドサービス「KAGOYA CLOUD VPS」において、複数の大規模言語モデル（LLM）をOpenAI API互換で統一的に管理・運用できるOSSプロキシ「LiteLLM」のセットアップ機能を提供開始した。

　同機能は、AI活用を進める情報システム部門が直面する、ベンダーごとの仕様の違い、モデル乱立による管理負荷の増大、安全な社内利用環境を構築したいといった要望などの課題を解決する。

　OpenAI、Anthropic、Google、AWS Bedrock、ローカルLLMなど多様なモデルをOpenAI API形式に集約し、ベンダーごとに異なる認証方式やエンドポイント、パラメーターの差異をLiteLLMが吸収する。アプリ側のコード改修を最小限に抑えつつ、柔軟にモデルを切り替えられる。これにより、「どの部署が何を使っているのかを管理できない」といった問題を解決する。

　外部ネットワークから独立したVPS環境で動作するため、組織のセキュリティポリシーを順守した運用ができる。APIキーや接続先の管理をVPS内に集約し、不特定多数が外部クラウドへ直接接続する構造を抑止する。これにより、APIキーの乱立やシャドーIT化を防止する。

　LiteLLMは標準でロードバランスやフェイルオーバー機能を搭載しており、特定のモデルで障害が発生した際に、自動で別ベンダーのモデルへの切り替えが可能。ログの一元化、レート制御、使用量の把握をサーバー側で制御できる。これにより、問い合わせ対応のたびに障害調査を行うことや、ベンダー依存のトラブルを減少させる。

　高性能モデルから安価なモデルへの自動切り替えポリシーを設定可能。トークン量や用途（FAQ／要約／生成など）に応じたルーティングもでき、将来的には社内GPUサーバーやローカルLLMも統合運用できる。これにより、毎月の請求額の予測しにくさや、コスト高騰への不安を軽減する。