サードパーティリポジトリ上にあるさまざまな推論モデルを、推論サーバーであるvLLMを介して最適化し、顧客のリソース環境に応じて展開することを可能にする「Red Hat AI Inference Server」。推論にかかる時間やコストを削減し、シームレスな推論環境の実現をはかる

サードパーティリポジトリ上にあるさまざまな推論モデルを、推論サーバーであるvLLMを介して最適化し、顧客のリソース環境に応じて展開することを可能にする「Red Hat AI Inference Server」。推論にかかる時間やコストを削減し、シームレスな推論環境の実現をはかる