Red Hatが新たに立ち上げたオープンソースプロジェクト「llm-d」は、分散環境における推論モデルの大規模スケールを目指す。コア技術はKubernetesとvLLMで、Kubernetesのオーケストレーション機能を活用し、推論モデルを既存のITインフラに統合する
