AIアプリケーション開発の新しい波　Difyが切り開くか「複合AIシステム」

「2024年のAIにおける最も重要なトレンド」

　では、複合AIシステムのメリットと課題はどうだろう。

　BAIRは、単体LLMと比較しての4つのメリットを挙げている。

1）システム設計を通じて、タスクの改善をしやすい：複数回のサンプリングやテストを統合して精度の向上ができる

2）動的なシステム構築が可能：検索やリトリーバーで最新の情報を反映できるなど、静的なデータセットで訓練されたLLMにない機能を得られる

3）制御と信頼の向上が容易：フィルタリングなどで動作を厳密に制御し、自動チェックで信頼度を高めることができる

4）さまざまなパフォーマンス目標に対応できる：要求品質はアプリケーションによって異なるが、それに合わせてコストなども見ながら最適なモデルを選べる

　その一方で複合AIシステム開発では、「各コンポーネントが連携し、全体として高い性能を発揮する」ための新しい課題もある。

　例えば、多くのコンポーネントの最適な組み合わせの発見、検索エンジンなど従来の手法では最適化が難しいコンポーネントも含めた新しい最適化方法の発見、手順と中間出力の追跡などが挙げられる。

　それでも論文は、複合AIシステムは「AIアプリケーションの品質と信頼性を最大化する最良の方法であり続け、2024年のAIにおける最も重要なトレンドの1つになるかもしれない」と結論づけている。

　実は、この論文の筆頭筆者のMatei Zaharia氏は、Databricksの共同創業者兼CTO（最高技術責任者）で、BAIRの研究者を兼務している。Zaharia氏は、機械学習のライフサイクル管理を行うオープンソースのライブラリ「MLflow」の開発者でもある。MLflowは、複合AIシステムの開発・運用の幅広い局面で最適化を支援する強力なツールだ。

　複合AIシステムに対するアナリストの見方はどうだろう。Gartnerは、昨年発表した「Hype Cycle for Artificial Intelligence, 2023」で、複合AIシステム（Composite AIと呼んでいるが、ほぼ同じ意味）を「黎明期」に置いている。生成AIや基盤モデルが「過度な期待のピーク」にある中で、次の期待テクノロジーとして控えているということだ。

　Difyの成功で複合AIシステムの方向は加速していくだろう。