AIアプリケーション開発の新しい波　Difyが切り開くか「複合AIシステム」

複合AIシステム

　LLMは規模を拡大して高度に訓練することで複雑な処理ができるようになるが、それには大きな訓練コストがかかる。また、出力に至った判断は外から見えにくく、単体では最新情報に基づく回答が難しいという弱点もある。

　そこで、LLMに伝統的なソフトウェア処理のコンポーネントを組み合わせて構築する「複合AIシステム」（Compound AI Systems）が登場した。DifyやDustは、その一種と言える。

　カリフォルニア大学バークレー校のバークレー人工知能リサーチ（BAIR）チームは今年2月、「モデルから複合AIシステムへの移行」と題する論文を発表した。その中で複合AIシステムを「モデル、リトリーバー（情報の取り出しツール）、または外部ツールへの複数の呼び出しを含む、複数の相互作用するコンポーネントを使用してAIタスクに取り組むシステム」と定義している。

　実例として、GoogleのプログラミングAI「AlphaCode 2」や医学分野に特化したMicrosoftのプロンプト手法「Medprompt」などいくつかのシステムを挙げているが、一般ユーザーにイメージしやすいのは「ChatGPT Plus」だろう。

　ChatGPT Plusは、ChatGPTにWeb検索や画像生成の機能を追加したサービスで、LLMに検索用のWebブラウザープラグイン、DALL-E画像ジェネレーターなどが統合されている。つまり機能の部品を組み合わせて、単体のLLM呼び出しではできない高度な処理に対応している。

　また論文では、RAGを実装した検索エンジン全般も例として挙げている。RAGはAIアプリケーションで急速に取り入れられつつある技術で、複合AIシステムの範囲が広く、浸透してきている現状が分かる。