データブリックス、リアルタイム分析をレイクハウス上で実現する「Lakehouse//RT」を発表

　米Databricks（以下、データブリックス）は現地時間16日、リアルタイム分析をレイクハウス上で実現する「Lakehouse//RT」を発表した。

　Lakehouse//RTは、適切なガバナンスが施された「Delta Lake」と「Apache Iceberg」上のデータに対して直接リアルタイム分析を実行でき、企業は別のサービングシステムを構築せずに、ミリ秒単位の応答パフォーマンスを実現できる。

　同製品は、現代のエージェント型企業が求める高い同時実行性と低レイテンシー要件に対応するために開発された、新しいコンピュートエンジン「Reyden」を基盤としており、現在ベータ版として提供されている。

　データブリックスは、これまで、高い同時接続数と低レイテンシーを必要とする企業には、レイクハウスとは別に、リアルタイムサービングレイヤーを構築する以外に選択肢がなかったと説明する。しかし、そのサービングレイヤーには、ベンダーロックインやインフラコストの増加、ガバナンスの分断、常にコピーされたもののためリアルタイム性を欠くデータといった課題があったという。

　Lakehouse//RTは、こうした課題を解消するために開発された。適切なガバナンスが施されたレイクハウス上のDeltaおよびIcebergテーブルを直接クエリすることで、AIエージェントやユーザーは、データをコピーしたり移動したりすることなく、最新かつ完全で信頼できるデータにアクセスできる。

　その実行エンジンは、数万規模の同時接続ユーザーやエージェントをサポートしながら、一貫して低レイテンシーを維持できるよう設計されている。標準的な分析ベンチマークでは、毎秒1万2000クエリで100ミリ秒未満のレイテンシーを実現しており、顧客環境では既存の専用リアルタイムサービング基盤と比べて、最大16倍の性能向上が確認されているという。また、別のサービングレイヤーを構築する必要がなくなることで、それに伴うコスト、CDC・同期パイプライン、ガバナンス上の課題、独自技術によるベンダーロックインも解消されるとしている。

　Lakehouse//RTは、大規模なリアルタイムサービングという特定の要件を満たすために設計されており、Reydenの完全非同期実行モデルにより、小規模データセットでは10ミリ秒、大規模データセットでも100ミリ秒程度の応答時間を実現する。また、スループットが数万件規模に増加しても、レイテンシーは低水準で維持される。さらに、単純なデータ検索に最適化されたエンジンとは異なり、複雑な分析処理の全般に対して、最先端のパフォーマンス技術を適用する。

　すべてのクエリは、ポリシー管理、権限管理、監査機能を含む、「Unity Catalog」によるガバナンスの下で実行される。そのため、別途ガバナンスレイヤーを維持する必要がなく、分析サービング環境とその他のデータ資産との間にギャップが生じない。

　さらに、独自フォーマットへの変換やデータコピー、取り込みパイプラインを必要とせず、DeltaおよびIcebergテーブルに直接クエリを実行する。既存のテーブルを指定するだけで、数分以内にライブデータのクエリを開始できる。