リアルタイムAI向けデータベースのScyllaDB、DynamoDB APIにネイティブVector Searchを提供

大規模かつ予測可能な性能を求めるワークロード向けデータベースを提供するScyllaDBは、DynamoDB互換APIであるAlternator向けにVector Searchを発表しました。これにより、DynamoDB APIを利用する開発者は、初めて高性能なベクトル類似検索をネイティブに実行できるようになります。従来必要だったDynamoDBとOpenSearchの併用や、ベクトル意味検索のために2つの異なるAPIを管理する必要がなくなります。これまで、DynamoDBユーザーがベクトル検索を利用するには、複数システムを組み合わせた複雑な構成が必要でした。一般的には、DynamoDBのデータをS3へエクスポートし、DynamoDB Streams経由でOpenSearchへ同期し、検索時には別々のAPIを使い分ける必要がありました。DynamoDBにネイティブなベクトル検索機能がないため、外部のOpenSearchクラスターで補完する構成になり、アーキテクチャの分断と運用負荷が生じていました。

こうした方式は「Zero ETL」と呼ばれることもありますが、実際には専用検索クラスターのコストと運用の複雑さが残ります。Lambdaの同期失敗によるデータ不整合、DynamoDB側で削除されたデータがOpenSearchの検索結果に残る問題、スキーマ変更時の再インデックスなどの課題があります。その結果、監視するシステムは2つ、管理するAPIも2つ、支払う費用も2つになります。ScyllaDBのCo-Founder兼CEOであるDor Laorは、DynamoDBにはネイティブな解決策がなく、後付けのZero ETL方式は機能するものの、コスト、遅延、複雑性を高めると述べています。ScyllaDBのDynamoDB互換Alternator APIにネイティブVector Searchを組み込むことで、チームはすでに稼働しているインフラ上で、セマンティック検索、RAGパイプライン、リアルタイム推薦システムを構築できます。同社は、追加の検索クラスターを使う場合と比べて、ScyllaDBはコストを90〜50%削減できるとしています。

ScyllaDBのVector Searchは、リアルタイムAIアプリケーションに取り組むDynamoDBユーザーに特に適しています。たとえば、セマンティック商品検索では、数百万の商品を対象に、ユーザーが入力した言葉だけでなく意図に基づく検索結果をミリ秒レベルの遅延で提供できます。RAGでは、LLMに最も関連性の高い文脈を大規模に取得でき、99.2%の再現率と10ミリ秒未満の遅延を実現するとされています。これは、正確な回答が求められる企業ナレッジベースにとって重要です。また、セマンティック重複排除では、数百万件の新規ベクトルをリアルタイムに走査し、近似重複を取り除くことで、別の処理パイプラインを用意せずにデータ品質を維持できます。Alternator向けScyllaDB Vector Searchは、同社のフルマネージドデータベースサービスであるScyllaDB Cloud上で利用できます。既存のDynamoDBアプリケーションを移行する際に、コード変更は不要です。

ScyllaDBについて
ScyllaDBは、大規模環境で予測可能な性能を必要とするワークロード向けの専用データベースを提供する企業です。数百万件規模の機能や操作、数十億件の埋め込みベクトル、ペタバイト級のストレージを扱う場合でも、超低遅延を求める組織に採用されています。同社のshard-per-coreアーキテクチャは、現代的なインフラの性能を最大限に活用し、少ないノード数、少ない管理負荷、低コストを実現します。Disney+、Discord、Tripadvisor、Expedia、Zillow、Starbucks、Comcastなど400社以上が、最も難しいデータベース課題にScyllaDBを利用しています。