SQLite のハイブリッド検索のハミング距離

ハミング距離は、2 つのバイナリ文字列間の異なるビットをカウントする基本的な類似性メトリックであり、データベースにおける近似最近傍検索の最も高速かつ効率的な方法の 1 つとなります。ハミング距離をハイブリッド検索アーキテクチャを通じて SQLite に適用すると、専用ベクトル データベースのオーバーヘッドなしで、エンタープライズ グレードのセマンティック検索機能が解放されます。

ハミング距離とは何ですか? なぜデータベース検索に重要​​なのでしょうか?

ハミング距離は、同じ長さの 2 つのバイナリ文字列が異なる位置の数を測定します。たとえば、バイナリ文字列 10101100 と 10001101 は、ちょうど 2 つのビット位置が異なるため、ハミング距離は 2 になります。データベース検索のコンテキストでは、この一見単純な計算が非常に強力になります。

従来の SQL 検索は完全一致または全文インデックスに依存しており、意味上の類似性、つまり同一のキーワードを共有するのではなく、同じ意味の結果を見つけるのに苦労しています。ハミング ディスタンスは、コンテンツの埋め込みから派生したバイナリ ハッシュ コードを操作することでこのギャップを埋め、SQLite などのデータベースがビットごとの XOR 演算を使用してミリ秒単位で数百万のレコードを比較できるようにします。

このメトリクスは、1950 年に誤り訂正符号の文脈で Richard Hamming によって導入されました。数十年後、特に完璧な精度よりも速度が重視されるシステムにおいて、情報検索の中心となりました。比較ごとに O(1) の計算 (CPU ポップカウント命令を使用) により、組み込みの軽量データベース エンジンに独自に適しています。

ハイブリッド検索はハミング ディスタンスと従来の SQLite クエリをどのように組み合わせますか?

SQLite のハイブリッド検索は、スパース キーワード検索 (SQLite の組み込み FTS5 全文検索拡張機能を使用) と密な類似性検索 (バイナリ量子化埋め込みのハミング距離を使用) という 2 つの相補的な検索戦略を組み合わせたものです。どちらのアプローチだけでも、最新の検索要件には十分ではありません。

一般的なハイブリッド検索パイプラインは次のように動作します。

埋め込み生成: 各ドキュメントまたはレコードは、言語モデルまたはエンコード関数を使用して高次元の浮動小数点ベクトルに変換されます。

バイナリ量子化: SimHash やランダム投影などの技術を使用して、浮動小数点数ベクトルがコンパクトなバイナリ ハッシュ (64 ビットまたは 128 ビットなど) に圧縮され、ストレージ要件が大幅に削減されます。

ハミング インデックス ストレージ: バイナリ ハッシュは SQLite の INTEGER または BLOB 列として保存され、クエリ時に高速なビット単位の操作が可能になります。

クエリ時のスコアリング: ユーザーがクエリを送信すると、SQLite は XOR とポップカウントを使用したカスタム スカラー関数を介してハミング距離を計算し、ビット類似度でソートされた候補を返します。

スコアの融合: ハミングベースのセマンティック検索と FTS5 キーワード検索の結果は、相互ランク融合 (RRF) または加重スコアリングを使用してマージされ、最終的なランク付けされたリストが生成されます。

ロード可能な拡張機能やコンパイルされた関数による SQLite の拡張性により、より重いデータベース システムに移行せずにこのアーキテクチャを実現できます。その結果、埋め込みデバイス、モバイル アプリ、エッジ デプロイメントなど、SQLite が実行されるあらゆる場所で実行できる自己完結型の検索エンジンが実現します。

重要な洞察: 64 ビット ハッシュでのバイナリ ハミング検索は、同等の次元の完全な float32 ベクトルでのコサイン類似度よりもおよそ 30 ～ 50 倍高速です。特殊なハードウェアを使用せずに数百万のレコードにわたって 10 ミリ秒未満の検索レイテンシを必要とするアプリケーションの場合、多くの場合、SQLite のハミング距離が精度とパフォーマンスの間の最適なエンジニアリング トレードオフになります。

SQLite のハミング検索のパフォーマンス特性は何ですか?

SQLite は単一ファイルのサーバーレス データベースであり、ハミング距離検索を実装するための独自の制約と機会を生み出します。 HNSW や IVF (専用のベクター ストアにある) のようなネイティブ ベクター インデックス構造がなければ、SQLite はハミング検索にリニア スキャンに依存しますが、これは思っているほど制限的ではありません。

64 ビットのハミング距離計算

Related Posts

• DJBの暗号学的オデッセイ：コードヒーローから標準規格の批評家へ
• macOS のあまり知られていないコマンドライン サンドボックス ツール (2025)
• HUD、非市民を公営住宅から退去させる規則を提案
• CXMT は、一般的な市場価格の約半分の価格で DDR4 チップを提供してきました。