すべての人に一次情報を
近年のベクトル検索の根幹は、HNSW などのグラフベース近似最近傍(ANN)インデックスです。<br>1. これらのインデックスはベクトル自体よりも、エッジ構造がメモリを圧迫します。<br>2. エッジの圧縮が失敗すると、検索時にデータを展開するので遅延が増大します。<br>3. 新たな手法では、まずオフラインでノード ID を並べ替えて構造的局所性を生み出し、次に間隔(gap)認定を行った上で SIMD で高速展開可能な整数圧縮器 Stream VByte を適用します。<br>4. オフセット配列(各ノードのエッジリスト開始位置)は、Elias‑Fano 圧縮で 8 bit 程度に削減し、ランダムアクセス速度を維持します。<br>5. 実際のワークロードでは、最大 52.7 % のエッジ体積削減が観測され、誤差は 0.1 % 未満の遅延増にとどまります。<br>6. eBay の実運用では、44.3 % の削減が達成され、クエリ時間に差が見られません。<br>7. ただし、参照ベースの圧縮(例:WebGraph)は HNSW の低度階で限定的で、ほぼ効果が無いことが示されています。<br>8. さらに、グラフ再順序化後の間隔エントロピーはビットパッキングの限界を上回るため、整数圧縮器の選択が重要です。<br>9. 再順序化自体の構築コストは、データセットとグラフサイズにより 3.5 % から 30 % の範囲で増加します。<br>10. すべての操作は Rust で実装され、kANNolo ライブラリの既存 HNSW インターフェースをそのまま活用しています。<br>11. これにより、工程を大きく変えることなく、エッジストレージを最大44.3%削減しながら検索遅延にほぼ影響を与えない実用的な解決策が提供されます。