發展歷程
2024年5月,高健揚團隊在arXiv預印本平台首次發布了RaBitQ論文(arXiv:2405.12497)。RaBitQ(1-bit版本)隨後在資料庫頂級會議SIGMOD 2024上發表。2024年9月,團隊發布了擴展版論文(arXiv:2409.09913),嚴格證明了其達到理論計算機頂級會議FOCS 2017給出的漸近最優誤差界。
擴展版(多bit版本)在2025年發表於SIGMOD 2025。自2025年起,RaBitQ算法陸續被集成與套用,包括被
OceanBase、Milvus、FAISS、
火山引擎、
騰訊雲等知名資料庫和開源項目所採用。
2026年3月,因與谷歌TurboQuant論文在核心方法(隨機旋轉)的相似性、理論結果描述及實驗公平性等方面存在爭議,引發了學術社區的關注。
核心技術
RaBitQ是一種二值量化方法,能夠將向量的每一維表示從float-32壓縮為1-bit,理論上可實現高達32倍的記憶體降本。其核心目標是在保證高召回率的前提下,實現較高的存儲壓縮。
RaBitQ在量化前對輸入向量施加隨機旋轉,即Johnson-Lindenstrauss變換。該步驟利用高維空間的濃度度量現象,使旋轉後向量各坐標的分布變得可預測和均勻。通過對向量進行歸一化處理,將信息編碼的重點從具體的坐標值轉移到向量間的角度關係上。算法引入了一個具有理論保證的無偏距離估計器,用於在向量被極度壓縮後,仍能準確估算原始向量之間的距離,從而保障近似最近鄰搜尋的召回率。
RaBitQ算法具有可擴展性,最初版本為1-bit量化,後續推出了多bit版本。多bit版本通過增加每個維度分配的比特數,可以在壓縮比和精度之間進行靈活權衡,實驗表明多bit版本能夠實現更高的召回率。
RaBitQ常與倒排索引等現有檢索框架結合,形成如IVF_RABITQ的複合索引類型。在此架構下,向量的歸一化是相對於其所屬的聚類中心進行的,提升了局部區域的編碼精度。算法設計訓練輕量,並利用如AVX2/
AVX-512指令集進行硬體加速,最佳化了二值向量間的距離計算速度。RaBitQ已被集成到Milvus、FAISS、騰訊雲向量資料庫等主流系統中。
核心團隊
RaBitQ算法由
南洋理工大學龍程(Cheng LONG)老師團隊與
蘇黎世聯邦理工學院博士後高健揚(Jianyang Gao)博士共同研發,其中高健揚博士為算法的第一作者及主要提出者。
該算法的相關研究成果以系列論文形式在資料庫頂級會議SIGMOD 2024和SIGMOD 2025上發表,其擴展版論文嚴格證明了該算法達到了理論計算機頂級會議FOCS 2017給出的漸近最優誤差界,高健揚博士因此獲邀在FOCS的Workshop做報告。
RaBitQ的官方代碼已於2024年5月開源。
重要事件
2025年,
OceanBase在開發者大會上宣布推出基於RaBitQ的HNSW_BQ向量索引,宣稱相比原始索引實現了95%的記憶體降本。同年5月,Milvus在其2.6版本中集成RaBitQ並推出IVF_RABITQ索引類型。2025年5月8日,
火山引擎發布深度融合DiskANN與Extended RaBitQ的向量算法引擎,宣稱向量資料庫整體成本降低75%。
2025年,FAISS在其v1.11.0版本中集成了RaBitQ索引。同年,騰訊雲向量資料庫(TencentVDB)在其V2.7版本中首發工程落地多bit版RaBitQ(IVF-RabitQ)。
2026年3月27日,RaBitQ作者、蘇黎世聯邦理工學院博士後高健揚在知乎發布萬字長文,指控谷歌團隊存在系統性學術問題,輿論迅速轉向對谷歌學術不端的拷問。業界普遍認為,RaBitQ率先提出了原創方法,TurboQuant在其基礎上進行了最佳化,卻未給予應有的引用與尊重,甚至作出了不公正的貶低。4月1日,面對外界的指控,論文第二作者Majid Daliri終於出來,代表團隊在OpenReview平台上發布“技術澄清”。關於貶低RaBitQ理論為“次優”的指控,論文作者承認,是因為自己沒仔細看對方的附錄,漏了一個常數因子,才得出了草率的結論,“導致我們最初誠實地將該方法描述為次優”。現在仔細研究了,發現RaBitQ確實是最優的,團隊正在更新TurboQuant手稿。