Поиск ближайших соседей в проде

Точный перебор 50 млн векторов размерности 256 на каждый запрос это десятки миллиардов операций, в латентность не влезет. Использую приближённый поиск ближайших соседей. HNSW строит многоуровневый граф близости и даёт отличный recall при малой задержке, но ест память. IVF делит пространство на кластеры и ищет только в нескольких ближайших, а product quantization сжимает векторы, чтобы всё влезло в память. Векторы нормирую, тогда косинус равен скалярному произведению. Параметры индекса (ef_search для HNSW, nprobe для IVF) задают компромисс между recall и скоростью, его меряю как recall@10 относительно точного поиска на выборке запросов. Технически это Faiss или векторная база вроде Qdrant или Milvus. Отдельно продумываю обновление индекса при появлении товаров и фильтры по наличию: фильтровать до поиска или брать больше кандидатов и фильтровать после.