Выбор ответа Middle Эмбеддинги и векторный поиск обновлено
Как измерить качество ANN-индекса
Вопрос
Как правильно оценить, насколько приближённый индекс теряет качество?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Для набора запросов найти точных k соседей перебором и измерить, какую долю нашёл ANN. ANN жертвует полнотой ради скорости, и мерить надо именно потерю относительно точного поиска на той же метрике.
Варианты ответа
- Посмотреть на среднее время ответа: если индекс отвечает быстро, качество поиска хорошее
- Для набора запросов найти точных k соседей перебором и измерить, какую долю нашёл ANNправильный ответ
- Проверить, что индекс на каждый запрос возвращает ровно k результатов без пропусков
- Сравнить размер индекса на диске с размером исходных векторов: чем ближе, тем точнее
Разбор
ANN жертвует полнотой ради скорости, и мерить надо именно потерю относительно точного поиска на той же метрике. Это отдельный вопрос от качества эмбеддингов: его меряют разметкой релевантности. Время ответа говорит о скорости. Ровно k результатов возвращает и плохой индекс. Размер индекса связан с памятью, а не с полнотой.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.