Выбор ответа Senior Эмбеддинги и векторный поиск обновлено
Укороченные эмбеддинги
Вопрос
Некоторые модели обучены так, что первые 256 координат вектора на 1024 сами по себе являются хорошим эмбеддингом (Matryoshka representation learning). Зачем это нужно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Хранить и искать по короткому вектору, экономя память, и уточнять топ полным. Matryoshka-обучение заставляет префиксы вектора нести основную информацию.
Варианты ответа
- Чтобы модель работала без GPU: короткий вектор считается на CPU
- Чтобы векторы разных моделей стали совместимыми по первым 256 координатам
- Хранить и искать по короткому вектору, экономя память, и уточнять топ полнымправильный ответ
- Это способ увеличить контекстное окно эмбеддинг-модели в четыре раза
Разбор
Matryoshka-обучение заставляет префиксы вектора нести основную информацию. Короткий вектор в 4 раза дешевле хранить и сравнивать, точность падает умеренно, а финальный топ можно уточнить полным вектором. На требования к GPU это не влияет. Совместимости между моделями не появляется. Окно входа задаётся моделью, а не размерностью выхода.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.