Выбор ответа Junior RAG спрашивают часто обновлено
Размер чанка
Вопрос
Что обычно происходит, если резать документы на очень большие чанки (например, по 4000 токенов)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Эмбеддинг чанка размывается между темами, поиск хуже, а контекст быстро заполняется. Один вектор на большой фрагмент усредняет много тем, и близость к узкому вопросу падает.
Варианты ответа
- Поиск становится точнее: в большом чанке больше информации, и вектор ловит больше вопросов
- Ничего не меняется: размер чанка влияет только на скорость индексации, а не на качество поиска
- Эмбеддинг чанка размывается между темами, поиск хуже, а контекст быстро заполняетсяправильный ответ
- Модель не прочитает такой чанк: окно эмбеддинг-модели 512 токенов, остальное отрежется
Разбор
Один вектор на большой фрагмент усредняет много тем, и близость к узкому вопросу падает. Кроме того, несколько больших чанков съедают окно и бюджет. Маленькие чанки находятся точнее, но теряют контекст, поэтому ищут компромисс или parent document. Лимит длины эмбеддинг-моделей разный: у многих 512 токенов, у современных больше, но это не универсальная константа.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.