Выбор ответа Junior RAG обновлено
Зачем перекрытие чанков
Вопрос
Зачем при нарезке документа на чанки фиксированного размера делают перекрытие?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Чтобы мысль на границе двух чанков целиком попала хотя бы в один из них. Без перекрытия фраза «срок возврата составляет 14 дней» может разрезаться пополам, и ни один чанк не ответит на вопрос.
Варианты ответа
- Чтобы увеличить число чанков и улучшить статистику поиска по редким терминам
- Чтобы эмбеддинги соседних чанков совпадали и поиск находил их вместе
- Чтобы мысль на границе двух чанков целиком попала хотя бы в один из нихправильный ответ
- Перекрытие нужно только для PDF, где страницы рвут абзацы, а в HTML его не делают
Разбор
Без перекрытия фраза «срок возврата составляет 14 дней» может разрезаться пополам, и ни один чанк не ответит на вопрос. Перекрытие в 10-20% страхует от этого. Рост числа чанков это побочный эффект и лишние затраты, а не цель. Эмбеддинги соседей не совпадают. Формат исходника не важен.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.