Выбор ответа Senior Как устроены LLM обновлено
Lost in the middle
Вопрос
В промпт на 100 тысяч токенов положили 40 документов, нужный факт лежит в двадцатом. Модель часто его пропускает, хотя всё влезло в окно. Что это за эффект и что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Модели хуже используют середину длинного контекста; помогает отбор и реранкинг, важное к краям. Эффект «lost in the middle»: качество извлечения факта выше, когда он в начале или в конце контекста.
Варианты ответа
- Модели хуже используют середину длинного контекста; помогает отбор и реранкинг, важное к краямправильный ответ
- Реальное окно модели вдвое меньше заявленного, и всё дальше 50 тысяч токенов молча отбрасывается
- Это ошибка токенайзера на длинных текстах: после 64 тысяч токенов нужно сменить кодировку
- Модель игнорирует всё после 10 тысяч токенов, поэтому вопрос нужно повторить 10 раз
Разбор
Эффект «lost in the middle»: качество извлечения факта выше, когда он в начале или в конце контекста. Лечится не размером окна, а качеством отбора: меньше, но релевантнее, лучшее ближе к краям, вопрос в конце. Заявленное окно реально, просто использование неравномерно. Токенайзер на длину не влияет. Жёсткого обрыва на 10 тысячах нет, а повтор вопроса только тратит токены.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.