Перплексия
Вопрос
Что такое перплексия?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
exp от средней кросс-энтропии на токен (или 2 в степени, если в битах). Эффективное число равновероятных вариантов, между которыми модель выбирает на каждом шаге. Меньше лучше. Зависит от токенизатора, поэтому модели с разными словарями так не сравнивают.
Разбор
exp от средней кросс-энтропии на токен (или 2 в степени, если в битах). Эффективное число равновероятных вариантов, между которыми модель выбирает на каждом шаге. Меньше лучше. Зависит от токенизатора, поэтому модели с разными словарями так не сравнивают.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.