Выбор ответа Middle Энтропия и KL обновлено
Перплексия языковой модели
Вопрос
Средняя кросс-энтропия языковой модели на тексте равна log 20 (натуральный логарифм). Чему равна перплексия?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: 20: как выбор из 20 равновероятных токенов. Перплексия = exp(кросс-энтропия) в тех же единицах логарифма. exp(log 20) = 20.
Варианты ответа
- log 20 ≈ 3: перплексия равна кросс-энтропии
- 1/20: средняя вероятность верного токена
- 400: квадрат числа вариантов на шаге
- 20: как выбор из 20 равновероятных токеновправильный ответ
Разбор
Перплексия = exp(кросс-энтропия) в тех же единицах логарифма. exp(log 20) = 20. Интерпретация: модель неопределённа так, как если бы на каждом шаге равномерно выбирала из 20 вариантов. Чем меньше, тем лучше. Сравнивать перплексии можно только при одинаковом токенизаторе.
- log 20 это сама кросс-энтропия.
- 1/20 это средняя вероятность в геометрическом смысле, а не перплексия.
- 400 это квадрат, без оснований.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.