Перплексия: что это
Коротко
Перплексия: exp от средней кросс-энтропии на токен (или 2 в степени, если в битах). Эффективное число равновероятных вариантов, между которыми модель выбирает на каждом шаге.
Определение
exp от средней кросс-энтропии на токен (или 2 в степени, если в битах). Эффективное число равновероятных вариантов, между которыми модель выбирает на каждом шаге. Меньше лучше. Зависит от токенизатора, поэтому модели с разными словарями так не сравнивают.
Из урока «Энтропия, кросс-энтропия и KL за 6 минут»
Теория информации объясняет, почему классификаторы учат на кросс-энтропии, что такое перплексия языковой модели и зачем в VAE, дистилляции и RLHF стоит KL-дивергенция.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Математика для ML проверят, что термин понятен в деле.