Как оценивать генеративную модель

У генеративной модели нет одного правильного ответа, поэтому оцениваю несколько аспектов: реалистичность, разнообразие и соответствие условию. Для картинок стандарт FID: сравнивает распределения признаков предобученной сети на настоящих и сгенерированных картинках, чувствителен и к качеству, и к разнообразию, но смещён на малых выборках и зависит от сети признаков. Соответствие тексту меряют CLIP score. Для текста у языковых моделей есть перплексия на отложенных данных, но она плохо отражает полезность ответов, поэтому используют наборы задач с проверяемыми ответами и попарные сравнения, в том числе другой моделью как оценщиком; у неё есть смещения: любит длинные ответы, свой стиль и первую позицию. Финальный арбитр это люди, через попарные сравнения и рейтинги. Отдельно проверяю, не воспроизводит ли модель обучающие данные дословно, и безопасность.