Когда ЦПТ подводит

ЦПТ асимптотическая, и в жизни есть три типичных ловушки. Первая: мало данных при скошенном распределении, например выручка на платящего по паре сотен покупок, тогда распределение среднего ещё заметно скошено, и интервалы несимметрично врут. Вторая: тяжёлые хвосты, когда несколько крупных клиентов дают львиную долю дисперсии, сходимость очень медленная, помогает винзоризация. Третья и самая частая: зависимость наблюдений. Если рандомизируем пользователей, а считаем по кликам или сессиям, наивная SE занижена, и ложных срабатываний больше пяти процентов. Для ratio-метрик вроде CTR нужен дельта-метод или линеаризация. Проверяю всё это на A/A-тестах по историческим данным: доля p < 0.05 должна быть около 5%.