Как работает t-тест в A/B

Считаю разницу средних B и A и делю на стандартную ошибку этой разницы. Если эффекта нет, статистика распределена примерно по Стьюденту, и p-value показывает, насколько редко при H0 получается такая или большая по модулю статистика. По умолчанию беру версию Уэлча: она оценивает дисперсии групп отдельно и не ломается при неравных дисперсиях и размерах. Нормальность нужна не самим данным, а выборочному среднему, и при тысячах пользователей её обеспечивает ЦПТ. Критичнее независимость: если делим пользователей, анализ тоже должен быть на уровне пользователя, а не сессий. И слежу за тяжёлыми хвостами: несколько огромных чеков делают оценку нестабильной, тогда винзоризация по заранее выбранному квантилю или бутстреп. Интервал разницы считаю всегда: он показывает величину эффекта, а не только факт.