SRM: что это
Коротко
SRM: расхождение фактического соотношения групп с запланированным (делили 50/50, получили 51/49 на больших числах). Проверяют хи-квадратом согласия, порог обычно p < 0.001.
Определение
Расхождение фактического соотношения групп с запланированным (делили 50/50, получили 51/49 на больших числах). Проверяют хи-квадратом согласия, порог обычно p < 0.001. При SRM результаты не интерпретируют: ищут причину (редиректы, ошибки, логирование, боты).
Из урока «Дизайн A/B-теста за 7 минут»
При SRM результаты теста нельзя интерпретировать: значит, что-то по-разному отбирает или теряет пользователей в группах (ошибка редиректа, падение версии B у части браузеров, боты, фильтр в логировании).
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Статистика и A/B-тесты проверят, что термин понятен в деле.