Техпрогон
ВойтиНачать бесплатно
Выбор ответа Senior Хи-квадрат и Манна-Уитни обновлено

Хи-квадрат по событиям

Вопрос

Аналитик сравнил CTR групп хи-квадратом по показам: «клики / не клики» на 2 млн показов. Рандомизация была по пользователям. В чём проблема?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: Показы одного пользователя зависимы, дисперсия занижена. Хи-квадрат предполагает независимые наблюдения.

Варианты ответа

  1. Хи-квадрат нельзя применять к CTR, он для долей пользователей
  2. Нужна поправка Йейтса, иначе p-value занижен на больших выборках
  3. Показы одного пользователя зависимы, дисперсия заниженаправильный ответ
  4. Нужно было взять точный тест Фишера из-за размера выборки

Разбор

Хи-квадрат предполагает независимые наблюдения. Показы одного пользователя коррелированы, поэтому эффективная выборка меньше 2 млн, и тест слишком часто находит эффект. Правильно: дельта-метод или бутстреп по пользователям, либо пользовательская метрика. Поправка Йейтса и Фишер проблему зависимости не решают.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Потренироваться бесплатно

Предыдущий вопрос

Степени свободы хи-квадрат

Следующий вопрос

Ожидаемая частота в хи-квадрат

Урок по теме

Хи-квадрат, Фишер и Манна-Уитни

Термины по теме

Статистика U в тесте Манна-УитниSRM в A/B-тесте

Ещё по теме «Хи-квадрат и Манна-Уитни»

Все вопросы модуля