Тест по статистике и A/B-тестам

Q: Сколько вопросов в тесте по статистике и A/B-тестам?

20 вопросов с выбором ответа: 7 junior, 8 middle и 5 senior. Их берём из банка в 126 вопросов с разборами.

Q: Как считается уровень?

Каждый ответ весит по сложности: junior 1 балл, middle 2, senior 3. Senior дают только тем, кто закрыл и сложные вопросы, поэтому угадать уровень на лёгких не выйдет.

Q: Нужна ли регистрация?

Нет. Вердикт, разбивка по темам и ошибки с правильными ответами видны сразу. Регистрация нужна, только чтобы сохранить результат и получить план подготовки.

Q: Таймер строгий?

Нет. На тест отводится около 10 минут, таймер просто показывает время. Когда оно выйдет, можно спокойно закончить.

Q: Вопросы каждый раз одни и те же?

Набор вопросов теста постоянный, а порядок вопросов и вариантов меняется при каждом прохождении. Остальные вопросы ждут в билетах тренажёра.

Q: Можно поделиться результатом?

Да. Ссылка показывает только тему, уровень, процент и дату, без имени и почты.

Question 1

Prior для конверсии Beta(1, 1). Из 200 пользователей купили 10. Какое апостериорное распределение?

Accepted Answer

Beta(11, 191)

Answer

Beta(10, 190)

Answer

Beta(11, 201)

Answer

Beta(10, 200)

Question 2

В тесте без реального эффекта проверяют 20 независимых метрик на уровне 0.05. Какова вероятность хотя бы одной «значимой» метрики?

Accepted Answer

Около 64%

Answer

Ровно 5%

Answer

Почти 100%

Answer

Около 20%

Question 3

Пилот на 40 пользователях: в A 3 конверсии из 20, в B 9 из 20. Какой тест уместнее?

Accepted Answer

Точный тест Фишера

Answer

z-тест для долей

Answer

t-тест Уэлча по конверсиям 0/1

Answer

Хи-квадрат без поправок, он точнее на малых выборках

Question 4

Тесту с MDE 2% нужно 10 000 пользователей на группу. Сколько нужно, чтобы ловить эффект 1% при тех же α и мощности?

Accepted Answer

40 000

Answer

20 000

Answer

14 142

Answer

10 000

Question 5

Чем FDR отличается от FWER?

Accepted Answer

FDR: доля ложных среди находок; FWER: шанс хоть одной

Answer

Это одно и то же, просто разные названия в разных пакетах

Answer

FDR строже FWER и поэтому даёт меньше значимых находок

Answer

FWER контролирует долю пропущенных эффектов, FDR ложных

Question 6

На одном массиве np.std(x) вернул 2.0, а pd.Series(x).std() вернул 2.31. Почему?

Accepted Answer

numpy делит на n (ddof=0), pandas на n - 1

Answer

pandas пропускает NaN при расчёте, а numpy нет

Answer

numpy округляет результат до одного знака

Answer

pandas считает медианное абсолютное отклонение

Question 7

Тест 50/50, 14 дней. В A 100 000 пользователей, в B 97 800, SRM-проверка дала p < 0.0001. Конверсия в B выше на 4%, p = 0.01. Что делать?

Accepted Answer

Не доверять, искать причину перекоса и перезапустить тест

Answer

Выкатывать: эффект значим, а перекос групп всего 2%

Answer

Взвесить группы до равного размера и пересчитать эффект

Answer

Продлить тест на неделю, пока размеры групп не выровняются

Question 8

Тест рассчитан на 4 недели. На 4-й день менеджер видит конверсию +6%, p = 0.02, и просит выкатить. Что ответить?

Accepted Answer

Продолжить до срока: ранний взгляд раздувает ложные победы

Answer

Выкатывать: p < 0.05, а эффект большой и бизнесу нужен

Answer

Остановить и перезапустить с большей выборкой и MDE

Answer

Выкатить на 50% и смотреть дальше на оставшихся

Question 9

Тест показал: конверсия 10.00% против 10.05%, p = 0.01 на 4 млн пользователей в группе, доверительный интервал разницы [+0.01; +0.09] п.п. Внедрение стоит 3 месяца работы команды. Что делать?

Accepted Answer

Сравнить эффект в деньгах с затратами, а не по p-value

Answer

Внедрять: эффект значим и интервал не содержит ноль

Answer

Перезапустить тест на большей выборке для точности

Answer

Тест провален: эффект меньше 1 п.п. и значит нулевой

Question 10

Тест A/B/C/D: три новых варианта против контроля A. Вариант C значим с p = 0.03, остальные нет. Что учесть перед решением?

Accepted Answer

Три сравнения требуют поправки, 0.03 может не пройти

Answer

Ничего: каждое сравнение с контролем это отдельный тест

Answer

Нужно сравнить все варианты попарно без поправок

Answer

Нужно объединить B, C и D в одну группу и сравнить с A

Question 11

Команда перешла на байесовский A/B и останавливает тест, как только P(B > A) > 95%, проверяя каждый день. Что верно?

Accepted Answer

При нулевом эффекте такое правило чаще даёт ложные выкатки

Answer

Проблем нет: posterior корректен в любой момент, подглядывание не влияет

Answer

Достаточно взять более сильный prior, и проблема исчезнет

Answer

Байесовский подход запрещает промежуточные проверки

Question 12

Аналитик сравнил CTR групп хи-квадратом по показам: «клики / не клики» на 2 млн показов. Рандомизация была по пользователям. В чём проблема?

Accepted Answer

Показы одного пользователя зависимы, дисперсия занижена

Answer

Хи-квадрат нельзя применять к CTR, он для долей пользователей

Answer

Нужна поправка Йейтса, иначе p-value занижен на больших выборках

Answer

Нужно было взять точный тест Фишера из-за размера выборки

Senior	от 80% баллов и от 60% senior-вопросов
Middle	от 60% баллов и от половины middle-вопросов
Junior	от 30% баллов или от 70% junior-вопросов
Пока стажёр	меньше, чем нужно для junior

Тест по статистике и A/B-тестам онлайн

20 вопросов по статистике и A/B-тестам

Примеры вопросов по статистике и A/B-тестам

Какие темы проверяет тест

Как считается уровень

Ещё тесты

Частые вопросы