Вопросы по Статистика и A/B-тесты
От среднего и медианы до мощности, бутстрепа и CUPED. Помогает уверенно пройти секцию статистики и A/B у аналитика, DS и продакта: объяснить p-value без ошибок и разобрать кейс «тест показал, что делать».
Проверьте себя: тест по статистике и A/B-тестам
20 вопросов, 10 минут, уровень junior, middle или senior
Описательная статистика
Среднее, медиана, мода, дисперсия, квантили, выбросы и асимметрия.
Урок: Описательная статистика за 6 минут 6 мин- Почему дисперсия выборки делится на n - 1
- Среднее, медиана и выборочное std на Python
- Выбросы по правилу Тьюки на Python
- Корреляция и причинность
- np.std и pandas std дают разные числа
- Как описать распределение метрики
- Правило Тьюки для выбросов
- Меры описательной статистики
Ещё 10 вопросов и задач
Распределения
Бернулли, биномиальное, Пуассона, нормальное, экспоненциальное, логнормальное и когда какое.
Урок: Распределения, которые нужны аналитику 7 мин- Дисперсия конверсии
- Пуассон как приближение бинома
- Распределение числа покупок
- Вероятность не меньше k успехов
- Вероятность не больше k событий по Пуассону
- Плотность больше единицы
- Отсутствие памяти у экспоненциального
- Распределение денежных метрик
Ещё 10 вопросов и задач
- Процесс и его распределение
- Нужна ли нормальность данных для t-теста
- Квантили нормального распределения
- Правило 68-95-99.7
- PMF, PDF и CDF
- Когда подходит распределение Пуассона
- Сверхдисперсия в счётных данных
- Распределение p-value в A/A-тестах
- Зачем t-распределение
- Какие распределения встречаются в продуктовых метриках
ЦПТ и доверительные интервалы
Выборочное распределение, стандартная ошибка, ЦПТ, интервалы для среднего и доли.
Урок: ЦПТ и доверительные интервалы 7 мин- Решение по интервалу эффекта
- Как сузить доверительный интервал вдвое
- Как интерпретировать доверительный интервал
- Интервал для среднего
- Интервал для доли
- Центральная предельная теорема
- Когда ЦПТ подводит
- Что утверждает ЦПТ
Ещё 11 вопросов и задач
- Доверительный интервал для среднего на Python
- Размер выборки для заданной погрешности опроса
- Интервал Уилсона для конверсии
- Клики одного пользователя и ЦПТ
- Доверительный интервал простыми словами
- Уровень доверия и ширина
- Шаги расчёта доверительного интервала среднего
- Пересечение интервалов групп
- Стандартная ошибка и стандартное отклонение
- Интервал на маленькой выборке
- Интервал Вальда при нуле успехов
Проверка гипотез
Нулевая и альтернативная гипотезы, p-value, уровень значимости, ошибки I и II рода.
Урок: Проверка гипотез и p-value без ошибок 7 минМощность и размер выборки
Мощность, MDE, расчёт размера выборки и длительности теста.
Урок: Мощность, MDE и размер выборки 7 минt-тест и z-тест
z-тест для долей, t-тест Стьюдента и Уэлча, парный t-тест, допущения.
Урок: t-тест и z-тест без зубрёжки 7 мин- A/B: значимо, но эффект крошечный
- A/B: выручка решается тремя китами
- Парный t-тест на Python
- t-статистика и степени свободы Уэлча
- z-тест для двух конверсий на Python
- Дробные степени свободы у Уэлча
- Какой тест для какой задачи
- Нужна ли нормальность данных для t-теста
Ещё 10 вопросов и задач
Хи-квадрат и Манна-Уитни
Хи-квадрат, точный тест Фишера, Манна-Уитни и что он на самом деле проверяет.
Урок: Хи-квадрат, Фишер и Манна-Уитни 7 мин- Связь хи-квадрат 2×2 и z-теста долей
- Как работает хи-квадрат
- Формула хи-квадрат
- Статистика хи-квадрат для таблицы сопряжённости
- Статистика U Манна-Уитни на Python
- Проверка SRM: хи-квадрат и p-value
- Степени свободы хи-квадрат
- Хи-квадрат по событиям
Ещё 10 вопросов и задач
- Ожидаемая частота в хи-квадрат
- Когда нужен точный тест Фишера
- Тест Манна-Уитни: когда и почему
- Что проверяет тест Манна-Уитни
- A/B: Манна-Уитни значим, средняя выручка упала
- Манна-Уитни при большинстве нулей
- Статистика U Манна-Уитни
- Шаги теста хи-квадрат на независимость
- A/B: проверка SRM хи-квадратом
- Что такое SRM
Бутстреп и перестановки
Бутстреп-интервалы, перестановочный тест, когда они спасают и где обманывают.
Урок: Бутстреп и перестановочный тест 6 минМножественные проверки
FWER и FDR, поправки Бонферрони, Холма, Бенджамини-Хохберга, много метрик и групп.
Урок: Множественные проверки гипотез 6 минДизайн A/B-теста
Гипотеза, единица рандомизации, метрики (целевые, прокси, guardrail), ratio-метрики, A/A и SRM.
Урок: Дизайн A/B-теста за 7 минут 7 минЛовушки A/B
Подглядывание, эффект новизны, сетевые эффекты, парадокс Симпсона, сегменты задним числом.
Урок: Ловушки A/B-тестов 7 мин- Кейс: эффект затухает по неделям
- Кейс: тест покрасился на четвёртый день
- Кейс: поменяли сплит посреди теста
- Кейс: тест цены в такси
- Эффект по дням теста: поиск новизны
- Парадокс Симпсона: конверсия в сумме и по сегментам
- A/B при сетевых эффектах
- Эффект новизны
Ещё 10 вопросов и задач
CUPED и снижение дисперсии
CUPED, стратификация, линеаризация и дельта-метод для ratio-метрик.
Урок: CUPED и снижение дисперсии 7 минБайесовский подход
Апостериорное распределение, Beta-Binomial, вероятность что B лучше, отличие от частотного подхода.
Урок: Байесовский подход к A/B коротко 6 мин- Формула Байеса: тест на редкую болезнь
- Среднее Beta-распределения
- Информативный Beta-prior
- Обновление Beta-распределения
- Кейс: правило остановки по ожидаемым потерям
- Кейс: P(B > A) = 96%
- Кейс: байесовский тест на 40 пользователях
- Кейс: сильный prior на малой выборке