Как сравнить две конверсии

Question

Как проверить, что конверсия в группе B отличается от A?

Техпрогон · Accepted Answer

Беру z-тест для двух долей. Доли p1 = x1/n1 и p2 = x2/n2, при нулевой гипотезе они равны, поэтому стандартную ошибку считаю через объединённую долю p = (x1 + x2)/(n1 + n2): SE = sqrt(p(1-p)(1/n1 + 1/n2)). z = (p2 - p1)/SE, двусторонний p-value это 2(1 - Φ(z)). Z-тест для двух долей или эквивалентный хи-квадрат 2×2. Объединённая доля для стандартной ошибки при H0. p-value через нормальное распределение. Доверительный интервал разницы, а не только p-value. Маленькие числа успехов: точный тест Фишера. Конверсия считается по пользователям, а не по событиям. Беру z-тест для двух долей. Доли p1 = x1/n1 и p2 = x2/n2, при нулевой гипотезе они равны, поэтому стандартную ошибку считаю через объединённую долю p = (x1 + x2)/(n1 + n2): SE = sqrt(p(1-p)(1/n1 + 1/n2)). z = (p2 - p1)/SE, двусторонний p-value это 2(1 - Φ(z)). Это эквивалентно хи-квадрату для таблицы 2×2: χ² равно z². Кроме p-value показываю доверительный интервал разницы, уже с раздельными долями. Если успехов единицы, нормальное приближение плохое, беру точный тест Фишера. И проверяю, что конверсия посчитана на пользователя, иначе наблюдения зависимы.

Как сравнить две конверсии

Вопрос

Попробуйте сами

Коротко

Что должно прозвучать в ответе

Что могут спросить следом

Разбор

Ещё по теме «t-тест и z-тест»