Выбор ответа Senior Мощность и размер выборки обновлено
Мощность по факту теста
Вопрос
Тест не прокрасился. Коллега считает «наблюдаемую мощность» по фактическому эффекту и получает 25%: «значит, тест был слабый, эффект есть». Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Она лишь пересказывает p-value; мощность считают до теста. Наблюдаемая мощность однозначно определяется p-value: если подставить наблюдаемый эффект, то при незначимом p-value мощность всегда окажется низкой.
Варианты ответа
- Всё верно: так и проверяют мощность после теста
- Нужно было считать мощность по p-value, а не по эффекту
- Наблюдаемую мощность нужно умножить на 2 для двустороннего
- Она лишь пересказывает p-value; мощность считают до тестаправильный ответ
Разбор
Наблюдаемая мощность однозначно определяется p-value: если подставить наблюдаемый эффект, то при незначимом p-value мощность всегда окажется низкой. Вывод «эффект есть» из этого не следует. После теста полезнее доверительный интервал: он показывает, какие эффекты данные исключают. Мощность и MDE задаются в дизайне до запуска.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.