Когда FDR, а когда FWER

Я бы не применял одну поправку ко всем 150 метрикам. Метрики делятся на роли: одна или несколько главных, по которым принимается решение, guardrail-метрики, которые не должны ухудшиться, и диагностические для понимания механики. Для главных метрик и сравнений вариантов с контролем нужна строгая защита FWER, Холма достаточно, проверок там немного. Для guardrail тоже важна чувствительность, поэтому их немного и они заявлены заранее. Для 150 диагностических метрик Бонферрони дал бы порог 0.0003 и уничтожил мощность, поэтому там FDR через Бенджамини-Хохберга: он допустим при положительной зависимости, а метрики в продукте обычно коррелированы положительно. В интерфейсе показывал бы скорректированные p-value и интервалы, а роль метрики фиксировал бы до запуска, чтобы её нельзя было «повысить» задним числом.