Бутстреп простыми словами

Мы хотим понять, насколько медиана гуляла бы, если бы мы собрали данные заново. Собрать заново нельзя, поэтому считаем, что наша выборка хорошо похожа на всех пользователей, и много раз «собираем выборку» из неё самой: вытаскиваем столько же наблюдений с возвращением. Для A/B делаю так для каждой группы отдельно, на каждой итерации считаю медиану A, медиану B и разницу. После нескольких тысяч итераций беру 2.5-й и 97.5-й перцентили разниц: это 95% интервал. Если он не накрывает ноль, разница значима. Важно ресэмплить единицы рандомизации, то есть пользователей целиком, иначе интервал выйдет слишком узким. И помнить ограничения: на десятке точек бутстреп врёт, для максимума и экстремальных квантилей не работает, на тяжёлых хвостах интервал среднего нестабилен.