A/B при сетевых эффектах

Обычный тест предполагает, что результат пользователя зависит только от его группы. В мессенджере новая функция в B меняет поведение друзей из A, на маркетплейсе группы делят один запас и одних продавцов, поэтому разница групп искажена: часто завышена, иногда занижена. Первый путь: рандомизировать кластерами, внутри которых взаимодействия сосредоточены. Это города, регионы, компании или сообщества в графе друзей. Цена: кластеров мало, эффективная выборка меньше, анализ ведут на уровне кластера, мощность падает, помогает стратификация по кластерам и CUPED на кластерных метриках. Второй путь для систем с общим ресурсом вроде такси: switchback, когда весь город переключается между алгоритмами по интервалам времени, а интервалы рандомизируются. Там важно учесть эффект переноса между интервалами и выбрать длину интервала больше времени «памяти» системы. Наличие интерференции можно проверить, сравнив оценки теста по пользователям и по кластерам.