Вопросы для собеседования AI-продакт-менеджера

Что хотим услышать

• Цель и гипотезы: что хотим узнать
• Рекрутинг: владельцы с недавним опытом проблемы, 5-8 на сегмент
• Вопросы о прошлом опыте, без продажи идеи
• Запись и разбор: паттерны, цитаты, частота
• Вывод: подтверждена ли проблема, что проверять дальше
• Отдельно проверить готовность платить поведением

Если ответил, копните глубже

Что хотим услышать

• Когорты по моменту начала
• Классический N-day: активен ровно в день N
• Rolling: в день N или позже
• Bracket: активен в интервале
• Выбор по естественной частоте продукта
• Взвешенное среднее по когортам

Если ответил, копните глубже

Что хотим услышать

• Текст режется токенайзером на токены, у каждого номер в словаре
• Токены превращаются в векторы, проходят слои трансформера с вниманием
• На выходе распределение вероятностей следующего токена
• Токен выбирается сэмплированием и добавляется в контекст, цикл повторяется
• Состояния между запросами нет, всё знание о диалоге в контексте
• Галлюцинации: модель выдаёт правдоподобное, а не проверенное

Если ответил, копните глубже

Что хотим услышать

• Объём данных, пропуски, явные ошибки
• Среднее и медиана вместе, их сравнение говорит о хвосте
• Разброс: std и IQR, квантили p5/p25/p75/p95/p99
• Гистограмма, лучше в логарифмической шкале для денег
• Выбросы: ошибка данных или реальные крупные клиенты
• Разрезы по сегментам, где распределение может отличаться

Если ответил, копните глубже

Что хотим услышать

• Начинаю с понимания проблемы и цели бизнеса, а не с макета
• Собираю данные: аналитика, исследования, ограничения, конкуренты
• Формулирую проблему и критерий успеха
• Генерирую варианты, проверяю на прототипах
• Передаю в разработку с состояниями и проверяю реализацию
• Смотрю на метрики после запуска и делаю выводы

Если ответил, копните глубже

Что хотим услышать

• Две-три стороны, а не список из десяти
• Каждая подкреплена примером
• Стороны связаны с вакансией
• Нет пустых слов вроде «стрессоустойчивый, коммуникабельный» без доказательств
• Уверенно, без хвастовства

Если ответил, копните глубже

Что хотим услышать

• Продакт отвечает за что и зачем: проблему пользователя и результат бизнеса
• Работа делится на discovery и delivery плюс коммуникации и аналитика
• Оценка по outcome, а не по числу фич
• Проджект отвечает за как и когда: сроки, бюджет, объём
• Product Owner это роль в Scrum, продакт это должность
• Пример из своего опыта

Если ответил, копните глубже

Что хотим услышать

• Определение активности через тренировку, а не открытие
• DAU, WAU, MAU и stickiness с учётом естественной частоты
• Частота: тренировок в неделю на активного
• Глубина: завершённые тренировки, длительность
• Распределение L28 или L7
• Связь с удержанием и подпиской

Если ответил, копните глубже

Что хотим услышать

• Температура масштабирует логиты перед softmax, порядок не меняет
• Низкая температура: стабильно и однообразно, высокая: разнообразно и рискованно
• Top-k оставляет k лучших токенов, фиксированно
• Top-p оставляет минимальное ядро с суммарной вероятностью p, адаптивно
• Для извлечения и JSON низкая температура, для креатива выше
• Даже T = 0 не гарантирует полного детерминизма у провайдера

Если ответил, копните глубже

Что хотим услышать

• Предполагаем, что эффекта нет
• p-value: как часто случайность дала бы такую же или большую разницу
• Маленький p-value: случайностью объяснить трудно, отвергаем H0
• Не вероятность того, что гипотеза верна, и не размер эффекта
• Порог α выбран заранее, обычно 5%
• Большой p-value: эффект не доказан, а не доказано отсутствие

Если ответил, копните глубже

Что хотим услышать

• Тексты часть дизайна, не «рыба» до последнего момента
• Пишу реальные тексты в макете с начала, проверяю длину
• Глоссарий терминов и редполитика
• Ревью с UX-райтером или редактором, проверка на пользователях
• Тексты ошибок и пустых состояний продумываю сам, не оставляю разработке

Если ответил, копните глубже

Что хотим услышать

• Назвал реальную слабость, а не штамп
• Слабость не критична для роли
• Рассказал, что делает, чтобы её компенсировать
• Есть пример прогресса
• Коротко, без самобичевания

Если ответил, копните глубже

Что хотим услышать

• Уточнить цель бизнеса: частота поездок, удержание водителей, выручка
• Выбрать сегмент: пассажиры или водители, какие именно
• Путь пользователя и где главные боли
• Несколько решений и приоритизация
• Метрика успеха и защитные метрики
• Учесть двусторонний рынок: решение не должно навредить другой стороне

Если ответил, копните глубже

Что хотим услышать

• Last click недооценивает каналы знакомства
• Посмотреть пути и другие модели: first click, position-based
• Учесть качество клиентов: LTV по каналам
• Проверить инкрементальность экспериментом
• Предложить постепенное изменение с контролем
• Решение по приросту выручки, а не по отчёту

Если ответил, копните глубже

Что хотим услышать

• Рубрика с конкретными критериями, лучше бинарные вопросы
• Эталон или контекст в промпте судьи
• Калибровка на ручной разметке, согласие с людьми
• Борьба с искажениями: перестановка, штраф за многословие, другая семья моделей
• Выборочная ручная проверка на масштабе
• Версии судьи как часть оценочного конвейера

Если ответил, копните глубже

Что хотим услышать

• Сначала понять природу: ошибка, бот, тест или реальный крупный клиент
• Ошибки и ботов исправить или исключить по правилу, записанному заранее
• Реальные значения не удалять: они часть бизнеса
• Для тестов: винзоризация или устойчивые метрики, правило до запуска
• Проверить чувствительность вывода: с выбросами и без
• Одинаковая обработка во всех группах

Если ответил, копните глубже

Что хотим услышать

• До работы договариваюсь о метрике успеха и базовом значении
• Связываю UX-метрики с бизнес-метриками (конверсия, удержание, поддержка)
• По возможности A/B, иначе сравнение с контролем или когортами
• Качественные данные как объяснение, не замена цифрам
• Честно о неудачах и выводах

Если ответил, копните глубже

Что хотим услышать

• Назван масштаб: команда, нагрузка, пользователи или деньги
• Есть решения, которые повлияли дальше своего кода
• Есть метрики результата
• Упомянуто влияние на команду: менторинг, процессы, ревью
• Уложился в 2 минуты, не утонул в деталях

Если ответил, копните глубже

Что хотим услышать

• Собрать проблемы и ожидаемый эффект каждой задачи
• Сравнить с целью и метрикой команды, оценить стоимость задержки
• Предложить решение и прозрачно объяснить критерии
• Поискать частичные или дешёвые решения для остальных
• Если согласия нет, вынести на общего руководителя с данными
• Зафиксировать договорённость и сроки для отложенных

Если ответил, копните глубже

Что хотим услышать

• Проверить данные и разметку событий
• Найти шаг между корзиной и оплатой, где выросли потери
• Срезы: платформа, версия, способ оплаты, регион, новые и старые
• Сопоставить с релизами, сбоями провайдера, изменениями цен и доставки
• Проверить окно конверсии и микс трафика
• Подтвердить гипотезу и исправить, поставить алерт

Если ответил, копните глубже

Что хотим услышать

• Собрать оценочный набор вопросов с релевантными чанками и эталонами
• Разделить метрики: recall@k и MRR поиска, верность и полнота ответа
• Если плох поиск: очистка, чанкинг, заголовки в чанках, гибрид, переписывание запроса, реранкер
• Если плоха генерация: промпт, объём и порядок контекста, цитаты, модель
• Разбирать конкретные провалы из логов, а не только средние
• Каждое изменение проверять на наборе, чтобы не сломать остальное

Если ответил, копните глубже

Что хотим услышать

• α и мощность задают цену ложного срабатывания и пропуска
• Стандарт 5% и 80% не догма
• Рискованное изменение (цены, платёжный поток): строже α, жёсткие guardrail
• Дешёвые обратимые изменения: можно мягче α ради скорости
• Пропуск эффекта дорог, если трафика мало и тестов мало
• Решение фиксируется до теста

Если ответил, копните глубже

Что хотим услышать

• Доступность шире незрячих: слабое зрение, возраст, моторика, временные и ситуативные ограничения
• Без неё не узнать, сколько таких пользователей: они просто уходят
• Улучшения помогают всем: контраст на солнце, крупные цели, понятные ошибки
• Юридические и репутационные риски, требования крупных B2B и госзаказчиков
• Дешевле закладывать в дизайн-систему сразу, чем переделывать

Если ответил, копните глубже

Что хотим услышать

• Акцент на масштаб и влияние, а не на список фич
• Метрики бизнес-эффекта
• Лидерство: менторинг, процессы, архитектурные решения
• Компактность: старый опыт свёрнут
• Понимание, что резюме под роль, а не под всё сразу

Если ответил, копните глубже