Lakehouse: что это и зачем
Вопрос
Компания думает переезжать с классического DWH на lakehouse. Объясните, что это такое, и какие вопросы вы зададите перед решением.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Файлы Parquet в объектном хранилище плюс табличный формат (Iceberg, Delta)
Транзакции, MERGE, эволюция схемы, time travel
Разделение хранения и вычислений, несколько движков
Вопросы: объёмы, задержки запросов, нужен ли ML и сырые данные, компетенции команды
Эксплуатация: компакция, очистка снапшотов, каталог, права
Часто гибрид: lakehouse плюс быстрый слой для дашбордов
Что могут спросить следом
- Какой каталог метаданных вы выберете?
- Как организуете права доступа на уровне колонок?
Разбор
Образцовый ответ: «Lakehouse это данные в открытом формате Parquet на дешёвом объектном хранилище, а поверх табличный формат вроде Iceberg или Delta, который даёт транзакции, MERGE и удаления, эволюцию схемы и time travel. Хранение отделено от вычислений: одни и те же таблицы читают Spark, Trino, Flink. Перед переездом спрошу про объёмы и рост, про требования к задержке дашбордов, нужен ли ML и доступ к сырым данным, сколько стоит текущий DWH и какие компетенции у команды. Lakehouse требует эксплуатации: компакция мелких файлов, очистка снапшотов, каталог, управление правами. Для интерактивных дашбордов часто оставляют быстрый слой вроде ClickHouse поверх витрин».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.