Техпрогон
ВойтиНачать бесплатно

Вход в IT с нуля

Как стать Data Engineer с нуля: план обучения по шагам

Обновлено Порог входа: высокий 85 уроков теория и вопросы: ~27 часов
Содержание
  1. Коротко
  2. Что за профессия
  3. Через 5 лет
  4. План по этапам
  5. Сколько времени займёт
  6. Проекты для портфолио
  7. Что спросят на первом собесе
  8. Как найти первую работу
  9. Ошибки новичков
  10. Частые вопросы
Коротко

Чтобы стать Data Engineer с нуля, начните с «Python» и «SQL и базы данных» и идите по плану из 4 этапов, от основ до подготовки к собеседованию. Теория и вопросы по этому плану занимают примерно 27 часов, а больше всего времени уйдёт на практику и свои проекты: обычно путь до первых собесов занимает несколько месяцев регулярных занятий. Порог входа высокий: нужен крепкий SQL, Python и понимание распределённых систем.

Кто такой Data Engineer

Data Engineer строит конвейеры данных: забирает из источников, чистит, складывает в хранилище для аналитиков и моделей. Нужны сильный SQL, Python, Airflow, Spark и понимание хранилищ. Часто приходят из аналитики или бэкенда, с нуля путь длиннее.

ВопросОтвет
Что делаетСтроит пайплайны и хранилища, по которым текут данные компании
Язык и инструментыSQL, Python, Airflow, Spark, Kafka, ClickHouse
Порог входаВысокий. Нужен крепкий SQL, Python и понимание распределённых систем
Кому подойдётТем, кто любит порядок в данных и инженерные задачи

Перспектива через 5 лет

Что будет с профессией к 2031

Растёт

Данные это топливо ИИ: без пайплайнов и хранилищ ни одна модель не работает.

Пайплайны, качество данных, стриминг, подготовка данных для RAG и обучения.

Куда расти:
ML/LLM-инженер
Прогноз по данным на октябрь 2026, источники: [1]Прогноз по всем профессиям

Как стать Data Engineer: план по этапам

Порядок тем построен по карте навыков: сначала то, на что опираются следующие темы. Название темы ведёт на бесплатный урок.

Звёздочкой отмечены темы, которые заметно спрашивают уже у junior. С них и начинайте повторение перед первым собесом.
2

Этап 2. Следующий слой

Следующий слой поверх основы: фреймворки и темы, которые опираются на предыдущий этап.

уроки 1,4 ч 79 вопросов уровня junior
Data Engineering
  1. Хранилища: OLTP, OLAP, DWH, lakehouse6 мин
  2. Моделирование: Кимбалл, звезда, SCD7 мин
  3. SQL дата-инженера7 мин
  4. ETL, ELT и Airflow7 мин
  5. Батч и стриминг6 мин
  6. Kafka7 мин
  7. Spark7 мин
  8. Parquet и партиционирование7 мин
  9. ClickHouse и колоночные СУБД7 мин
  10. Качество данных и контракты6 мин
  11. dbt7 мин
  12. CDC и инкрементальная загрузка7 мин
3

Этап 3. Окружение и инструменты

То, что нужно в любой команде: сети, базы, командная строка, Git. Можно идти параллельно с основой.

уроки 3,1 ч 180 вопросов уровня junior
Docker и Kubernetes
  1. Образы и слои7 мин
  2. Dockerfile и multi-stage8 мин
  3. Сети и тома7 мин
  4. Docker Compose7 мин
  5. Безопасность контейнеров7 мин
  6. Архитектура Kubernetes8 мин
  7. Pod и Deployment8 мин
  8. Service и Ingress8 мин
  9. ConfigMap и Secret7 мин
  10. Probes и ресурсы8 мин
  11. HPA, StatefulSet и тома8 мин
  12. RBAC и Helm8 мин
  13. Отладка в кластере8 мин
Linux
  1. Файловая система и права7 мин
  2. Процессы и сигналы7 мин
  3. Потоки и пайпы6 мин
  4. grep, sed, awk, find, xargs8 мин
  5. Bash-скрипты8 мин
  6. systemd и журналы7 мин
  7. Сеть в Linux8 мин
  8. Диски, ФС и LVM7 мин
  9. Производительность8 мин
  10. Память и OOM7 мин
  11. SSH и безопасность7 мин
  12. Пакеты и загрузка7 мин
5

Этап 5. На вырост: после первой работы

Для первого оффера junior не обязательно. Понадобится на middle, но знакомство с темой плюс на собесе.

уроки 1 ч 26 вопросов уровня junior
System design
  1. Как вести секцию7 мин
  2. Масштабирование7 мин
  3. Кеширование7 мин
  4. Выбор хранилища8 мин
  5. Очереди и события8 мин
  6. Консистентность и CAP8 мин
  7. Надёжность и наблюдаемость7 мин
  8. Разборы систем8 мин

Сколько времени займёт

ЭтапУрокиВопросы juniorТеория и вопросы
Этап 1. Основа профессии2,8 ч2178 часов
Этап 2. Следующий слой1,4 ч793 часа
Этап 3. Окружение и инструменты3,1 ч1808 часов
Этап 4. Подготовка к собеседованию2,6 ч2038 часов
Этап 5. На вырост: после первой работы1 ч262 часа
Как считали: время чтения уроков плюс 1,5 минуты на каждый вопрос или задачу уровня junior. Без этапа «на вырост» выходит примерно 27 часов. Это только теория и проверка себя. Практика на своих проектах, резюме и отклики займут больше времени, чем теория: закладывайте месяцы, а не недели.

Проекты для портфолио

2-3 своих проекта с README и живой ссылкой дают больше, чем десяток учебных. Идеи, с которых можно начать:

  • ETL-пайплайн на Airflow из открытого API в PostgreSQL или ClickHouse
  • Обработка большого датасета на Spark с партиционированием
  • Поток событий через Kafka с проверками качества данных

Что спросят на первом собеседовании

Частые вопросы junior по этой роли. Полный список тем и вопросов на странице «Что должен знать junior Data Engineer».

Как найти первую работу

  • SQL на сильном уровне: оконные функции, планы запросов
  • Объясняйте разницу батча и стриминга, OLTP и OLAP
  • Покажите пайплайн, который можно запустить через docker-compose

Частые ошибки новичков

  • Не проверять качество данных в пайплайне
  • Не понимать модели хранилищ и партиционирование
  • Учить инструменты, не понимая задачу бизнеса

Частые вопросы

Сколько учиться, чтобы стать Data Engineer?
Теория и вопросы уровня junior по этому плану занимают примерно 27 часов. Основное время уйдёт на практику: задачи, код, 2-3 своих проекта. Обычно путь с нуля до первых собесов занимает несколько месяцев регулярных занятий, но темп у всех разный.
С чего начать?
С первого этапа плана: «Python» и «SQL и базы данных». Читайте короткий урок и сразу закрепляйте вопросами, по одной теме за раз.
Какой порог входа?
Высокий. Нужен крепкий SQL, Python и понимание распределённых систем.
Что спросят на первом собеседовании?
Чаще всего базу, больше всего вопросов в темах «Коллекции», «SELECT и фильтрация», «Хранилища: OLTP, OLAP, DWH, lakehouse» и «Dockerfile и multi-stage». Плюс рассказ о себе, учебные проекты и мотивацию. Полный список тем на странице «Что должен знать junior».

Начните путь в профессию сегодня

Все уроки бесплатно, план по шагам и вопросы на закрепление. Когда дойдёте до собесов, там же мок и трекер откликов.

Начать бесплатно

Куда дальше

Что должен знать junior Data Engineer

Темы и 15 частых вопросов

Тест: Data Engineer

Проверить, что уже знаете

Как проходит собеседование

Этапы от HR до оффера

Все профессии с нуля

Сравнить 30 направлений

Как стать AI-инженером

Встраивает LLM в продукт: RAG, агенты, вызов инструментов, оценка качества

Как стать ML/LLM-инженером

Выводит модели и LLM-сервисы в прод: RAG, агенты, инференс

Как стать AI-продакт-менеджером

Ведёт продукт или фичу на нейросетях: от гипотезы до метрик качества

Как стать Data Scientist

Строит модели машинного обучения для прогнозов и рекомендаций