По порядку Junior Пропуски, дубли и типы обновлено
Порядок чистки сырых данных
Вопрос
Расставьте шаги чистки выгрузки в разумном порядке.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Привести типы: даты, числа, категории
- 2Удалить дубли по бизнес-ключу
- 3Нормализовать строки: пробелы, регистр, формат
- 4Проверить уникальность ключа и сверить итоги с источником
- 5Посмотреть shape, info и долю пропусков
- 6Обработать пропуски по смыслу колонки
Показать ответ и разбор
Коротко
Сначала смотрим на данные, иначе не понятно, что чистить. Типы до нормализации и дублей: строки "1 200" и "1200" или даты в разных форматах иначе не совпадут.
Правильный порядок
- 1Посмотреть shape, info и долю пропусков
- 2Привести типы: даты, числа, категории
- 3Нормализовать строки: пробелы, регистр, формат
- 4Удалить дубли по бизнес-ключу
- 5Обработать пропуски по смыслу колонки
- 6Проверить уникальность ключа и сверить итоги с источником
Разбор
Сначала смотрим на данные, иначе не понятно, что чистить. Типы до нормализации и дублей: строки "1 200" и "1200" или даты в разных форматах иначе не совпадут. Дубли ищем после нормализации, чтобы " Москва" и "москва" стали одинаковыми. Пропуски обрабатываем, когда данные уже без мусора и повторов. Финальные проверки замыкают процесс.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.