Как импортировать CSV на 10 ГБ

Question

Как бы ты загрузил в базу CSV-файл на 10 ГБ средствами Node.js?

Техпрогон · Accepted Answer

Файл целиком читать нельзя, поэтому беру fs.createReadStream и парсер, который сам работает как поток, или readline для простого CSV. Читаю через for await: пока я не обработал текущую порцию, следующая не читается, так backpressure работает сам. Не читать файл целиком: createReadStream + построчный разбор (readline или парсер-стрим). Пачки (batch) по N строк в базу вместо вставки по одной. Backpressure: не читать дальше, пока пачка не записана (for await или pipeline). Обработка ошибок строк: лог битых строк, не ронять весь импорт. Возобновление: запоминать прогресс (номер строки или байтовый offset). Для максимума скорости: COPY в PostgreSQL через поток. Файл целиком читать нельзя, поэтому беру fs.createReadStream и парсер, который сам работает как поток, или readline для простого CSV. Читаю через for await: пока я не обработал текущую порцию, следующая не читается, так backpressure работает сам. Строки копятся в пачку, например по тысяче, и уходят в базу одним запросом. Вставка по одной строке будет в десятки раз медленнее. Если база PostgreSQL, самый быстрый путь это COPY FROM STDIN, куда можно направить поток через pipeline. Битые строки не должны ронять весь импорт: пишу их в отдельный лог с номером строки. Прогресс сохраняю, например номер последней записанной пачки, чтобы при падении продолжить, а не начинать заново. Для пользователя прогресс считаю по прочитанным байтам относительно размера файла.

Как импортировать CSV на 10 ГБ

Вопрос

Попробуйте сами

Коротко

Что должно прозвучать в ответе

Что могут спросить следом

Разбор

Термины по теме

Ещё по теме «Потоки и буферы»