exec, spawn и большой вывод

Question

Сервис вызывает exec("pgdump mydb") и получает ошибку stdout maxBuffer length exceeded, хотя команда отрабатывает нормально. Что правильно сделать?

Техпрогон · Accepted Answer

Правильный ответ: spawn и передать stdout потоком через pipeline, не копя в памяти. exec и execFile в режиме колбэка буферизуют весь stdout и stderr в память и ограничены maxBuffer (по умолчанию 1 МБ). spawn и передать stdout потоком через pipeline, не копя в памяти. exec и execFile в режиме колбэка буферизуют весь stdout и stderr в память и ограничены maxBuffer (по умолчанию 1 МБ). Для дампа на гигабайты это неверный инструмент: даже с огромным maxBuffer процесс получит пик памяти размером с дамп. spawn отдаёт потоки, и их можно направить в файл, сжатие или S3 через pipeline с backpressure. У exec нет режима без shell, это и есть его суть (для этого execFile). /dev/null выбросит сам результат.

exec, spawn и большой вывод

Вопрос

Попробуйте сами

Коротко

Варианты ответа

Разбор

Термины по теме

Ещё по теме «Файлы и процессы»