Где считать: в базе или в pandas

Question

Нужна выручка по дням за год из таблицы на 2 млрд строк в PostgreSQL. Аналитик пишет pd.readsql("SELECT FROM orders", engine) и считает в pandas. Что лучше?

Техпрогон · Accepted Answer

Правильный ответ: Сделать GROUP BY по дню в SQL и вытащить 365 строк. Агрегат выгоднее посчитать там, где лежат данные: база использует индексы и не гонит 2 млрд строк по сети. pandas работает в памяти одной машины и такую таблицу не поднимет. chunksize в CSV или в readsql спасёт память, но всё равно… Сделать GROUP BY по дню в SQL и вытащить 365 строк. Агрегат выгоднее посчитать там, где лежат данные: база использует индексы и не гонит 2 млрд строк по сети. pandas работает в памяти одной машины и такую таблицу не поднимет. chunksize в CSV или в readsql спасёт память, но всё равно протащит все строки через сеть и Python.

Где считать: в базе или в pandas

Вопрос

Попробуйте сами

Коротко

Варианты ответа

Разбор

Термины по теме

Ещё по теме «Чтение и запись данных»