Как прочитать большой файл в pandas

Сначала читаю nrows=5000, смотрю колонки, типы и разделитель. Дальше режу объём: usecols только нужных колонок и экономные типы, строки с повторами в category, числа в int32 или float32, это часто уменьшает объём в разы. Если метрика складывается, сумма, количество, минимум, читаю chunksize и объединяю частичные результаты. С медианой и уникальными так не выйдет: уникальных можно собрать в множество, если их немного, а медиану считать приближённо или другим инструментом. Практичный путь: один раз перегнать файл в Parquet, а запросы писать в DuckDB или Polars, они читают файл потоково и параллельно. Если данных сотни гигабайт и это регулярная задача, это уже работа для хранилища или Spark.