Copy-on-Write и SettingWithCopyWarning

Question

Объясните, откуда бралось SettingWithCopyWarning и что изменил Copy-on-Write в pandas 3.0.

Техпрогон · Accepted Answer

В старом pandas результат индексации мог оказаться представлением исходных данных или копией в зависимости от типа операции и раскладки памяти. Поэтому df[mask]["b"] = 0 иногда менял таблицу, а иногда нет, и pandas честно предупреждал SettingWithCopyWarning. Раньше срез мог быть и view, и копией, и pandas не знал наверняка. Цепочное присваивание могло не изменить исходную таблицу, отсюда предупреждение. CoW: любой производный объект ведёт себя как копия, копирование ленивое. Цепочное присваивание в 3.0 никогда не работает, правильно через loc. Меньше копий в цепочках методов: выигрыш по памяти. Код, который менял df через колонку или срез, при миграции ломается. В старом pandas результат индексации мог оказаться представлением исходных данных или копией в зависимости от типа операции и раскладки памяти. Поэтому df[mask]["b"] = 0 иногда менял таблицу, а иногда нет, и pandas честно предупреждал SettingWithCopyWarning. Copy-on-Write убирает неоднозначность: любой объект, полученный из DataFrame, ведёт себя как независимая копия, а реальное копирование откладывается до первой записи. Следствия: цепочное присваивание никогда не меняет исходник, писать нужно одной операцией df.loc[mask, "b"] = 0. Изменение колонки, вынутой в переменную, тоже не трогает таблицу. Плюс в производительности: rename, resetindex и другие методы в цепочке больше не копируют данные. При переходе на 3.0 ищу места, где код рассчитывал на изменение через срез, в 2.2 их подсвечивает режим pd.options.mode.copyonwrite = "warn".

Copy-on-Write и SettingWithCopyWarning

Вопрос

Попробуйте сами

Коротко

Что должно прозвучать в ответе

Что могут спросить следом

Разбор

Термины по теме

Ещё по теме «Производительность и память»