Выбор выходного слоя и потери

Выход и потеря следуют из распределения цели. Регрессия: линейный выход без активации, MSE как базовый вариант (гауссов шум), MAE или Huber при выбросах, квантильная потеря, если нужен перцентиль, Poisson loss для счётчиков. Бинарная классификация: один логит и BCEWithLogitsLoss, сигмоиду применяю только при инференсе. Классификация на K взаимоисключающих классов: K логитов и CrossEntropyLoss, softmax внутри потери, поэтому явный softmax перед ней это баг. Multi-label: K логитов и бинарная кросс-энтропия по каждому. При дисбалансе добавляю веса классов или pos_weight, в детекции focal loss. Для ранжирования и поиска парные или списочные потери и контрастивные функции вроде InfoNCE.