🔍 How-to: как отладить модель, если метрика «просела» после дообучения

Ситуация: вы дообучили модель, но метрика резко ухудшилась. Что делать?

Вот пошаговая инструкция для анализа и устранения проблемы:

1️⃣ Сравните распределения признаков на train, valid и test

Проверьте, изменилось ли распределение важных признаков:

import seaborn as sns

for col in important_features:
    sns.kdeplot(train[col], label='train')
    sns.kdeplot(test[col], label='test')
    plt.title(col)
    plt.show()

👉 Если распределения отличаются — возможен data drift.

2️⃣ Проверьте целевую переменную

— Не изменилось ли определение таргета?
— Нет ли утечки целевой переменной (label leakage)?
— Не изменилась ли доля классов?

df['target'].value_counts(normalize=True)

3️⃣ Посмотрите на топ ошибок модели

Соберите DataFrame с предсказаниями и ошибками:

df['pred'] = model.predict(X)
df['error'] = abs(df['pred'] - df['target'])
df.sort_values('error', ascending=False).head(10)

👉 Так вы найдёте выбросы или сегменты, где модель работает плохо.

4️⃣ Используйте SHAP или Permutation Importance

Это поможет понять, какие признаки действительно влияют на предсказания после дообучения.

5️⃣ Убедитесь, что пайплайн не «сломался»

После дообучения могли потеряться:
— нормализация или масштабирование признаков;
— one-hot encoding;
— порядок признаков в модели.

Библиотека дата-сайентиста #буст