Importance des paramètres

Visualisez les relations entre les hyperparamètres de votre modèle et les métriques de sortie

Le panneau d’importance des paramètres vous aide à déterminer lesquels de vos hyperparamètres prédisent le mieux les valeurs souhaitées de vos métriques et y sont le plus fortement corrélés. Utilisez ce panneau pour orienter vos futures recherches d’hyperparamètres vers les paramètres qui comptent le plus pour les performances du modèle.

La corrélation est la corrélation linéaire entre l’hyperparamètre et la métrique choisie (dans ce cas, val_loss). Une corrélation élevée signifie que lorsque l’hyperparamètre a une valeur plus élevée, la métrique prend également des valeurs plus élevées, et inversement. La corrélation est une métrique utile, mais elle ne permet pas de capturer les interactions du second ordre entre les entrées, et elle peut devenir difficile à interpréter lorsque vous comparez des entrées de plages différentes.

W&B calcule également une métrique d’importance. W&B entraîne une forêt aléatoire avec les hyperparamètres comme entrées et la métrique comme cible, puis indique les valeurs d’importance des variables pour cette forêt aléatoire.

Cette technique est née d’une conversation avec Jeremy Howard. Jeremy a été l’un des pionniers de l’utilisation de l’importance des variables dans les forêts aléatoires pour explorer les espaces d’hyperparamètres chez Fast.ai. Pour plus d’informations sur la motivation de cette analyse, voir la leçon 4 de Fast.ai et les notes du forum sur la leçon 4 de Fast.ai.

Le panneau d’importance des hyperparamètres démêle les interactions complexes entre des hyperparamètres fortement corrélés. Il vous aide ainsi à effectuer le fine-tuning de vos recherches d’hyperparamètres en vous montrant lesquels de vos hyperparamètres comptent le plus pour prédire les performances du modèle.

​

Créer un panneau d’importance des hyperparamètres

Pour ajouter un panneau d’importance des hyperparamètres à votre espace de travail :

1. Accédez à votre projet W&B.
2. Cliquez sur le bouton Add panels.
3. Développez le menu déroulant CHARTS, puis choisissez coordonnées parallèles.

Si un panneau vide s’affiche, assurez-vous que vos runs ne sont pas groupés.

Avec le gestionnaire des paramètres, vous pouvez définir manuellement les paramètres visibles et masqués.

​

Interpréter le panneau d’importance des hyperparamètres

Les sections suivantes décrivent comment lire les valeurs d’importance et de corrélation affichées dans le panneau afin que vous puissiez vous en servir dans votre prochain balayage.

Ce panneau affiche tous les paramètres transmis à l’objet wandb.Run.config dans votre script d’entraînement. Il affiche ensuite l’importance des variables et les corrélations entre ces paramètres de configuration et la métrique du modèle que vous sélectionnez (val_loss dans ce cas).

​

Importance

La colonne d’importance indique dans quelle mesure chaque hyperparamètre a contribué à prédire la métrique choisie. Imaginez un scénario dans lequel vous commencez à ajuster de nombreux hyperparamètres et utilisez ce graphique pour vous concentrer sur ceux qui méritent d’être explorés plus en détail. Vous pouvez ensuite limiter les balayages suivants aux hyperparamètres les plus importants, ce qui vous aide à trouver un meilleur modèle plus rapidement et à moindre coût.

W&B calcule les importances à l’aide d’un modèle basé sur des arbres plutôt que d’un modèle linéaire, car les modèles basés sur des arbres tolèrent mieux à la fois les données catégorielles et les données non normalisées.

Dans l’image précédente, vous pouvez voir que epochs, learning_rate, batch_size et weight_decay étaient importants.

​

Corrélations

Les corrélations capturent les relations linéaires entre des hyperparamètres individuels et des valeurs de métriques. Elles permettent de déterminer s’il existe une relation entre l’utilisation d’un hyperparamètre, tel que l’optimiseur SGD, et la val_loss (dans ce cas, la réponse est oui). Les valeurs de corrélation vont de -1 à 1 : les valeurs positives indiquent une corrélation linéaire positive, les valeurs négatives indiquent une corrélation linéaire négative, et une valeur de 0 indique l’absence de corrélation. En règle générale, une valeur supérieure à 0,7 dans un sens comme dans l’autre indique une forte corrélation.

Vous pouvez utiliser ce graphique pour explorer plus en détail les valeurs qui présentent la corrélation la plus forte avec votre métrique (dans ce cas, vous pourriez choisir la descente de gradient stochastique ou adam plutôt que rmsprop ou nadam), ou entraîner sur davantage d’époques.

• Les corrélations montrent une association, pas nécessairement un lien de causalité.
• Les corrélations sont sensibles aux valeurs aberrantes, ce qui peut faire passer une relation forte à une relation modérée, en particulier lorsque l’échantillon d’hyperparamètres testés est réduit.
• Les corrélations capturent uniquement les relations linéaires entre les hyperparamètres et les métriques. Elles ne capturent pas les fortes relations polynomiales.

Les écarts entre l’importance et les corrélations s’expliquent par le fait que l’importance tient compte des interactions entre hyperparamètres, tandis que la corrélation mesure uniquement les effets de chaque hyperparamètre sur les valeurs des métriques. Les corrélations ne capturent également que les relations linéaires, tandis que l’importance peut capturer des relations plus complexes.

Ensemble, l’importance et les corrélations vous aident à comprendre comment vos hyperparamètres influencent les performances du modèle.