Les hyperparamètres dans l'apprentissage automatique sont les paramètres explicitement définis par l'utilisateur pour contrôler le processus d'apprentissage. Ces hyperparamètres sont utilisés pour améliorer l'apprentissage du modèle, et leurs valeurs sont définies avant de démarrer le processus d'apprentissage du modèle.

Dans ce sujet, nous allons discuter de l'un des concepts les plus importants de l'apprentissage automatique, à savoir les hyperparamètres, leurs exemples, le réglage des hyperparamètres, les catégories d'hyperparamètres, en quoi les hyperparamètres sont différents des paramètres dans l'apprentissage automatique ? Mais avant de commencer, comprenons d’abord l’hyperparamètre.

Que sont les hyperparamètres ?

En Machine Learning/Deep Learning, un modèle est représenté par ses paramètres. En revanche, un processus de formation consiste à sélectionner les hyperparamètres les meilleurs/optimaux qui sont utilisés par les algorithmes d'apprentissage pour fournir le meilleur résultat. Alors, quels sont ces hyperparamètres ? La réponse est, ' Les hyperparamètres sont définis comme les paramètres explicitement définis par l'utilisateur pour contrôler le processus d'apprentissage.

Ici, le préfixe « hyper » suggère que les paramètres sont des paramètres de niveau supérieur utilisés pour contrôler le processus d'apprentissage. La valeur de l'hyperparamètre est sélectionnée et définie par l'ingénieur en apprentissage automatique avant que l'algorithme d'apprentissage ne commence à entraîner le modèle. Par conséquent, ceux-ci sont externes au modèle et leurs valeurs ne peuvent pas être modifiées pendant le processus de formation. .

css changer la taille de l'image

Quelques exemples d'hyperparamètres en Machine Learning

• L'algorithme k dans kNN ou K-Nearest Neighbour
• Taux d'apprentissage pour la formation d'un réseau de neurones
• Rapport de répartition train-test
• Taille du lot
• Nombre d'époques
• Branches dans l'arbre de décision
• Nombre de clusters dans l'algorithme de clustering

Différence entre paramètre et hyperparamètre ?

Il y a toujours une grande confusion entre paramètres et hyperparamètres ou hyperparamètres de modèle. Donc, afin de dissiper cette confusion, comprenons la différence entre les deux et comment ils sont liés les uns aux autres.

Paramètres du modèle :

Les paramètres du modèle sont des variables de configuration internes au modèle et un modèle les apprend lui-même. Par exemple , W Poids ou coefficients des variables indépendantes dans le modèle de régression linéaire . ou Poids ou coefficients de variables indépendantes dans SVM, poids et biais d'un réseau neuronal, centroïde de cluster en clustering. Certains points clés pour les paramètres du modèle sont les suivants :

• Ils sont utilisés par le modèle pour faire des prédictions.
• Ils sont appris par le modèle à partir des données elles-mêmes
• Ceux-ci ne sont généralement pas définis manuellement.
• Ce sont la partie du modèle et la clé d’un algorithme d’apprentissage automatique.

Hyperparamètres du modèle :

Les hyperparamètres sont les paramètres explicitement définis par l'utilisateur pour contrôler le processus d'apprentissage. Certains points clés pour les paramètres du modèle sont les suivants :

• Ceux-ci sont généralement définis manuellement par l’ingénieur en apprentissage automatique.
• On ne peut pas connaître exactement la meilleure valeur des hyperparamètres pour un problème donné. La meilleure valeur peut être déterminée soit par la règle empirique, soit par essais et erreurs.
• Quelques exemples d'hyperparamètres sont le taux d'apprentissage pour l'entraînement d'un réseau de neurones, K dans l'algorithme KNN,

Catégories d'hyperparamètres

De manière générale, les hyperparamètres peuvent être divisés en deux catégories, indiquées ci-dessous :

Hyperparamètre pour l'optimisation Hyperparamètre pour des modèles spécifiques

Hyperparamètre pour l'optimisation

Le processus de sélection des meilleurs hyperparamètres à utiliser est connu sous le nom de réglage des hyperparamètres, et le processus de réglage est également connu sous le nom d'optimisation des hyperparamètres. Les paramètres d'optimisation sont utilisés pour optimiser le modèle.

Certains des paramètres d'optimisation les plus courants sont indiqués ci-dessous :

Taux d'apprentissage:Le taux d'apprentissage est l'hyperparamètre des algorithmes d'optimisation qui contrôle dans quelle mesure le modèle doit changer en réponse à l'erreur estimée à chaque fois que les poids du modèle sont mis à jour. C'est l'un des paramètres cruciaux lors de la construction d'un réseau neuronal, et il détermine également la fréquence des recoupements avec les paramètres du modèle. La sélection du taux d'apprentissage optimisé est une tâche difficile car si le taux d'apprentissage est très inférieur, cela peut ralentir le processus de formation. D’un autre côté, si le taux d’apprentissage est trop important, le modèle risque de ne pas être correctement optimisé.

Remarque : Le taux d'apprentissage est un hyperparamètre crucial pour l'optimisation du modèle. Par conséquent, s'il est nécessaire de régler un seul hyperparamètre, il est suggéré d'ajuster le taux d'apprentissage.

Taille du lot:Pour accélérer le processus d'apprentissage, l'ensemble de formation est divisé en différents sous-ensembles, appelés lots. Nombre d'époques : Une époque peut être définie comme le cycle complet de formation du modèle d’apprentissage automatique. Epoch représente un processus d’apprentissage itératif. Le nombre d'époques varie d'un modèle à l'autre, et divers modèles sont créés avec plus d'une époque. Pour déterminer le bon nombre d'époques, une erreur de validation est prise en compte. Le nombre d'époques est augmenté jusqu'à ce qu'il y ait une réduction d'une erreur de validation. S’il n’y a aucune amélioration de l’erreur de réduction pour les époques consécutives, cela indique qu’il faut arrêter d’augmenter le nombre d’époques.

Hyperparamètre pour des modèles spécifiques

Les hyperparamètres impliqués dans la structure du modèle sont appelés hyperparamètres pour des modèles spécifiques. Ceux-ci sont donnés ci-dessous :

Un certain nombre d'unités cachées :Les unités cachées font partie des réseaux de neurones, qui font référence aux composants comprenant les couches de processeurs entre les unités d'entrée et de sortie dans un réseau de neurones.

Il est important de préciser l’hyperparamètre du nombre d’unités cachées pour le réseau neuronal. Elle doit être comprise entre la taille de la couche d’entrée et la taille de la couche de sortie. Plus précisément, le nombre d'unités cachées doit être égal aux 2/3 de la taille de la couche d'entrée, plus la taille de la couche de sortie.

Pour les fonctions complexes, il est nécessaire de préciser le nombre d'unités cachées, mais il ne faut pas surajuster le modèle.

Nombre de couches :Un réseau neuronal est constitué de composants disposés verticalement, appelés couches. Il y a principalement couches d'entrée, couches masquées et couches de sortie . Un réseau neuronal à 3 couches offre de meilleures performances qu'un réseau à 2 couches. Pour un réseau neuronal convolutif, un plus grand nombre de couches permet d'obtenir un meilleur modèle.

Conclusion

Les hyperparamètres sont les paramètres explicitement définis pour contrôler le processus d'apprentissage avant d'appliquer un algorithme d'apprentissage automatique à un ensemble de données. Ceux-ci sont utilisés pour préciser la capacité d’apprentissage et la complexité du modèle. Certains hyperparamètres sont utilisés pour l'optimisation des modèles, comme la taille du lot, le taux d'apprentissage, etc., et d'autres sont spécifiques aux modèles, comme le nombre de couches cachées, etc.