L’apprentissage automatique est une branche de l’intelligence artificielle qui permet aux machines d’effectuer des analyses de données et de faire des prédictions. Cependant, si le modèle d'apprentissage automatique n'est pas précis, il peut commettre des erreurs de prédiction, et ces erreurs de prédiction sont généralement appelées biais et variance. En apprentissage automatique, ces erreurs seront toujours présentes car il existe toujours une légère différence entre les prédictions du modèle et les prédictions réelles. L’objectif principal des analystes ML/data science est de réduire ces erreurs afin d’obtenir des résultats plus précis. Dans ce sujet, nous allons discuter du biais et de la variance, du compromis biais-variance, du sous-ajustement et du surajustement. Mais avant de commencer, comprenons d’abord ce que sont les erreurs dans le Machine learning ?
Des erreurs dans l’apprentissage automatique ?
Dans l’apprentissage automatique, une erreur est une mesure de la précision avec laquelle un algorithme peut faire des prédictions pour un ensemble de données jusqu’alors inconnu. Sur la base de ces erreurs, le modèle d'apprentissage automatique est sélectionné pour fonctionner le mieux sur un ensemble de données particulier. Il existe principalement deux types d’erreurs dans l’apprentissage automatique, à savoir :
quel que soit l’algorithme utilisé. La cause de ces erreurs sont des variables inconnues dont la valeur ne peut pas être réduite.
Qu’est-ce que le biais ?
En général, un modèle d'apprentissage automatique analyse les données, y trouve des modèles et fait des prédictions. Pendant l'entraînement, le modèle apprend ces modèles dans l'ensemble de données et les applique pour tester les données à des fins de prédiction. Lors de l'élaboration de prédictions, une différence se produit entre les valeurs de prédiction établies par le modèle et les valeurs réelles/valeurs attendues. , et cette différence est connue sous le nom d'erreurs de biais ou erreurs dues au biais . Cela peut être défini comme une incapacité des algorithmes d’apprentissage automatique tels que la régression linéaire à capturer la véritable relation entre les points de données. Chaque algorithme commence avec un certain biais, car le biais provient des hypothèses du modèle, ce qui rend la fonction cible simple à apprendre. Un modèle a soit :
objet en programmation Java
Généralement, un algorithme linéaire a un biais élevé, car il permet d’apprendre rapidement. Plus l’algorithme est simple, plus le biais qu’il risque d’être introduit est élevé. Alors qu’un algorithme non linéaire a souvent un faible biais.
Quelques exemples d'algorithmes d'apprentissage automatique à faible biais sont des arbres de décision, des k-voisins les plus proches et des machines à vecteurs de support . Dans le même temps, un algorithme à biais élevé est Régression linéaire, analyse discriminante linéaire et régression logistique.
Moyens de réduire les biais élevés :
Un biais élevé est principalement dû à un modèle très simple. Vous trouverez ci-dessous quelques moyens de réduire le biais élevé :
- Augmentez les fonctionnalités d’entrée à mesure que le modèle est sous-ajusté.
- Diminuez le terme de régularisation.
- Utilisez des modèles plus complexes, par exemple en incluant certaines caractéristiques polynomiales.
Qu’est-ce qu’une erreur d’écart ?
La variance spécifierait l'ampleur de la variation dans la prédiction si les différentes données d'entraînement étaient utilisées. En mots simples, la variance indique à quel point une variable aléatoire est différente de sa valeur attendue. Idéalement, un modèle ne devrait pas trop varier d'un ensemble de données d'entraînement à un autre, ce qui signifie que l'algorithme doit bien comprendre le mappage caché entre les variables d'entrée et de sortie. Les erreurs de variance sont soit variance faible ou variance élevée.
Faible variance signifie qu'il y a une petite variation dans la prédiction de la fonction cible avec les changements dans l'ensemble de données d'entraînement. En même temps, Écart élevé montre une grande variation dans la prédiction de la fonction cible avec les changements dans l'ensemble de données d'entraînement.
Un modèle qui présente une variance élevée apprend beaucoup et fonctionne bien avec l'ensemble de données d'entraînement, et ne généralise pas bien avec l'ensemble de données invisible. En conséquence, un tel modèle donne de bons résultats avec l’ensemble de données d’entraînement mais affiche des taux d’erreur élevés sur l’ensemble de données de test.
classe abstraite Java
Étant donné qu’en cas de variance élevée, le modèle apprend trop de l’ensemble de données, cela conduit à un surajustement du modèle. Un modèle avec une variance élevée présente les problèmes ci-dessous :
- Un modèle à variance élevée conduit à un surapprentissage.
- Augmentez la complexité du modèle.
Habituellement, les algorithmes non linéaires ont une grande flexibilité pour s'adapter au modèle et ont une variance élevée.
Voici quelques exemples d'algorithmes d'apprentissage automatique à faible variance : Régression linéaire, régression logistique et analyse discriminante linéaire . Dans le même temps, les algorithmes à forte variance sont arbre de décision, machine à vecteurs de support et K-voisins les plus proches.
Moyens de réduire une variance élevée :
- Réduisez les caractéristiques d’entrée ou le nombre de paramètres lorsqu’un modèle est surajusté.
- N'utilisez pas un modèle très complexe.
- Augmentez les données d'entraînement.
- Augmentez la durée de régularisation.
Différentes combinaisons de biais-variance
Il existe quatre combinaisons possibles de biais et de variances, représentées par le diagramme ci-dessous :
La combinaison d'un faible biais et d'une faible variance montre un modèle d'apprentissage automatique idéal. Cependant, cela n’est pas possible en pratique.
Avec un biais et une variance élevés, les prédictions sont incohérentes et également inexactes en moyenne.
Comment identifier une variance élevée ou un biais élevé ?
Une variance élevée peut être identifiée si le modèle a :
- Faible erreur de formation et erreur de test élevée.
Un biais élevé peut être identifié si le modèle présente :
- Erreur de formation élevée et l'erreur de test est presque similaire à l'erreur de formation.
Compromis biais-variance
Lors de la construction du modèle d'apprentissage automatique, il est très important de prendre en compte les biais et la variance afin d'éviter le surajustement et le sous-ajustement du modèle. Si le modèle est très simple avec moins de paramètres, il peut avoir une faible variance et un biais élevé. En revanche, si le modèle comporte un grand nombre de paramètres, il aura une variance élevée et un faible biais. Il est donc nécessaire de faire un équilibre entre les erreurs de biais et de variance, et cet équilibre entre l’erreur de biais et l’erreur de variance est appelé le compromis biais-variance.
CSS centrant une image
Pour une prédiction précise du modèle, les algorithmes ont besoin d’une faible variance et d’un faible biais. Mais cela n’est pas possible car le biais et la variance sont liés les uns aux autres :
- Si nous diminuons la variance, cela augmentera le biais.
- Si nous diminuons le biais, cela augmentera la variance.
Le compromis biais-variance est une question centrale dans l’apprentissage supervisé. Idéalement, nous avons besoin d'un modèle qui capture avec précision les régularités des données d'entraînement et qui se généralise simultanément avec l'ensemble de données invisible. Malheureusement, cela n’est pas possible simultanément. Parce qu'un algorithme à variance élevée peut bien fonctionner avec des données d'entraînement, mais il peut conduire à un surajustement avec des données bruyantes. Alors que l’algorithme à biais élevé génère un modèle très simple qui peut même ne pas capturer des régularités importantes dans les données. Nous devons donc trouver un juste équilibre entre biais et variance pour créer un modèle optimal.
D'où le Le compromis biais-variance consiste à trouver le point idéal pour établir un équilibre entre les erreurs de biais et de variance.