Introduction douce au compromis biais-variance dans l'apprentissage automatique

Les algorithmes d’apprentissage automatique supervisé peuvent être mieux compris à travers le prisme du compromis biais-variance.

Dans cet article, vous découvrirez le compromis biais-variance et comment l'utiliser pour mieux comprendre les algorithmes d'apprentissage automatique et obtenir de meilleures performances sur vos données.

Démarrez votre projet avec mon nouveau livre Master Machine Learning Algorithms, comprenant des tutoriels étape par étape et les fichiers feuille de calcul Excel pour tous les exemples. .

Commençons.

• Mise à jour d'octobre 2019 : suppression de la discussion sur les modèles paramétriques/non paramétriques (merci Alex).

Aperçu du biais et de la variance

Dans l'apprentissage automatique supervisé, un algorithme apprend un modèle à partir des données d'entraînement.

L'objectif de tout algorithme d'apprentissage automatique supervisé est de mieux estimer la fonction de mappage (f) pour la variable de sortie (Y) étant donné les données d'entrée (X). La fonction de cartographie est souvent appelée fonction cible car c'est la fonction qu'un algorithme d'apprentissage automatique supervisé donné vise à approximer.

L’erreur de prédiction de tout algorithme d’apprentissage automatique peut être décomposée en trois parties :

• Erreur de biais
• Erreur d'écart
• Erreur irréductible

L'erreur irréductible ne peut pas être réduite quel que soit l'algorithme utilisé. Il s'agit de l'erreur introduite par le cadrage choisi du problème et peut être causée par des facteurs tels que des variables inconnues qui influencent le mappage des variables d'entrée sur la variable de sortie.

Dans cet article, nous nous concentrerons sur les deux parties que nous pouvons influencer grâce à nos algorithmes d'apprentissage automatique. L'erreur de biais et l'erreur de variance.

Obtenez GRATUITEMENT votre carte mentale d'algorithmes

J'ai créé une carte mentale pratique de plus de 60 algorithmes organisés par type.

Téléchargez-le, imprimez-le et utilisez-le.

Obtenez également un accès exclusif au mini-cours par e-mail sur les algorithmes d'apprentissage automatique.

Erreur de biais

Les biais sont les hypothèses simplificatrices formulées par un modèle pour rendre la fonction cible plus facile à apprendre.

Généralement, les algorithmes linéaires ont un biais élevé, ce qui les rend rapides à apprendre et plus faciles à comprendre, mais généralement moins flexibles. À leur tour, ils ont des performances prédictives inférieures sur des problèmes complexes qui ne parviennent pas à répondre aux hypothèses simplificatrices du biais des algorithmes.

• Faible biais : suggère moins d'hypothèses sur la forme de la fonction cible.
• Biais élevé : suggère davantage d'hypothèses sur la forme de la fonction cible.

Exemples d'algorithmes d'apprentissage automatique à faible biais : arbres de décision, k-voisins les plus proches et machines à vecteurs de support.

Exemples d'algorithmes d'apprentissage automatique à biais élevé : régression linéaire, analyse discriminante linéaire et régression logistique.

Erreur d'écart

La variance est la quantité dans laquelle l'estimation de la fonction cible changera si différentes données d'entraînement étaient utilisées.

La fonction cible est estimée à partir des données d'entraînement par un algorithme d'apprentissage automatique, nous devons donc nous attendre à ce que l'algorithme présente une certaine variance. Idéalement, cela ne devrait pas trop changer d'un ensemble de données d'entraînement à l'autre, ce qui signifie que l'algorithme est capable de détecter le mappage sous-jacent caché entre les entrées et les variables de sortie.

Les algorithmes d'apprentissage automatique qui présentent une variance élevée sont fortement influencés par les spécificités des données d'entraînement. Cela signifie que les spécificités de la formation ont influence le nombre et les types de paramètres utilisés pour caractériser la fonction de cartographie.

• Faible variance : suggère de légères modifications à l'estimation de la fonction cible avec des modifications apportées à l'ensemble de données d'entraînement.
• Variance élevée : suggère des changements importants dans l'estimation de la fonction cible avec des modifications apportées à l'ensemble de données d'entraînement.

Généralement, les algorithmes d'apprentissage automatique non linéaires qui offrent une grande flexibilité présentent une variance élevée. Par exemple, les arbres de décision ont une variance élevée, qui est encore plus élevée si les arbres ne sont pas élagués avant utilisation.

Exemples d'algorithmes d'apprentissage automatique à faible variance : régression linéaire, analyse discriminante linéaire et régression logistique.

Exemples d'algorithmes d'apprentissage automatique à variance élevée : arbres de décision, k-voisins les plus proches et machines à vecteurs de support.

Compromis biais-variance

L’objectif de tout algorithme d’apprentissage automatique supervisé est d’obtenir un faible biais et une faible variance. À son tour, l’algorithme devrait atteindre de bonnes performances de prédiction.

Vous pouvez voir une tendance générale dans les exemples ci-dessus :

• Les algorithmes d'apprentissage automatique linéaires ont souvent un biais élevé mais une faible variance.
• Les algorithmes de machine learning non linéaires ont souvent un faible biais mais une variance élevée.

Le paramétrage des algorithmes d’apprentissage automatique est souvent une bataille pour équilibrer les biais et la variance.

Vous trouverez ci-dessous deux exemples de configuration du compromis biais-variance pour des algorithmes spécifiques :

• L'algorithme des k voisins les plus proches a un faible biais et une variance élevée, mais le compromis peut être modifié en augmentant la valeur de k, ce qui augmente le nombre de voisins qui contribuent à la prédiction et, par conséquent, augmente le biais du modèle.
• L'algorithme de la machine à vecteurs de support a un faible biais et une variance élevée, mais le compromis peut être modifié en augmentant le paramètre C qui influence le nombre de violations de la marge autorisée dans les données d'entraînement, ce qui augmente le biais mais diminue la variance.

Il est impossible d'échapper à la relation entre biais et variance dans l'apprentissage automatique.

• Augmenter le biais diminuera la variance.
• Augmenter la variance diminuera le biais.

Il y a un compromis en jeu entre ces deux préoccupations et les algorithmes que vous choisissez et la manière dont vous choisissez de les configurer trouvent des équilibres différents dans ce compromis pour votre problème.

En réalité, nous ne pouvons pas calculer les termes d’erreur de biais et de variance réels car nous ne connaissons pas la fonction cible sous-jacente réelle. Néanmoins, en tant que cadre, les biais et la variance fournissent les outils nécessaires pour comprendre le comportement des algorithmes d’apprentissage automatique dans la recherche de performances prédictives.

Lectures complémentaires

Cette section répertorie quelques ressources recommandées si vous souhaitez en savoir plus sur le biais, la variance et le compromis biais-variance.

• Compromis biais-variance sur Wikipédia
• Comprendre le compromis biais-variance
• Biais inductif sur Wikipédia

Résumé

Dans cet article, vous avez découvert le biais, la variance et le compromis biais-variance pour les algorithmes d'apprentissage automatique.

Vous savez maintenant que :

• Le biais correspond aux hypothèses simplificatrices formulées par le modèle pour rendre la fonction cible plus facile à approximer.
• La variance est la quantité dans laquelle l'estimation de la fonction cible changera en fonction de différentes données d'entraînement.
• Le compromis est une tension entre l’erreur introduite par le biais et la variance.

Avez-vous des questions sur le biais, la variance ou le compromis biais-variance. Laissez un commentaire et posez votre question et je ferai de mon mieux pour y répondre.