Comment évaluer un modèle de Machine Learning ?
Entraîner un modèle n’est pas la dernière étape d’un projet Machine Learning.
Il faut ensuite examiner son comportement afin de déterminer dans quelle mesure il répond au problème étudié.
Pourquoi faut-il évaluer ?
Parce qu’un modèle peut produire une réponse sans que cette réponse soit suffisamment pertinente.
L’évaluation permet de dépasser le simple constat :
« Le programme fonctionne. »
La vraie question devient :
« Comment le modèle se comporte-t-il par rapport à l’objectif ? »
Quel rôle jouent les données de test ?
Elles permettent d’examiner le modèle sur des données différentes de celles utilisées de la même manière pendant son entraînement.
Cela contribue à mieux observer sa capacité à traiter de nouveaux exemples.
Existe-t-il une seule mesure de performance ?
Non.
La manière d’évaluer dépend notamment du type de problème.
Une classification et une régression ne nécessitent pas nécessairement les mêmes critères.
Plus le score est élevé, meilleur est toujours le modèle ?
Pas nécessairement.
Une valeur isolée doit être interprétée dans son contexte.
Il faut comprendre ce qu’elle mesure, sur quelles données et pour quel objectif.
Pourquoi comparer les résultats ?
Comparer différentes approches peut aider à comprendre leurs comportements respectifs.
Mais l’objectif n’est pas uniquement de chercher un nombre maximal : le choix doit rester cohérent avec le problème.
Quel lien avec le biais ?
Les données et les choix effectués pendant le projet peuvent influencer les résultats.
L’évaluation doit donc être accompagnée d’une réflexion sur les limites du système.
Quel lien avec le surapprentissage ?
Un modèle peut obtenir de très bons résultats sur ses données d’entraînement et se comporter moins bien ailleurs.
L’évaluation sur d’autres données aide à mettre en évidence ce type de problème.
Quelles métriques exactes sont enseignées ?
La formation annonce l’évaluation des modèles et les mesures de performance.
Nous évitons toutefois d’attribuer au programme une liste précise de métriques lorsque cette liste n’est pas publiée.
Guides complémentaires
- Formation Intelligence Artificielle & Data au CAFP Casablanca →
- Entraînement et test en Machine Learning : pourquoi séparer les données ? →
- Classification en Machine Learning : comment ça fonctionne ? →
- Régression en Machine Learning : qu’est-ce que c’est ? →
- Surapprentissage en Machine Learning : comprendre l’overfitting →
- Biais en Machine Learning : pourquoi faut-il les comprendre ? →
FAQ — Intelligence Artificielle & Data
Faut-il évaluer tous les modèles?
L’évaluation est une étape fondamentale du Machine Learning.
Le jeu de test sert-il à l’évaluation?
Oui.
Existe-t-il une seule mesure universelle?
Non.
Un bon résultat sur l’entraînement suffit-il?
Non.
L’évaluation est-elle enseignée dans la formation?
Oui.
Consultez la page principale de cette filière pour retrouver la durée, les conditions d’admission et les informations de préinscription.