Calculateur d'entropie croisée
Calculez la perte d'entropie croisée et la divergence KL entre les distributions de probabilité réelles et prédites. Largement utilisé comme fonction de perte dans les tâches de classification.
Comment utiliser le calculateur d'entropie croisée
- Entrez la probabilité réelle (0 à 1).
- Entrez la probabilité prédite (0 à 1).
- Cliquez sur Calculer pour obtenir l'entropie croisée et la divergence KL.
Cas d'utilisation
- •Suivi de la perte d'entraînement lors de l'apprentissage d'un réseau de neurones.
- •Comparaison des sorties du modèle avec les vraies étiquettes de référence.
- •Compréhension de la théorie de l'information en ML.
- •Diagnostic des problèmes de surapprentissage ou de sous-apprentissage.
Formule
H(p,q) = −[p×log(q) + (1−p)×log(1−q)]. KL(p||q) = p×log(p/q) + (1−p)×log((1−p)/(1−q)).
Questions fréquemment posées
Qu'est-ce que la perte d'entropie croisée ?
L'entropie croisée mesure dans quelle mesure une distribution de probabilité prédite correspond à la distribution réelle. Plus la valeur est basse, meilleur est le résultat.
Qu'est-ce que la divergence KL ?
La divergence KL mesure la différence entre deux distributions de probabilité. Elle est toujours ≥ 0.
Quelle est une bonne valeur d'entropie croisée ?
Des valeurs proches de 0 indiquent que les prédictions du modèle correspondent étroitement aux vraies étiquettes.