Entropie de Shannon
Ce calculateur calcule l'entropie de Shannon pour probabilité des événements donné et pour un message donné
Cette page existe grâce aux efforts des personnes suivantes :
 | Timur
|
Gaulthier Marrel
|
Dans la théorie de l'information, l'entropie est une mesure de l'incertitude pour une variable aléatoire. Dans ce contexte, le terme désigne généralement à l'entropie de Shannon, qui quantifie la valeur attendue de l'information contenue dans un message. La formule de l'entropie a été introduite par Claude E. Shannon dans sa publication de 1948 "Une théorie mathématique de la communication".
Le négatif est utilisé car pour les valeurs inférieures à 1, le logarithme est négatif, néanmoins puisque
,
la formule peut être exprimée comme
L'expression
est également appelée incertitude ou surprise, plus la probabilité est faible , i.e.
→ 0, plus l'incertitude ou la surprise est élevé, soit
→ ∞, pour le résultat de
.
Dans ce cas, la formule exprime la prévision mathématique de l'incertitude, et c'est pourquoi l'entropie et l'incertitude de l'information peuvent être user de manière interchangeable.
Il y a deux calculateurs ci-dessous - le premier calcule l'entropie de Shannon pour probabilité des événements donné et le second calcule l'entropie de Shannon pour un message donné.
Entropie de Shannon
commentaires