Entropie de Shannon
Ce calculateur calcule l'entropie de Shannon pour probabilité des événements donné et pour un message donné
Dans la théorie de l'information, l'entropie est une mesure de l'incertitude pour une variable aléatoire. Dans ce contexte, le terme désigne généralement à l'entropie de Shannon, qui quantifie la valeur attendue de l'information contenue dans un message. La formule de l'entropie a été introduite par Claude E. Shannon dans sa publication de 1948 "Une théorie mathématique de la communication".
Le négatif est utilisé car pour les valeurs inférieures à 1, le logarithme est négatif, néanmoins puisque
,
la formule peut être exprimée comme
L'expression
est également appelée incertitude ou surprise, plus la probabilité est faible , i.e.
→ 0, plus l'incertitude ou la surprise est élevé, soit
→ ∞, pour le résultat de
.
Dans ce cas, la formule exprime la prévision mathématique de l'incertitude, et c'est pourquoi l'entropie et l'incertitude de l'information peuvent être user de manière interchangeable.
Il y a deux calculateurs ci-dessous - le premier calcule l'entropie de Shannon pour probabilité des événements donné et le second calcule l'entropie de Shannon pour un message donné.
Entropie de Shannon
commentaires