Entropie de Shannon

Ce calculateur calcule l'entropie de Shannon pour probabilité des événements donné et pour un message donné

Dans la théorie de l'information, l'entropie est une mesure de l'incertitude pour une variable aléatoire. Dans ce contexte, le terme désigne généralement à l'entropie de Shannon, qui quantifie la valeur attendue de l'information contenue dans un message. La formule de l'entropie a été introduite par Claude E. Shannon dans sa publication de 1948 "Une théorie mathématique de la communication".

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Le négatif est utilisé car pour les valeurs inférieures à 1, le logarithme est négatif, néanmoins puisque

-\log a = \log \frac{1}{a},

la formule peut être exprimée comme

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

L'expression
\log_b \frac{1}{p(x_i)}
est également appelée incertitude ou surprise, plus la probabilité est faible p(x_i), i.e. p(x_i) → 0, plus l'incertitude ou la surprise est élevé, soit u_i → ∞, pour le résultat de x_i.

Dans ce cas, la formule exprime la prévision mathématique de l'incertitude, et c'est pourquoi l'entropie et l'incertitude de l'information peuvent être user de manière interchangeable.

Il y a deux calculateurs ci-dessous - le premier calcule l'entropie de Shannon pour probabilité des événements donné et le second calcule l'entropie de Shannon pour un message donné.

PLANETCALC, Entropie de Shannon

Entropie de Shannon

Chiffres après la virgule décimale : 2
Entropie, bits
 

PLANETCALC, Entropie de Shannon

Entropie de Shannon

Chiffres après la virgule décimale : 2
Entropie, bits
 

URL copiée dans le presse-papiers
PLANETCALC, Entropie de Shannon

commentaires