Entropie de Shannon
Ce calculateur calcule l'entropie de Shannon pour probabilité des événements donné et pour un message donné
Cette page existe grâce aux efforts des personnes suivantes :
 | Timur
|
Gaulthier Marrel
|
Ce contenu est sous License Creative Commons Attribution/Partage à l'Identique 3.0(Unported). Cela signifie que vous pouvez redistribuer ou modifier librement ce contenu avec les mêmes modalités de licence et que vous devez créditer l'auteur original en plaçant un lien hypertexte de votre site vers l'œuvre https://fr.planetcalc.com/2476/. Vous ne pouvez pas modifier (le cas échéant) les références dans le contenu de l'œuvre originale.
Dans la théorie de l'information, l'entropie est une mesure de l'incertitude pour une variable aléatoire. Dans ce contexte, le terme désigne généralement à l'entropie de Shannon, qui quantifie la valeur attendue de l'information contenue dans un message. La formule de l'entropie a été introduite par Claude E. Shannon dans sa publication de 1948 "Une théorie mathématique de la communication".
Le négatif est utilisé car pour les valeurs inférieures à 1, le logarithme est négatif, néanmoins puisque
,
la formule peut être exprimée comme
L'expression
est également appelée incertitude ou surprise, plus la probabilité est faible , i.e.
→ 0, plus l'incertitude ou la surprise est élevé, soit
→ ∞, pour le résultat de
.
Dans ce cas, la formule exprime la prévision mathématique de l'incertitude, et c'est pourquoi l'entropie et l'incertitude de l'information peuvent être user de manière interchangeable.
Il y a deux calculateurs ci-dessous - le premier calcule l'entropie de Shannon pour probabilité des événements donné et le second calcule l'entropie de Shannon pour un message donné.
Entropie de Shannon
commentaires