Calculatrice en ligne: Entropie conjointe

L'entropie conjointe est la mesure de "l'incertitude" associée à un ensemble de variables.

Afin de calculer l'entropie conjointe, vous devez saisir la matrice de distribution conjointe où la valeur de la cellule pour toute ligne i et colonne j représente la probabilité du résultat ${x_i, y_j}$ , $p_{(x_i, y_j)}$ . Vous pouvez trouver la formule de l'entropie conjointe sous le calculateur.

Entropie conjointe

Distribution conjointe (X,Y) ~ p

Précision de calcul

Chiffres après la virgule décimale : 2

Entropie conjointe H(X,Y)

Formule de l'entropie conjointe

L'entropie conjointe de Shannon (en octets) de deux variables aléatoires discrètes $X$ et $Y$ avec les images $\mathcal {X}$ et $\mathcal {Y}$ est définie comme :

$\mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]$

où $x$ et $y$ sont la valeurs particulières de $X$ et $Y$ , respectivement, $P(x,y)$ est la probabilité conjointe que ces valeurs aient lieu ensemble, et $P(x,y)\log _{2}[P(x,y)]$ est définie comme 0 si $P(x,y)=0$ ¹