Calculatrice en ligne: Entropie conditionnelle

L'entrophie conditionnelle H(Y|X) est la quantité d'information nécessaire pour décrire le résultat d'une variable aléatoire Y selon la valeur connue d'une autre variable aléatoire X.

Afin de calculer l'entropie conditionnelle, nous devons connaître la distribution conjointe de X et Y. Vous devez saisir ci-dessous la matrice ou la valeur des cellules pour chaque ligne i et la colonne j représente la probabilité du résultat ${x_i, y_j}$ , $p_{(x_i, y_j)}$ . Les lignes représentent les valeurs de la variable aléatoire X ${x_1, x_2, ... x_n$ et les colonnes, les valeurs de la variable aléatoire Y ${y_1, y_2, ... y_m}$ .

Notez que vous pouvez cliquer sur "Montrer les détails" pour voir les détails du calcul. La formule utilisée dans le calcul est expliquée en-dessous du calculateur.

Entropie conditionnelle

Distribution conjointe (X,Y) ~ p

Montrer les détails

Précision de calcul

Chiffres après la virgule décimale : 2

H(Y|X)

H(X|Y)

Le fichier est très volumineux; un ralentissement du navigateur peut se produire pendant le chargement et la création.

Formule de l'entropie conditionnelle

L'entropie conditionnelle de Y selon X est définie comme

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

Il est supposé que les expressions $0\log 0$ et $0\log \frac{c}{0}$ sont traitées comme étant égales à zéro.

$p(x)$ pour chaque ligne est calculé en additionnant les valeurs de la ligne (soit, la somme des cellules pour chaque valeur de la variable aléatoire X), et $p(x,y)$ sont déjà donnés par la matrice saisie.

Quelle est la signification de cette formule ?

En fait, c'est la moyenne pondérée des entropies conditionnelles spécifiques de toutes les valeurs possibles de X.

L'Entropie conditionnelle spécifique de Y pour X prenant la valeur v est l'entropie de Y uniquement parmi ces résultats dans lesquels X a la valeur v. Soit,

$\mathrm {H} (Y|X=v)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=v)\log _{2}{P(Y=y|X=v)}}$

Ainsi, l'entropie conditionnelle est la somme pondérée des entropies conditionnelles spécifiques pour chaque valeur possible de X, utilisant p(x) comme poids est

$\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)$
$=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

PLANETCALC Calculatrices en ligne

Entropie conditionnelle

Cette page existe grâce aux efforts des personnes suivantes :

Timur

Gaulthier Marrel

Entropie conditionnelle

Formule de l'entropie conditionnelle

Calculatrices similaires

commentaires

PLANETCALC Calculatrices en ligne

Entropie conditionnelle

Formule de l'entropie conditionnelle

Calculatrices similaires

commentaires

Partager la page