PLANETCALC Calculatrices en ligne

S'identifier
ProfessionnelOrdinateurs

Entropie conditionnelle

Ce calculateur en ligne calcule l'entropie d'une variable aléatoire Y conditionnée par une variable aléatoire X et d'une variable aléatoire X conditionnée par une variable aléatoire Y selon le tableau de distribution conjointe (X, Y) ~ p

L'entrophie conditionnelle H(Y|X) est la quantité d'information nécessaire pour décrire le résultat d'une variable aléatoire Y selon la valeur connue d'une autre variable aléatoire X.

Afin de calculer l'entropie conditionnelle, nous devons connaître la distribution conjointe de X et Y. Vous devez saisir ci-dessous la matrice ou la valeur des cellules pour chaque ligne i et la colonne j représente la probabilité du résultat {x_i, y_j}, p_{(x_i, y_j)}. Les lignes représentent les valeurs de la variable aléatoire X {x_1, x_2, ... x_n et les colonnes, les valeurs de la variable aléatoire Y {y_1, y_2, ... y_m}.

Notez que vous pouvez cliquer sur "Montrer les détails" pour voir les détails du calcul. La formule utilisée dans le calcul est expliquée en-dessous du calculateur.

PLANETCALC, Entropie conditionnelle

Entropie conditionnelle

Chiffres après la virgule décimale : 2
H(Y|X)
 
H(X|Y)
 
Le fichier est très volumineux; un ralentissement du navigateur peut se produire pendant le chargement et la création.

Formule de l'entropie conditionnelle

L'entropie conditionnelle de Y selon X est définie comme

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

Il est supposé que les expressions 0\log 0 et 0\log \frac{c}{0} sont traitées comme étant égales à zéro.

p(x) pour chaque ligne est calculé en additionnant les valeurs de la ligne (soit, la somme des cellules pour chaque valeur de la variable aléatoire X), et p(x,y) sont déjà donnés par la matrice saisie.

Quelle est la signification de cette formule ?

En fait, c'est la moyenne pondérée des entropies conditionnelles spécifiques de toutes les valeurs possibles de X.

L'Entropie conditionnelle spécifique de Y pour X prenant la valeur v est l'entropie de Y uniquement parmi ces résultats dans lesquels X a la valeur v. Soit,

\mathrm {H} (Y|X=v)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=v)\log _{2}{P(Y=y|X=v)}}

Ainsi, l'entropie conditionnelle est la somme pondérée des entropies conditionnelles spécifiques pour chaque valeur possible de X, utilisant p(x) comme poids est

\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)
=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

URL copiée dans le presse-papiers

Calculatrices similaires

 #entropie #information entropie entropie conditionnelle Ordinateurs probabilité théorie de l'information
PLANETCALC, Entropie conditionnelle
Timur2021-05-15 07:02:10

commentaires