Ömsesidig information (Mutual Information) är en användbar information teori i det metriska, hänvisat till sambandet mellan de två uppsättningarna av evenemang
Definition
Två händelser ömsesidig information om X och Y definieras som: H (X), H (Y), I (X, Y) så figur
I (X, Y) = H (X) H (Y) - H (X, Y)Där h (X, Y) är den gemensamma entropi (Joint Entropi), vilken definieras som:
H (X, Y) = - Σ p (x, y) logP (x, y)
Där P (x, y) är sannolikheten.
Betydelse
Ömsesidig information och flera log-likelihood ratio testet och Pearson χ2 incheckningen nära samman.
Innebörden av den information
Information är väsentlig, energi, information och egendom märkning. Definition av invers Wiener uppgifter
Information är den ökade osäkerheten. Definition av den inversa Shannon
Information är något fenomen och dess attribut identifierar uppsättningen.
Innebörden av ömsesidig information
Den ömsesidiga informationsteori
Generellt finns det alltid den kanal brus och störningar, frågorna källan ett meddelande x, genom kanalen kan tas emot endast efter sink effekt på grund av störning som orsakas av en deformering y. Efter att ha fått diskbänken spekulera källan y givet x, sannolikheten för processen genom den bakre sannolikheten p (x / y) beskrivs. Följaktligen är sannolikheten för källan given x p (x) kallas a priori sannolikheter. Vi definierar x och den bakre sannolikheten av logaritmen av förhållandet mellan den tidigare sannolikheten för y till x ömsesidigt informationsutbyte, även känd som ömsesidig information (kallad ömsesidig information). [1]
Annat
Ömsesidig information är ett mått på ett ord och relationen mellan de kategorier av statistiska självständighet, ett ord t och en kategori Ci traditionell ömsesidig information definieras enligt följande:
Ömsesidig information är en vanlig Datorlingvistik modell analysmetod, som mäter resistansen mellan de två objekten. Problem i filterkarakteristiken används för att mäta diskriminering för temat. Definition av ömsesidig information och cross-entropi approximation. Ömsesidig information var ursprungligen ett begrepp i teorin, förhållandet mellan informationen för det, de två slumpmässiga variabler mått på statistisk korrelation, är ömsesidig information med funktionen utvinning baserat på följande antaganden: den höga frekvensen av en viss kategori , men i de övriga kategorierna förefaller vara relativt låg frekvens översättning ömsesidig information med klassen är relativt stor. Vanligtvis ömsesidig information har ord och kategorier som ett mått på den frågan, om de har ord som tillhör klassen, då deras ömsesidiga informationen max. Eftersom denna metod inte kräver särdragsvärdena ord och vilken typ av relationer mellan kategorierna för att göra några antaganden, så den är lämplig för egenskaper text klassificering och kategorier av registreringen arbete.
|