اطلاعات متقابل

اطلاعات متقابل بین دو متغیر تصادفی ${\displaystyle X}$

${\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)}$

که در رابطه فوق ${\displaystyle p(x,y)}$

در صورتی که متغیرهای تصادفی پیوسته باشند، رابطه به صورت زیر بر اساس انتگرال معین دوگانه تعریف می‌گردد:

${\displaystyle I(X;Y)={\int }_Y{\int }_{X}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)dxdy}$

که در رابطهٔ فوق اکنون ${\displaystyle p(x,y)}$

اگر لگاریتم در پایهٔ ۲ استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.

اطلاعات متقابل میزان اطلاعاتی که بین ${\displaystyle X}$

اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک ${\displaystyle X}$

${\displaystyle I(X;Y)=0}$

${\displaystyle \log \left(\frac{p(x,y)}{p(x)p(y)}\right)=\log 1=0}$

در ضمن لازم است ذکر شود که اطلاعات متقابل نامنفی و متقارن می‌باشد.

اطلاعات متقابل معادلاً تحت روابط زیر قابل بیان می‌باشد:

که در روابط فوق ${\displaystyle H(X)}$

به کمک نامساوی Jensen روی تعریف اطلاعات متقابل می‌توان نشان داد ${\displaystyle I(X;Y)}$

اثبات تساوی‌های دیگر که در بالا آمده‌است، به طور مشابه انجام می‌پذیرد.

اطلاعات متقابل همچنین بر اساس انحراف Kullback-Leibler به شکل زیر قابل بیان می‌باشد:

${\displaystyle {\displaystyle I(X;Y)=D_{\mathrm{K}\mathrm{L}}(p(x,y)\Vert p(x)p(y))}}$

گاهی اوقات لازم است اطلاعات متقابل دو متغیر تصادفی به شرط یک متغیر تصادفی سوم بیان گردد.

که رابطه فوق را می‌توان به صورت زیر ساده‌تر نوشت:

شرط روی یک متغیر تصادفی سوم می‌تواند اطلاعات متقابل را کاهش یا افزایش دهد، ولی در هر حال رابطه زیر همیشه صادق است:

${\displaystyle {\displaystyle I(X;Y|Z)\ge 0}}$

• https://en.wikipedia.org/wiki/Mutual_information