آنتروپی مشترک

آنتروپی (شانون) مشترک دو متغیر تصادفی ${\displaystyle X}$

${\displaystyle H(X,Y)=-\sum _x\sum _{y}P(x,y){\log }_2[P(x,y)]}$

که در آن ${\displaystyle x}$

برای تعداد بیشتر متغیرهای تصادفی، تعریف به صورت زیر تعمیم می یابد:

${\displaystyle H(X_1,...,X_n)=-\sum _{x_1}...\sum _{x_n}P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]}$

که در آن ${\displaystyle x_1,...,x_n}$

بزرگتر مساوی آنتروپی‌های تکی

آنتروپی مشترک مجموعه‌ای از متغیرهای تصادفی بزرگتر یا مساوی تک تک آنتروپی‌های هر یک از متغیرهای تصادفی موجود در آن مجموعه می‌باشد، یعنی:

${\displaystyle H(X,Y)\ge max[H(X),H(Y)]}$

${\displaystyle H(X_1,...,X_n)\ge max[H(X_1),...,H(X_n)]}$

کوچکتر مساوی مجموع آنتروپی‌های تکی

آنتروپی مشترک مجموعه‌ای از متغیرهای تصادفی کوچکتر یا مساوی مجموع آنتروپی‌های تکی هر یک از متغیرهای تصادفی موجود در آن مجموعه می‌باشد. نامساوی‌های زیر تنها در صورتی تبدیل به تساوی می‌شوند که ${\displaystyle X}$

${\displaystyle H(X,Y)\le H(X)+H(Y)}$

${\displaystyle H(X_1,...,X_n)\le H(X_1)+...+H(X_n)}$

آنتروپی مشترک با آنتروپی شرطی به صورت روابط زیر رابطه دارند:

${\displaystyle H(X|Y)=H(Y,X)-H(Y)}$

و

${\displaystyle H(X_1,\dots ,X_n)=\sum _{k=1}^{n}H(X_k|X_{k-1},\dots ,X_1)}$

همچنین آنتروپی مشترک به صورت زیر دارای رابطه با mutual information می‌باشد

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)}$

• https://en.wikipedia.org/wiki/Joint_entropy