آنتروپی شرطی

در نظریه اطلاعات ، آنتروپی شرطی مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی $Y$

را توصیف کند به شرط اینکه مقدار یک متغیر تصادفی دیگر

X

مشخص باشد. در اینجا اطلاعات با معیار شنون ، nats یا hartleys اندازه گرفته می‌شود . آنتروپی $Y$ به شرط $X$ به صورت

H(Y|X)

نمایش داده می شود.

X . قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد

تعریف

اگر $H(Y|X=x)$

آنتروپی متغیر

Y

به شرط متغیر

X

که مقدار مشخص

x

را میگیرد باشد ، آنگاه

H(Y|X)

نتیجه متوسط گیری روی تمام مقادیر ممکن برای

X

است.

متغیر تصادفی گسسته $X$

با تصویر

{\mathcal {X}}

و

Y

با تصویر

{\mathcal {Y}}

با فرض مشخص بودن

X

، آنتروپی شرطی

Y

به شرط

X

به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار

H(Y|X=x)

روی تمام مقادیر ممکن

x

با استفاده وزن های

p(x)

تعبیر شود. )

{\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}

توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

$H(Y|X)=0$

اگر و تنها اگر مقدار

Y

به طور کامل به دانستن مقدار

X

مشخص شود. برعکس

H(Y|X)=H(Y)

اگر و تنها اگر

Y

و

X

دو متغیر تصادفی مستقل باشند.

قاعده زنجیره ای

سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک $H(X,Y)$

مشخص می‌شود را فرض کنید. مقدار

H(X,Y)

بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار

X

را یاد بگیرم در حقیقت

H(X)

بیت از اطلاعات را بدست آورده ایم. زمانی که

X

شناخته شده باشد ، تنها به

H(X,Y)-H(X)

بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً برابر

H(Y|X)

است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

H(Y|X)\,=\,H(X,Y)-H(X).

قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

{\begin{aligned}H(Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x))\\[4pt]&=H(X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=H(X,Y)-H(X).\end{aligned}}

به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

H(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}H(X_{i}|X_{1},\ldots ,X_{i-1})

این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

قانون Bayes

قانون بیز در مورد آنتروپی شرطی بیان می کند که :

H(Y|X)\,=\,H(X|Y)-H(X)+H(Y)\,.

اثبات:
$H(Y|X)=H(X,Y)-H(X)$

و $H(X|Y)=H(Y,X)-H(Y)$ . از تقارن داریم که $H(X,Y)=H(Y,X)$ . تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از Z مستقل شرطی باشد ، داریم:

H(Y|X,Z)\,=\,H(Y|X).

تعمیم به نظریه کوانتومی

در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که $H(X,Y)\neq H(Y,X)$

قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.

خواص دیگر

برای هر $X$

و

Y

:

${\begin{aligned}H(Y|X)&\leq H(Y)\,\\H(X,Y)&=H(X|Y)+H(Y|X)+I(X;Y),\qquad \\H(X,Y)&=H(X)+H(Y)-I(X;Y),\,\\I(X;Y)&\leq H(X),\,\end{aligned}}$

که در آن $I(X;Y)$

اطلاعات متقابل بین

X

و

Y

هست.

برای دو متغیر مستقل $X$

و

Y

:

H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\,

اگر چه آنتروپی شرطی خاص $H(X|Y=y)$

می‌تواند کمتر یا بیشتر از

H(X)

باشد،

H(X|Y)

هرگز نمی‌تواند بیش از

H(X)

باشد.

همچنین نگاه کنید

آنتروپی (نظریه اطلاعات)
اطلاعات متقابل
آنتروپی کوانتومی شرطی
تنوع اطلاعات
آنتروپی قدرت نابرابری
احتمال تابع

منابع

↑ Cover, Thomas M.; Thomas, Joy A. (1991). Elements of information theory (1st ed.). New York: Wiley. ISBN 0-471-06259-6.

[1] Cover, Thomas M.; Thomas, Joy A. (1991). Elements of information theory (1st ed.). New York: Wiley. ISBN 0-471-06259-6.