آنتروپی اطلاعات

ایدهٔ‌ اصلی نظریه اطلاعات این است که «ارزش اطلاعاتی» منتقل شده از طریق یک پیام به میزان غافلگیر کننده بودن این پیام بستگی دارد. اگر یک رویداد بسیار محتمل رخ بدهد، پیام، اطلاعات بسیار کمی را منتقل می‌کند. در عین حال اگر یک رویداد بسیار غیر محتمل رخ دهد، پیام،‌ اطلاعات آگاه‌کننده‌تری را منتقل می‌کند. برای نمونه، دانش اینکه عددی خاص، عدد برندهٔ یک بخت‌آزمایی نیست، اطلاع بسیار کمی در اختیار ما قرار می‌دهد چرا که هر عدد خاص انتخابی به احتمال زیاد برنده نخواهد شد. ولی دانش اینکه عددی خاص برندهٔ بخت‌آزمایی خواهد بود، ارزش اطلاعاتی زیادی دارد چراکه پیام آن رخداد یک پیامد بسیاد نامحتمل است.

محتوای اطلاعاتی یک رویداد ${\displaystyle E}$

${\displaystyle \log (\frac{1}{p(E)})}$

که در این رابطه‌ ${\displaystyle \log }$

${\displaystyle I(E)=-{\log }_2(p(E))}$

که برابر با عبارت زیر است:

${\displaystyle I(E)={\log }_2(\frac{1}{p(E)})}$

آنتروپی، مقدار مورد انتظار (میانگین) اطلاعات منتقل شده با تشخیص خروجی یک آزمایش تصادفی را به ما می‌دهد.

آنتروپی متغیر تصادفی گسستهٔ ${\displaystyle X}$

${\displaystyle \mathrm{H}(X)=\mathbb{E}[\mathrm{I}(X)]=\mathbb{E}[-{\log }_b(\mathrm{P}(X))].}$

در رابطهٔ بالا

${\displaystyle \mathrm{E}[\cdot ]}$

می‌توان آنتروپی ${\displaystyle X}$

${\displaystyle \mathrm{H}(X)=\sum _{i=1}^n\mathrm{P}(x_i)\mathrm{I}(x_i)=-\sum _{i=1}^n\mathrm{P}(x_i){\log }_b\mathrm{P}(x_i).}$

همچنین، ${\displaystyle \mathrm{I}(0)=0\times log(0)}$

آنتروپی متغیر تصادفی ${\displaystyle X}$

${\displaystyle \mathrm{H}(X|Y)=-\sum _{i,j}P(x_i,y_j)\log \frac{P(x_i,y_j)}{P(y_j)}}$

${\displaystyle \mathrm{H}(X|Y)}$

نظریه اندازه

آنتروپی را می‌توان به صورت صوری در زبان نظریهٔ اندازه به صورت روبه‌رو تعریف کرد: اگر ${\displaystyle (X,\mathrm{\Sigma },\mu )}$

${\displaystyle {\sigma }_{\mu }(A)=-\ln \mu (A)}$

مقدار امید شگفتی ${\displaystyle A}$

${\displaystyle h_{\mu }(A)=\mu (A){\sigma }_{\mu }(A)}$

یک افراز almost-${\displaystyle \mu }$

${\displaystyle H_{\mu }(P)=\sum _{A\in P}{h}_{\mu }(A)}$

اگر ${\displaystyle M}$

${\displaystyle H_{\mu }(M)=\underset{P\subseteq M}{sup}{H}_{\mu }(P)}$

در نهایت، آنتروپی فضای احتمالاتی برابر است با ${\displaystyle H_{\mu }(\mathrm{\Sigma })}$

متغیر تصادفی ${\displaystyle X}$

${\displaystyle \mathrm{H}(X)=-\sum _{i=1}^n\mathrm{P}(x_i){\log }_2\mathrm{P}(x_i)=-\sum _{i=1}^2\frac{1}{2}{\log }_2(\frac{1}{2})=1,}$

وقتی ${\displaystyle p}$

${\displaystyle \mathrm{H}(X)=-\left(0{\log }_2(0)+1{\log }_2(1)\right)=0.}$

برای ${\displaystyle p=\frac{1}{4}}$

${\displaystyle \mathrm{H}(X)=-\left(\frac{1}{4}{\log }_2(\frac{1}{4})+\frac{3}{4}{\log }_2(\frac{3}{4})\right)\approx 0.81}$

به‌طور کلی، توزیع یکنواخت، بیشترین آنتروپی، و یک رویداد قطعی، کمترین آنتروپی را دارا هستند.

برای درک مفهوم ${\displaystyle -\sum p_i\log (p_i)}$

1. ${\displaystyle I(p)}$
   به صورت یکنوا در ${\displaystyle p}$
   کاهش می‌یابد: افزایش در احتمال یک رویداد، اطلاعات حاصل از مشاهدهٔ آن را کاهش می‌دهد و بلعکس.
2. ${\displaystyle I(1)=0}$
   : رویدادهایی که همیشه رخ می‌دهند، هیچ اطلاعاتی را منتقل نمی‌کنند.
3. ${\displaystyle I(p_1\cdot p_2)=I(p_1)+I(p_2)}$
   : اطلاعات آموخته شده از رویداد‌های مستقل برابر است با جمع اطلاعات بدست آمده از هر رویداد.

با فرض داشتن دو رویداد مستقل، اگر رویداد اول ${\displaystyle n}$

شانون کشف کرد که یک انتخاب مناسب برای ${\displaystyle I}$

${\displaystyle I(p)=\log (\frac{1}{p})=-\log (p)}$

در واقع تنها مقادیر ممکن برای ${\displaystyle I}$

آنتروپی یک منبع اطلاعات، حد پایین متوسط بهترین نرخ فشرده‌سازی بدون اتلاف داده‌های آن منبع است. به بیان دقیق‌تر هیچ روش فشرده‌سازی ای وجود ندارد که به‌طور میانگین مقدار متغیر تصادفی ${\displaystyle X}$

آنتروپی یکی از راه‌های متعدد سنجش تنوع زیستی است و از آن به صورت شاخص شانون استفاده می‌شود. شاخص تنوع یک معیار کمی آماری برای بررسی انواع گوناگون موجود در یک مجموعهٔ داده است.

روش‌های یادگیری ماشین به طور عمده مبتنی بر آمار و همچنین نظریه‌ٔ اطلاعات است. به طور کلی، آنتروپی یک معیار برای عدم قطعیت است و هدف یادگیری ماشین کاهش عدم قطعیت است.

الگوریتم‌های یادگیری درخت تصمیم از آنتروپی نسبی استفاده می‌کنند تا قوانین تصمیم‌گیری حاکم بر داده‌ها در هر گره را پیدا کند. کسب اطلاعات در درخت‌های تصمیم ${\displaystyle IG(Y,X)}$

مدل‌های استنباط بیزی اغلب با استفاده از اصل حداکثر آنتروپی، توزیع احتمال پیشین را بدست می‌آورند. منطق این روش این است که توزیعی که بهترین بیان از دانش ما از حالت کنونی یک سامانه را دارد، همانی است که بیشترین آنتروپی را دارد بنابراین برای توزیع پیشین بودن مناسب است.

طبقه‌بندی در یادگیری ماشین که توسط رگرسیون لجستیک یا شبکه‌های عصبی مصنوعی پیاده‌سازی می‌شود، اغلب از از یک تابع زیان استاندارد، به نام زیان آنتروپی متقاطع، استفاده می‌کند که میانگین آنتروپی متقاطع بین واقعیت و توزیع‌های پیش‌بینی شده را کمینه می‌کند. به طور کلی، آنتروپی متقاطع یک معیار برای محاسبهٔ تفاوت میان ۲ مجموعهٔ داده‌ها است، مانند واگرایی کولبک-لیبلر یا همان آنتروپی نسبی.

• آنتروپی (ترمودینامیک)
• آنتروپی متقاطع
• آنتروپی تفاضلی
• آنتروپی شرطی
• آنتروپی (پیکان زمان)
• کدگذاری آنتروپی
• اطلاع فیشر
• فاصلهٔ همینگ
• تاریخچهٔ آنتروپی
• فاصلهٔ لون‌اشتاین
• اطلاعات مقابل
• سرگشتگی
• اعداد تصادفی
• شاخص شانون

• Elements of Information Theory (انگلیسی)