آنتروپی تفاضلی

دیفرانسیل آنتروپی (همچنین به عنوان مستمر آنتروپی) یک مفهوم در نظریه اطلاعات که شروع به تلاش شانون به گسترش ایده (Shannon) آنتروپی اندازه‌گیری دمای هلندی، بین نژادهای مختلف از یک متغیر تصادفی به‌طور مداوم احتمال توزیع است. متأسفانه شانون نمی مشتق این فرمول و نه فقط فرض آن را درست مستمر آنالوگ آنتروپی گسسته است. واقعی نسخه مداوم آنتروپی گسسته است و محدود کردن تراکم نقاط گسسته (LDDP). دیفرانسیل آنتروپی (در اینجا توضیح داده شده‌است) مواجه می‌شوند که معمولاً در ادبیات، اما از آن است که محدود مورد LDDP و یکی که از دست می‌دهد و اساسی آن ارتباط با گسسته آنتروپی.

تعریف

اجازه X یک متغیر تصادفی با یک چگالی احتمال تابع f که پشتیبانی یک مجموعه $\mathbb {X}$

. این دیفرانسیل آنتروپی h(X) یا ثانیه(f) تعریف شده‌است به عنوان

h(X)=-\int _{\mathbb {X} }f(x)\log f(x)\,dx

.

برای توزیع‌های احتمالی است که نمی‌باید صریح و روشن تابع چگالی بیان اما باید صریح و روشن quantile تابع بیان Q(p) h(Q) را می‌توان تعریف شده در شرایط مشتق از Q(p) یعنی quantile تابع چگالی Q'(p) به عنوان

h(Q)=\int _{0}^{1}\log Q'(p)\,dp

.

به عنوان با آن گسسته آنالوگ واحد دیفرانسیل آنتروپی بستگی به پایه لگاریتم است که معمولاً ۲ (برای مثال واحدهای بیت). دیدن لگاریتمی واحد برای لگاریتم گرفته در پایگاه‌های مختلف. مربوط به مفاهیم مشترک بین مشروط دیفرانسیل آنتروپی و آنتروپی نسبی تعریف شده در یک مد مشابه. بر خلاف گسسته آنالوگ دیفرانسیل آنتروپی یک افست که بستگی به واحد مورد استفاده برای اندازه‌گیری X. به عنوان مثال دیفرانسیل آنتروپی یک مقدار اندازه‌گیری میلی‌متر خواهد بود و ورود به سیستم(۱۰۰۰) بیش از همان مقدار اندازه‌گیری در متر؛ بعد مقدار باید دیفرانسیل آنتروپی از ورود به سیستم(۱۰۰۰) بیش از همان مقدار توسط ۱۰۰۰ تقسیم می‌شود.

یکی باید مراقبت در تلاش برای اعمال خواص آنتروپی گسسته به دیفرانسیل آنتروپی پس از چگالی احتمال توابع را می‌توان بزرگتر از ۱ است. به عنوان مثال ,(۰٬۱/۲) منفی دیفرانسیل آنتروپی

\int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,

.

بنابراین دیفرانسیل آنتروپی می‌کند به اشتراک گذاری تمام خواص آنتروپی گسسته است.

توجه داشته باشید که پیوسته متقابل اطلاعات من(X;Y) تمایز حفظ آن اهمیت اساسی به عنوان یک اندازه‌گیری از اطلاعات گسسته از آن است که در واقع حد گسسته متقابل اطلاعات از پارتیشنهای X و Y به عنوان این پارتیشن تبدیل ظریف و ظریف است؛ بنابراین از آن است که ناوردا تحت غیر خطی homeomorphisms (پیوسته و منحصر به فرد invertible نقشه) مادر از جمله خطی تحولات X و Yو هنوز هم نشان دهنده مقدار گسسته اطلاعاتی که منتقل می‌شود بیش از یک کانال است که اذعان می‌کند یک فضای مداوم از ارزش‌ها.

به صورت مستقیم آنالوگ آنتروپی گسسته تمدید مستمر فضای ببینید محدود کردن تراکم نقاط گسستهاست.

خواص آنتروپی دیفرانسیل

برای تراکم f و gرا Kullback–Leibler واگرایی D(f||g) بزرگتر یا مساوی ۰ با برابری تنها در صورتی f = g تقریباً در همه جا. به طور مشابه برای دو متغیر تصادفی X و Yهای من(X;Y) ≥ ۰ و h(X|Y) ≤ h(X) برابری با اگر و تنها اگر X و Y هستند و مستقل است.
قاعده زنجیری برای دیفرانسیل دارای آنتروپی به عنوان در مورد گسسته

h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})

.

دیفرانسیل آنتروپی ترجمه ناوردا یعنی h(X + c) = h(X) به صورت ثابت cاست.
دیفرانسیل آنتروپی به طور کلی نمی ناوردا تحت دلخواه invertible نقشه. به طور خاص برای ثابت یکدوست ثانیه(aX) = h(X) + log|a|. برای یک بردار با ارزش متغیر تصادفی X و یک ماتریس یکدوست ثانیه(یک X) = h(X) + log|det(A)|.
در کل برای یک تغییر و تحول از یک بردار تصادفی به یکی دیگر از تصادفی وکتور با همان ابعاد Y = m(X) مربوط به آنتروپی مربوط از طریق

h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert dx

که در آن

\left\vert {\frac {\partial m}{\partial x}}\right\vert

است ژاکوبین تحول m. فوق نابرابری می‌شود برابری اگر تبدیل bijection. هنگامی که m سفت و سخت چرخش ترجمه یا ترکیبی از آن ژاکوبین تعیین کننده است که همیشه ۱ و h(Y) = h(X).

اگر یک بردار تصادفی X در R دارای میانگین صفر و کوواریانس ماتریس Kزدن $h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]$ برابری با اگر و تنها اگر X است که به‌طور مشترک گاوسی (نگاه کنید به زیر).

اما دیفرانسیل آنتروپی ندارد دیگر خواص مطلوب:

آن است که ناوردا تحت تغییر متغیر است و بنابراین مفید با بعد متغیر است.
آن می‌تواند منفی باشد.

اصلاح دیفرانسیل آنتروپی که آدرس این اشکالاتی است که اطلاعات نسبی آنتروپی, همچنین شناخته شده به عنوان Kullback–Leibler واگراییکه شامل یک یکسان اندازه‌گیری فاکتور (نگاه کنید به محدود کردن تراکم نقاط گسسته).

حداکثر در توزیع نرمال

با یک توزیع نرمال دیفرانسیل آنتروپی حداکثر برای یک داده شدند. به دنبال اثبات این است که یک Gaussian متغیر است و بزرگترین آنتروپی در میان تمام متغیرهای تصادفی برابر واریانس یا معادل آن است که حداکثر آنتروپی توزیع تحت محدودیت میانگین و واریانس است گاوسی.

اجازه دهید g(x) یک Gaussian PDF با میانگین μ و واریانس σ و f(x) خودسرانه PDF با همان واریانس است. پس از دیفرانسیل آنتروپی ترجمه ناوردا ما می‌توانیم فرض کنیم که f(x) به همین معنی از μ به عنوان g(x).

در نظر Kullback–Leibler واگرایی بین این دو توزیع

0\leq D_{KL}(f||g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))dx.

در حال حاضر توجه داشته باشید که

{\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx+\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}

چرا که نتیجه بستگی ندارد f(x) دیگر از طریق واریانس. ترکیب این دو نتیجه بازده

h(g)-h(f)\geq 0\!

با برابری هنگامی که g(x) = f(x) پس از خواص Kullback–Leibler واگرایی.

این نتیجه نیز ممکن است نشان داده شود با استفاده از variational حساب دیفرانسیل و انتگرال. یک تابع لاگرانژی با دو لاگرانژ ممکن است به عنوان تعریف شده:

L=\int _{-\infty }^{\infty }g(x)\ln(g(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }g(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)

که در آن g(x) است که برخی از عملکرد با میانگین μ. زمانی که آنتروپی g(x) است که در حداکثر و محدودیت معادلات که شامل وضعیت عادی $\left(1=\int _{-\infty }^{\infty }g(x)\,dx\right)$

و نیاز واریانس ثابت

\left(\sigma ^{2}=\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)

هر دو راضی و سپس یک تنوع کوچک δg(x) g(x) تولید خواهد شد تنوع δL در مورد L که به صفر برابر است با:

0=\delta L=\int _{-\infty }^{\infty }\delta g(x)\left(\ln(g(x))+1+\lambda _{0}+\lambda (x-\mu )^{2}\right)\,dx

پس از این باید نگه دارید برای هر کوچک و δg(x) این واژه در داخل پرانتز باید صفر و برای حل g(x) بازده:

g(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}

با استفاده از محدودیت معادلات به حل برای λ₀ و λ بازده توزیع نرمال:

g(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}

مثال: توزیع نمایی

اجازه X یک توزیع نمایی متغیر تصادفی با پارامتر λ است که با چگالی احتمال تابع

f(x)=\lambda e^{-\lambda x}{\mbox{ for }}x\geq 0.

آن دیفرانسیل آنتروپی است و سپس

$h_{e}(X)\,$	$=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log(\lambda e^{-\lambda x})\,dx$
	$=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)$
	$=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda E[X]$
	$=-\log \lambda +1\,.$

در اینجا $h_{e}(X)$

استفاده شد و به جای

h(X)

آن را صریح و روشن است که لگاریتم گرفته شده به پایه eبه ساده محاسبه است.

دیفرانسیل آنتروپی برای توزیعهای مختلف

در جدول زیر $\Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt$

است گاما تابع‌های

\psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}

است digamma تابع‌های

B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}

این تابع بتا و گاما_E توسط اویلر ثابتاست.

Table of differential entropies
Distribution Name	Probability density function (pdf)	Entropy in nats	Support
Uniform	$f(x)={\frac {1}{b-a}}$	$\ln(b-a)\,$	$[a,b]\,$
Normal	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\ln \left(\sigma {\sqrt {2\,\pi \,e}}\right)$	$(-\infty ,\infty )\,$
Exponential	$f(x)=\lambda \exp \left(-\lambda x\right)$	$1-\ln \lambda \,$	$[0,\infty )\,$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)$	$1+\ln {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}$	$[0,\infty )\,$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}$ for $0\leq x\leq 1$	$\ln B(\alpha ,\beta )-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\,$ $-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\,$	$[0,1]\,$
Cauchy	$f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}$	$\ln(4\pi \gamma )\,$	$(-\infty ,\infty )\,$
Chi	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)$	$\ln {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$	$[0,\infty )\,$
Chi-squared	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)$	$\ln 2\Gamma \left({\frac {k}{2}}\right)-\left(1-{\frac {k}{2}}\right)\psi \left({\frac {k}{2}}\right)+{\frac {k}{2}}$	$[0,\infty )\,$
Erlang	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	$(1-k)\psi (k)+\ln {\frac {\Gamma (k)}{\lambda }}+k$	$[0,\infty )\,$
F	$f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}$	$\ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-$ $\left(1+{\frac {n_{2}}{2}}\right)\psi \left({\frac {n_{2}}{2}}\right)+{\frac {n_{1}+n_{2}}{2}}\psi \left({\frac {n_{1}\!+\!n_{2}}{2}}\right)$	$[0,\infty )\,$
Gamma	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}$	$\ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,$	$[0,\infty )\,$
Laplace	$f(x)={\frac {1}{2b}}\exp \left(-{\frac {\|x-\mu \|}{b}}\right)$	$1+\ln(2b)\,$	$(-\infty ,\infty )\,$
Logistic	$f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}}$	$2\,$	$(-\infty ,\infty )\,$
Lognormal	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)$	$\mu +{\frac {1}{2}}\ln(2\pi e\sigma ^{2})$	$[0,\infty )\,$
Maxwell–Boltzmann	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)$	$\ln(a{\sqrt {2\pi }})+\gamma _{E}-{\frac {1}{2}}$	$[0,\infty )\,$
Generalized normal	$f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp(-\beta x^{2})$	$\ln {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}$	$(-\infty ,\infty )\,$
Pareto	$f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}$	$\ln {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}$	$[x_{m},\infty )\,$
Student's t	$f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}$	${\frac {\nu \!+\!1}{2}}\left(\psi \left({\frac {\nu \!+\!1}{2}}\right)\!-\!\psi \left({\frac {\nu }{2}}\right)\right)\!+\!\ln {\sqrt {\nu }}B\left({\frac {1}{2}},{\frac {\nu }{2}}\right)$	$(-\infty ,\infty )\,$
Triangular	$f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}$	${\frac {1}{2}}+\ln {\frac {b-a}{2}}$	$[0,1]\,$
Weibull	$f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)$	${\frac {(k-1)\gamma _{E}}{k}}+\ln {\frac {\lambda }{k}}+1$	$[0,\infty )\,$
Multivariate normal	$f_{X}({\vec {x}})=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left\|\Sigma \right\|^{1/2}}}$	${\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}$	$(-{\vec {\infty }},{\vec {\infty }})\,$

(بسیاری از دیفرانسیل آنتروپی هستند.

انواع

همان‌طور که در بالا توضیح داده دیفرانسیل آنتروپی می‌کند به اشتراک گذاری تمام خواص آنتروپی گسسته است. برای مثال دیفرانسیل آنتروپی می‌تواند منفی نیز آن است که ناوردا تحت مستمر هماهنگ تحولات است. ادوین تامپسون Jaynes نشان داد در این واقعیت است که بیان بالا درست نیست حد بیان به صورت یک مجموعه متناهی از احتمالات است.

اصلاح دیفرانسیل آنتروپی می‌افزاید: یکسان اندازه‌گیری عامل برای اصلاح این (نگاه کنید به محدود کردن تراکم نقاط گسسته). اگر m(x) است که بیشتر محدود به یک چگالی احتمال در نتیجه مفهوم است که به نام آنتروپی نسبی در نظریه اطلاعات:

D(p||m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.

تعریف دیفرانسیل آنتروپی بالا را می‌توان به دست آمده توسط پارتیشن‌بندی طیف وسیعی از X به سطل از ظهر ثانیه با نمونه همراه نقاط ih در داخل مخازن به صورت X ریمان و انتگرال. این را می‌دهد تدریجی نسخه از Xتعریف شده توسط X_h = ih اگر ih ≤ X ≤ (i+1)ثانیه. سپس آنتروپی از X_ثانیه است

H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).

دوره اول در سمت راست تخمین دیفرانسیل آنتروپی در حالی که دوره دوم حدود −log(h). توجه داشته باشید که این روش نشان می‌دهد که آنتروپی در گسسته حس مداوم از یک متغیر تصادفی باید ∞.

جستارهای وابسته

آنتروپی اطلاعات
نظریه اطلاعات
محدود کردن تراکم نقاط گسسته
Self-اطلاعات
Kullback–Leibler واگرایی
برآورد آنتروپی

منابع

Thomas M. Cover، Joy A. Thomas. Elements of Information Theory New York: Wiley, 1991. شابک ‎۹۷۸−۰۴۷۱۲۴۱۹۵۹

پیوند به بیرون

Hazewinkel, Michiel, ed. (2001), "Differential entropy", Encyclopaedia of Mathematics, Springer, ISBN 978-1-55608-010-4
Differential entropy at PlanetMath.