نامساوی جمع لگاریتم

نا مساوی جمع لگاریتم، یک نامساوی موجود در ریاضیات است که برای اثبات قضایا در نظریه اطلاعات کاربرد دارد.

توضیح

فرض کنید $a_{1},\ldots ,a_{n}$

و

b_{1},\ldots ,b_{n}

اعداد نا منفی باشند. مجموع تمام اعداد

a_{i}\;

را با

a

و مجموع تمام

b_{i}\;

ها را با

b

نمایش دهیم. نامساوی جمع لگاریتم می‌گوید:

$\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},$

و برابر است، اگر و تنها اگر ${\frac {a_{i}}{b_{i}}}$

برای همه

i

ها برابر باشند. به عبارت دیگر رابطه

a_{i}=cb_{i}

برای همه

i

‌ها برقرار باشند.

اگر $f(x)=x\log x$

باشد، داریم:

{\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}

که در آن از نامساوی جنسن استفاده شده است، چون داریم ${\frac {b_{i}}{b}}\geq 0$

،

\sum _{i}{\frac {b_{i}}{b}}=1

و همچنین تابع

f

محدب است، پس شروط نامساوی جنسن برقرار است.

نامساوی جمع لگاریتم در اثبات نامساوی‌های زیادی در نظریه اطلاعات کاربرد دارد، مثل نامساوی گیبس، یا تحدب واگرایی KL.

به عنوان مثال، برای اثبات نامساوی گیبس، کافی است که $p_{i}\;$

را با

a_{i}\;

و

q_{i}\;

را با

b_{i}\;

جایگذاری کنیم.

$\mathbb {D} _{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log _{2}{\frac {p_{i}}{q_{i}}}\geq 1\log {\frac {1}{1}}=0.$

این نامساوی با شرط $a<\infty$

و

b<\infty

، برای

n=\infty

برقرار است. اثبات بالا برای هر تابع

g

که

f(x)=xg(x)

محدب باشد برقرار است، مثل همه توابع پیوسته صعودی. تعمیم این رابطه برای برای توابع محدب غیر از لگاریتم در سال ۲۰۰۴ توسط Csiszár داده شده است.