اصل حداکثر آنتروپی

از اصل حداکثر آنتروپی زمانی استفاده می‌گردد که یک سری اطلاعات دربارهٔ یک توزیع احتمال وجود دارد، ولی این اطلاعات به اندازه‌ای کافی نمی‌باشند که با استفاده از آن‌ها بتوانیم توزیع را مشخص نماییم. نخست در زیر به ارائه مفهوم آنتروپی پرداخته و سپس به شرح این اصل می‌پردازیم.

آنتروپی یک مشخصه از توزیع احتمال است که میانگین شگفتی کلیه پیشامدها را نشان می‌دهد. شگفتی یک پیشامد مقدار شگفت‌زدگی ما در صورت رخداد آن پیشامد است!برای مثال یک فضای نمونه از ${\displaystyle n}$

${\displaystyle Entropy=-\sum _{i=1}^{n}{P_{i}\log {P_{i}}}}$

اصل حداکثر آنتروپی بیان می‌کند بهترین توزیعی که می‌توان از یک سری اطلاعات داده شده به دست آورد، توزیعی است که بیشترین آنتروپی را دارا می‌باشد، یا به عبارتی میزان غیرقابل پیش‌بینی بودن آن نسبت به دیگر توزیع‌هایی که با اطلاعات موجود می‌توان ساخت بیشتر می‌باشد. برای مثال فرض کنید از یک توزیع احتمالاتی تنها میانگین و واریانس آن را داریم. با استفاده از اطلاعات داده شده بی‌نهایت متغیرتصادفی قابل‌تولید است. اما متغیرتصادفی را انتخاب می‌نماییم که حداکثر آنتروپی را دارا می‌باشد.

اصل حداکثر آنتروپی تنها زمانی کاربرد دارد که ما با اطلاعات سنجش‌پذیر سروکار داریم. اطلاعات سنجش‌پذیر دسته ای از اطلاعات دربارهٔ توزیع احتمالی می‌باشند که درستی یا غلطی آن به‌طور مشخص تعریف شده باشد. برای مثال امید ریاضی X برابر با ۲.۷۸ باشد و ${\displaystyle p_{2}+p_{3}>0.6}$

اصل حداکثر آنتروپی ارتباطی با فرضی کلیدی از نظریه جنبشی گازها که به عنوان هرج‌ومرج مولکولی شناخته می‌شود دارد. ادعا می‌شود ذراتی که وارد برخورد می‌شوند را می‌توان با استفاده از اصل حداکثر آنتروپی مشخص نمود. اگرچه این بیانیه می‌تواند به عنوان یک نظریه فیزیکی شناخته شود، ولی می‌توان آن را به عنوان فرضیه‌ای مبتنی‌بر محتمل‌ترین پیکربندی ذرات پیش از انجام برخورد دانست. در واقع پیش از برخورد،ذرات آرایشی را به خود می‌گیرند که بیشترین آنتروپی ممکن را دارا باشند.