برآوردگر بیشینه‌گر احتمال پسین

فرض کنید میخواهیم پارامتر جمعیت مشاهده نشده‌ی ${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(x|\theta )}$

و تخمین زیر، برآورد حداکثر درست نمایی است:

${\displaystyle {\hat{\theta }}_{\mathrm{M}\mathrm{L}\mathrm{E}}(x)=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}f(x\mid \theta )}$

حال فرض کنید توزیع پیشین ${\displaystyle g}$

${\displaystyle \theta \mapsto f(\theta \mid x)=\frac{f(x\mid \theta )g(\theta )}{{\displaystyle {\int }_{\mathrm{\Theta }}f(x\mid \vartheta )g(\vartheta )d\vartheta }}}$

${\displaystyle g}$

روش برآوردگر بیشینه‌گر احتمال پسین به صورت زیر است:

${\displaystyle {\hat{\theta }}_{\mathrm{M}\mathrm{A}\mathrm{P}}(x)=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}f(\theta \mid x)=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\frac{f(x\mid \theta )g(\theta )}{{\displaystyle {\int }_{\mathrm{\Theta }}f(x\mid \vartheta )g(\vartheta )d\vartheta }}=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}f(x\mid \theta )g(\theta ).}$

مخرج کسر بالا همواره مثبت است و نیز وابسته به ${\displaystyle \theta }$

هر وقت تابع هزینه به شکل زیر باشد:

و ${\displaystyle c}$

محاسبه:

برآوردگر بیشینه‌گر احتمال پسین به چندین روش می‌تواند محاسبه شود:

1. تحلیلی، زمانی که مد(های) توزیع پسین به شکل عبارت فرم بسته باشد. این مورد زمانی است که توزیع مزدوج پیشین استفاده میشود.
2. به وسیله‌ی بهینه سازی عددی، مانند روش گرادیان مزدوج یا روش نیوتون. این روش معمولا نیازمند مشتقات اول و دوم است.
3. به وسیله تغییر دادن الگوریتم امید ریاضی بیشینه کردن. در این روش نیازی به محاسبه مشتقات چگالی پسین نیست.
4. به روش مونت‌کارلو و با استفاده از الگوریتم تبرید شبیه‌سازی‌شده.

در حالی که فقط شرایط خفیف برای برآوردگر بیشینه‌گر احتمال پسین نیاز است تا نمونه‌ی حدی یک تخمین‌گر بیزی باشد(تحت تابع هزینه‌ی 1-0)، ولی عموما نمایانگر روش‌های بیزی نیست. آن به این دلیل است که برآوردگرهای بیشینه‌گر احتمال پسین، تخمین‌گر نقطه هستند در حالی که روش‌های بیزی از توزیع‌ها برای خلاصه‌سازی داده و نتیجه‌گیری استفاده می‌کنند. از این رو روش‌های بیزی برای گزارش پسین میانگین یا میانه(در کنار بازه‌های مورد قبول) معتبر هستند، زیرا این تخمین‌گرها به‌ترتیب تحت خطای مربعات و خطای خطی بهینه هستند و همچنین توزیع پسین ممکن است توزیع آنالیزی ساده‌ای نداشته باشد(در چنین شرایطی توزیع با استفاده از زنجیره مارکوف مونت‌کارلو می‌تواند شبیه‌سازی شود در حالی که بهینه‌سازی برای پیدا کردن مدهایش ممکن است سخت یا ناممکن باشد).

در بسیاری از انواع مدل‌ها همانند مدل‌های مخلوط، پسین ممکن است چند-مُدال باشد. در این شرایط توصیه آن است که بیشترین مد انتخاب شود که همواره امکان پذیر نیست و گاهی احتمال دارد ناممکن باشد. علاوه‌بر این‌ها بیشترین مد ممکن است بیانگر ویژگی‌های اغلب پسین‌ها نباشد.

برخلاف برآوردگرهای درست‌نمایی بیشینه، برآوردگرهای بیشینه‌گر احتمال پسین هنگام دوباره‌سازی پارامترها ثابت نیستند. زیرا تغییر از یکی به دیگری ژاکوبین جدیدی را ایجاد می‌کند که روی مکان بیشینه اثر می‌گذارد.

فرض کنید می‌خواهیم ورودی‌های ${\displaystyle x}$

فرض کنید ${\displaystyle (x_1,x_2,...,x_n)}$

تابعی که میخواهیم بیشینه کنیم به صورت زیر است:

${\displaystyle f(\mu )f(x\mid \mu )=\pi (\mu )L(\mu )=\frac{1}{\sqrt{2\pi }{\sigma }_m}\exp \left(-\frac{1}{2}{\left(\frac{\mu -{\mu }_0}{{\sigma }_m}\right)}^2\right)\prod _{j=1}^n\frac{1}{\sqrt{2\pi }{\sigma }_v}\exp \left(-\frac{1}{2}{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2\right)}$

که هم ارز است با کمینه کردن تابع زیر از ${\displaystyle \mu }$

${\displaystyle \sum _{j=1}^n{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2+{\left(\frac{\mu -{\mu }_0}{{\sigma }_m}\right)}^2.}$

در نهایت برآوردگر بیشینه‌گر احتمال پسین برای ${\displaystyle \mu }$

${\displaystyle {\hat{\mu }}_{\mathrm{M}\mathrm{A}\mathrm{P}}=\frac{{\sigma }_m^{2}n}{{\sigma }_m^{2}n+{\sigma }_v^2}\left(\frac{1}{n}\sum _{j=1}^n{x}_j\right)+\frac{{\sigma }_v^2}{{\sigma }_m^{2}n+{\sigma }_v^2}{\mu }_0=\frac{{\sigma }_m^2\left(\sum _{j=1}^n{x}_j\right)+{\sigma }_v^2{\mu }_0}{{\sigma }_m^{2}n+{\sigma }_v^2}}$

که یک رابطه‌ی خطی وزن دار بین میانگین پیشین و میانگین نمونه است.

وقتی ${\displaystyle {\sigma }_m}$