فرض کنید که مشاهدات را با نمایش دهیم، متغیرهای پنهان را با و همهٔ پارامترهای توزیع را نیز با . در این صورت لگاریتم درست نمایی کل دادهها (پنهان و نمایان=مشاهدات) برابر خواهد بود با:
از آنجا که لگاریتم تابع اکیداً صعودی است، میتوان لگاریتم درست نمایی کل دادهها را نسبت به بیشینه کرد. هرچند، آرگومان لگاریتم یک مجموع است و نمیتوان به سادگی پاسخ تحلیلی برای یافت. از این رو، الگوریتم ب-ا ترفندی را برای بیشینه کردن حد پایین لگاریتم درست نمایی بکار میبرد. این حد پایین از نابرابری ینسن بدست میآید.
بر اساس نابرابری ینسن که از کوژ بودن تابع لگاریتم استفاده میکند برای هر دسته تایی از ها و ها اگر و ، خواهیم داشت:
اکنون را به صورت زیر باز مینویسیم
با گزینش نابرابری بالا تنگ میشود. این به معنای آن است که نابرابری به برابری تبدیل میشود. این گام الگوریتم همانند بیشینه کردن حدپایین درست نمایی () نسبت به است. در نتیجه روش کار الگوریتم امید ریاضی-بیشینه کردن به صورت زیر است:
- پارامترها را مقدار آغازین میدهیم.
- تا زمان همگرایی به بیشینه محلی ادامه میدهیم:
- گام-ا (مید ریاضی):
- گام-ب (بیشینه کردن):
- مقادیر نهایی و را باز گردان
این دیدگاه نسبت به الگوریتم امید ریاضی-بیشینه کردن متعلق به نیل و هینتون است.
بدین ترتیب در هر گام الگوریتم، حد پایین درست نمایی کل دادهها افزایش مییابد تا آنجا که در یک بیشینه محلی همگرا شود. برای رهایی از بیشینههای محلی، این الگوریتم را معمولاً چندین بار با شرایط آغازین متفاوت اجرا میکنند.
مدل مخلوط گوسی
اگر ، داده مستقل از یک توزیع مخلوط گاوسی با بُعد باشد و متغیرهای پنهانِ مسئله باشد که نشان میدهد هر بار داده از کدام یک از توزیعهای گاوسی آمده است، آنگاه رابطه با به این شکل خواهد بود (برای سادگی کار تعداد توزیعهای مخلوط گاوسی دو در نظر گرفته شده):
و و و
هدف یادگیری پارامترهای این دو توزیع و نحوه مخلوط کردن آنهاست یعنی ، تابع درست نمایی برابر است با .
حال اگر مقادیر متغیرهای پنهان مشخص بود تابع درست نمایی با عبارت پایین برابر میشد:
و اگر این عبارت را بسط دهیم به این معادله میرسیم:
تابع چگالی احتمال توزیع گاوس است و تابع مشخصه است. در معادله خط قبلی برای هر دقیقا یک تابع مشخصه یک است و دیگری صفر، یعنی دقیقا برای یکی از ها برابر با یک خواهد بود.
مرحله امید ریاضی (E)
طبق قضیه بیز که همان احتمال شرطی است به این شکل محاسبه میشود:
همچنین تابع الگوریتم به شکل ذیل بدست میآید:
امید ریاضی در معادله بالا نسبت به توزیع احتمال مشروط یعنی گرفته می شود. این احتمال برای هر میتواند مقداری متفاوت داشته باشد.
مرحله بیشینهسازی (M)
بر طبق برآورد درست نمایی بیشنه توزیع گاوسی، مقادیر میانگین و کوواریانس را به این شکل محاسبه میکنیم:
و و و
پایان الگوریتم
مراحل E و M را بهصورت متناوب آنقدر اجرا میکنیم تا جایی که میزان افزایش تابع امید ریاضی مشروط از یک حد از پیش تعیین شدهای مانند بیشتر نشود، به زبان ریاضی یعنی زمانی که نابرابری پایین صدق کند.