قضیه بیز

فرض می‌کنیم ${\displaystyle B_1,...,B_k}$

${\displaystyle P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum _{j=1}^{k}P(B_j)P(A|B_j)}}$

طبق تعریف احتمال شرطی داریم ${\displaystyle P(B_i|A)=\frac{P(B_i\cap A)}{P(A)}}$

اگر A و B دو پیشامد مفروض باشند، می‌توان پیشامد A را به صورت زیر در نظر بگیریم:

${\displaystyle A=(A\cap B)\cup (A\cap B^{\prime })}$

زیرا نقطه‌ای که در ${\displaystyle A}$

${\displaystyle P(A)=P(AB)+P(A{B}^{\prime })=P(A|B)P(B)+P(A|B^{\prime })P(B^{\prime })=P(A|B)P(B)+P(A|B^{\prime })\left(1-P(B)\right)}$

این رابطه بیان می‌دارد که احتمال به وقوع پیوستن پیشامد ${\displaystyle A}$

${\displaystyle S={\cup }_i^n{F}_i}$

از این عبارت این گونه می‌توان استنباط کرد که حتماً یکی از پیشامدهای ${\displaystyle B_1}$

${\displaystyle A={\cup }_i^n\left(A\cap B_i\right)}$

از این‌جا می‌توان نوشت:

${\displaystyle P(A)=\sum _{i=1}^{n}P(A\cap B_i)=\sum _{i=1}^{n}p(A|B_i)P(B_i)}$

این رابطه بیان می‌دارد که چگونه می‌توان ${\displaystyle P(A)}$

${\displaystyle P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum _{j=1}^{k}P(B_j)P(A|B_j)}}$

برای نگرش بیزی به یادگیری ماشین (و یا هر فرایند دیگر) می‌باید نخست:

• دانش موجود دربارهٔ موضوع را به صورت احتمالاتی فرموله کنیم:برای اینکار باید مقادیر کیفی دانش را به صورت توزیع احتمال، فرضیات استقلال و غیره مدل کرد. این مدل دارای پارامترهای ناشناخته‌ای خواهد بود که برای هر یک از مقادیر ناشناخته، توزیع احتمال اولیه‌ای در نظر گرفته می‌شود که بازگوکننده باور ما به محتمل بودن هر یک از این مقادیر بدون دیدن داده‌است.
• با جمع‌آوری داده و مشاهدهٔ آن، مقدار توزیع احتمال ثانویه را محاسبه می‌کنیم
• با استفاده از این احتمال ثانویه:
• به یک نتیجه‌گیری در مورد عدم قطعیت می‌رسیم
• با میانگین‌گیری روی مقادیر احتمال ثانویه پیش‌بینی انجام می‌دهیم
• برای کاهش خطای ثانویه مورد انتظار تصمیم‌گیری می‌کنیم

تئوری بیز در یادگیری ماشین

در یادگیری ماشین معمولاً در فضای فرضیه ${\displaystyle h}$

سنگ بنای یادگیری بیزی را تئوری بیز تشکیل می‌دهد. این تئوری امکان محاسبه احتمال ثانویه را بر مبنای احتمالات اولیه می‌دهد:

$${\displaystyle P(h|D)=\frac{P(D|h)P(h)}{P(D)}}$$

همان‌طور که مشاهده می‌شود با افزایش ${\displaystyle P(D)}$

تعریف مفاهیم اولیه

فرض کنید که فضای فرضیه ${\displaystyle h}$

${\displaystyle P(h)}$

: احتمال پیشین (prior probablity) که فرضیه ${\displaystyle h}$

قبل از مشاهده داده آموزشی ${\displaystyle D}$

داشته‌است. اگر چنین احتمالی موجود نباشد می‌توان به تمامی فرضیه‌ها احتمال یکسانی نسبت داد.

${\displaystyle P(D)}$

: احتمال مشاهده داده آموزشی ${\displaystyle D}$

.

${\displaystyle P(D|h)}$

: درست نمایی (likelihood) یا احتمال مشاهده داده آموزشی ${\displaystyle D}$

به فرض آنکه فرضیه ${\displaystyle h}$

صادق باشد.

${\displaystyle P(h|D)}$

: احتمال پسین (posterior probablity) یا احتمال فرضیه ${\displaystyle h}$

به شرط مشاهده داده آموزشی ${\displaystyle D}$

.

توجه شود که احتمال پیشین ${\displaystyle P(h)}$

روش‌های یادگیری بیزی ماشینی

روش‌های بیزی فرضیه‌هایی ارائه می‌دهند که قادر به پیش‌بینی احتمالی هستند (مثل بیمار به احتمال ۹۳٪ بهبود می‌یابد) مثال‌های جدید را می‌توان با ترکیب وزنی چندین فرضیه دسته‌بندی نمود. حتی در مواردی که روش‌های بیزی قابل محاسبه نباشند، می‌توان از آن‌ها به عنوان معیاری برای ارزیابی روش‌های دیگر استفاده کرد تعدادی از روش‌های یادگیری ماشینی بیزی شامل موارد زیر است:

• Bayes Optimal Classifier
• دسته‌بندی‌کننده نایو بیز
• شبکه‌های بیزی

در یک مسئله تشخیص بیماری با دو فرضیه روبرو هستیم:

1. بیمار دارای سرطان است.
2. بیمار سالم است.

دادهای آزمایشگاهی نشان می‌دهد که ۰٫۰۰۸ جمعیت دارای این بیماری هستند و بعلت نادقیق بودن تست‌های آزمایشگاهی نتایج آن به صورت زیر است:

در ۹۸٪ مواقعی که شخص واقعاً بیمار است نتیجه صحیح مثبت حاصل می‌شود.

در ۹۷٪ مواقعی که بیمار سالم است نتیجه صحیح منفی حاصل می‌شود.

حال اگر بیمار جدیدی مشاهده شود که جواب آزمایشگاه مثبت باشد، آیا باید بیمار را مبتلا به سرطان بدانیم؟ احتمال ابتلای بیمار به سرطان عبارت است از:

احتمال نداشتن سرطان عبارت است از:

• احتمال‌های بیزین
• توماس بیز

• دگروت-اسکرویش (۱۳۸۵)، احتمال و آمار جلد اول، ترجمهٔ دکتر عین‌الله پاشا، ص. ۹۸، شابک ۹۷۸-۹۶۴-۳۹۵-۸۷۱-۸

sheldon ross sixth edition، A first course of probability