آنالیز افتراقی خطی

مجموعه‌ای از مشاهدات را به نام${\displaystyle \overrightarrow{x}}$

LDA با این فرض که تابع چگالی احتمال شرطی ${\displaystyle p(\overrightarrow{x}|y=0)}$

بدون هیچ فرض اضافه‌ای دسته‌بندی‌کننده حاصل به عنوان QDA (Quadratic discriminant analysis) شناخته می‌شود. LDA علاوه براین‌ها فرض ساده کننده هم‌واریانسی(Homoscedasticity) (یعنی برابری کوواریانس کلاس‌ها) و کوواریانس‌ها رتبه کامل هستند. در این مورد، اصطلاحات گوناگون باطل می‌شوند و معیار تصمیم آستانه ضرب نقطه ای زیر خواهد بود:

${\displaystyle \overrightarrow{w}\cdot \overrightarrow{x}>c}$

برای آستانه معین ثابتی به نام c، در حالی که:

${\displaystyle \overrightarrow{w}\propto {\mathrm{\Sigma }}^{-1}({\overrightarrow{\mu }}_1-{\overrightarrow{\mu }}_0)}$

بدین معنی است که معیار یک ورودی که در یک کلاس y جای دارد، تابعی ناب از ترکیب خطی مشاهدات شناخته شده‌است.

دیدن این نتیجه از نظر هندسی اغلب مفید است: معیار یک ورودی که در یک کلاس y جای دارد تابعی ناب از پروجکشن فضای چند بعدی نقطه بر روی بردار است (بنابراین، تنها جهت آن را در نظر می‌گیریم). به بیانی دیگر، مشاهده به کلاس y تعلق دارد اگر متناظرش در یک طرف معین از ابر صفحه عمود بر واقع شده باشد. موقعیت صفحه توسط مقدار آستانه c تعریف می‌شود.

CDA آنالیز افتراقی استاندارد محورهای مختصاتی (K-1 مختصات استاندارد، K تعداد کلاس‌ها را نشان می‌دهد) را که به بهترین شکل دسته‌ها را از هم مجزا می‌کند، پیدا خواهد کرد. این توابع خطی ناهمبسته هستند و k-1 فضا را از طریق ابر n بعدی از داده‌ها که به بهترین شکل k گروه را از هم مجزا می‌کند. برای جزئیات بیشتر LDA چند کلاسه را ببینید.

هرچند مقاله اصلی فیشر رویکرد متفاوتی برای تعریف یک افتراق‌دهنده به کار می‌گیرد و بعضی فرضیات LDA مانند کلاس‌های دارای توزیع نرمال یا کوواریانس برابر کلاس را ندارد، واژه‌های افتراق خطی فیشر و LDA معمولاً به جای یکدیگر به کار می‌روند.

دو کلاس از مشاهدات را با میانگین‌ها و کوواریانس‌ها در نظر بگیرید. حالا ترکیب خطی دارای میانگین و واریانس هستند. افتراق‌دهنده فیشر بین این دو توزیع را به صورت نسبت واریانس بین دو کلاس به واریانس درون دو کلاس تعریف کرد:

${\displaystyle S=\frac{{\sigma }_{\text{between}}^2}{{\sigma }_{\text{within}}^2}=\frac{(\overrightarrow{w}\cdot {\overrightarrow{\mu }}_{y=1}-\overrightarrow{w}\cdot {\overrightarrow{\mu }}_{y=0}{)}^2}{{\overrightarrow{w}}^T{\mathrm{\Sigma }}_{y=1}\overrightarrow{w}+{\overrightarrow{w}}^T{\mathrm{\Sigma }}_{y=0}\overrightarrow{w}}=\frac{(\overrightarrow{w}\cdot ({\overrightarrow{\mu }}_{y=1}-{\overrightarrow{\mu }}_{y=0}){)}^2}{{\overrightarrow{w}}^T({\mathrm{\Sigma }}_{y=0}+{\mathrm{\Sigma }}_{y=1})\overrightarrow{w}}}$

به عبارت دیگر این مقدار، مقیاسی از نسبت سیگنال به نویز برای برچسب گذاری کلاس است. می‌توان نشان داد که حداکثر جداسازی زمانی اتفاق می‌افتد که:

${\displaystyle \overrightarrow{w}\propto ({\mathrm{\Sigma }}_{y=0}+{\mathrm{\Sigma }}_{y=1}{)}^{-1}({\overrightarrow{\mu }}_{y=1}-{\overrightarrow{\mu }}_{y=0})}$

وقتی که فرضیات LDA ارضا شد، معادله بالا معادل با LDA خواهد بود. حتماً به یاد داشته باشید که بردار بردار نرمال ابرصفحه جداکننده است. به عنوان یک مثال، در یک مسئله دوبعدی، خطی که دو گروه را به بهترین شکل تقسیم می‌کند عمودمنصف است.

به‌طور کلی، نقاط داده‌ای که باید جدا شوند باید بر روی بردار ${\displaystyle \overrightarrow{w}}$

${\displaystyle c=\overrightarrow{w}\cdot \frac{1}{2}({\overrightarrow{\mu }}_{y=0}+{\overrightarrow{\mu }}_{y=1})=\frac{1}{2}{\overrightarrow{\mu }}_{y=1}^t{\mathrm{\Sigma }}^{-1}{\overrightarrow{\mu }}_{y=1}-\frac{1}{2}{\overrightarrow{\mu }}_{y=0}^t{\mathrm{\Sigma }}^{-1}{\overrightarrow{\mu }}_{y=0}}$

وقتی که بیش از یک کلاس وجود داشته باشد، همان معادلات و روابطی که در تکنیک افتراقی فیشر به کار می‌روند را می‌توان برای پیدا کردن آن زیرفضایی به کار برد که به‌نظر می‌رسد می‌تواند تمام دامنه‌ی تغییرپذیری داده‌ها در کلاس‌های گوناگون را نشان دهد. چنین تعمیمی به واسطه‌ی کارهای C.R. Rao به دست آمده است. فرض کنید هر کلاس از C کلاس یک میانگین${\displaystyle {\mu }_i}$

${\displaystyle {\mathrm{\Sigma }}_b=\frac{1}{C}\sum _{i=1}^C({\mu }_i-\mu )({\mu }_i-\mu {)}^T}$

در حالی که میانگین، میانگین، کلاس‌ها است. جداسازی کلاس در یک جهت در این مورد با عبارت زیر داده خواهد شد:

${\displaystyle S=\frac{{\overrightarrow{w}}^T{\mathrm{\Sigma }}_b\overrightarrow{w}}{{\overrightarrow{w}}^T\mathrm{\Sigma }\overrightarrow{w}}}$

معنی اش این است که وقتی یک بردار ویژه از باشد جداسازی، معادل با مقدار ویژه متناظرش خواهد بود.

اگر ${\displaystyle {\mathrm{\Sigma }}^{-1}{\mathrm{\Sigma }}_b}$

اگر به جای کاهش ابعاد دسته‌بندی موردنیاز باشد، تعدادی تکنیک جایگزین وجود دارد. برای مثال، کلاس‌ها را می‌توان پارتیشن‌بندی کرد و آنالیز افتراقی فیشر استاندارد یا LDA را برای دسته‌بندی هر پارتیشن به کار برد. یک مثال رایج از این رویکرد "یکی در برابر بقیه" است، وقتی که نقاط از یک کلاس در یک گروه قرار می‌گیرند، و هر چیز دیگر در دیگری، سپس LDA اعمال می‌شود. که این کار به C classifier منتج می‌شود، که نتایج آن ترکیب می‌شود. روش رایج دیگری دسته‌بندی جفتی است، جایی که یک دسته‌بند جدید برای هر جفت از کلاس‌ها ایجاد می‌شود (در مجموع C-1 دسته بندی‌کننده داده می‌شود)، با ترکیب دسته‌بندی کننده‌های منفرد برای تولید یک دسته‌بندی‌کننده نهایی.

در عمل، میانگین کلاس‌ها و کوواریانس‌ها معلوم نیست. هرچند می‌توان آن‌ها را از مجموعه آموزش تخمین زد. برآورد بیش‌ترین درست‌نمایی (maximum likelihood estimate) یا برآورد پسین حداکثر(maximum a posteriori) را می‌توان به جای مقدار دقیق در معادلات بالا به کار برد. اگرچه برآورد کوواریانس بعضی مواقع بهینه در نظر گرفته شده‌است، به این معنی نیست که افتراق به‌دست آمده با جایگزینی این مقادیر همیشه بهینه باشد، حتی اگر فرض توزیع نرمال کلاس‌ها درست باشد.

پیچیدگی دیگر در اعمال LDA و افتراق‌دهنده‌ی فیشر به داده‌های واقعی وقتی که تعداد مشاهدات هر نمونه از تعداد نمونه‌ها کم‌تر باشد روی می‌دهد. در این مورد، برآورد کوواریانس full rank نیست، پس نمی‌تواند معکوس شود. روش‌های گوناگونی برای حل این مشکل وجود دارد. یک روش استفاده از شبه معکوس به جای ماتریس معکوس معمولی در فرمول بالاست. به هر حال، پایداری بهتر عددی با پرتو اندازی (پروجکشن) مسئله بر زیرفضای گسترش یافته با ممکن است به‌دست آید. راهبرد دیگر برای حل مشکل اندازه نمونه استفاده از یک برآوردگر انقباضی (Shrinkage estimator) از ماتریس کوواریانس است، به بیان ریاضی:

${\displaystyle C_{\text{new}}=(1-\lambda )C+\lambda I}$

${\displaystyle I}$

همچنین در بسیاری از موارد عملی افتراق خطی مفید نیست. LDA و افتراق‌دهنده‌ی فیشر با استفاده از ترفند کرنل Kernel method قابل تعمیم به دسته‌بندی غیرخطی هستند. در اینجا مشاهدات اصلی به صورت مؤثر به یک فضای غیرخطی بالاتر نگاشت می‌شوند. دسته‌بندی خطی در این فضای غیرخطی معادل دسته‌بندی غیرخطی در فضای اصلی است. مثال بسیار رایج روش کرنل افتراقی فیشر kernel Fisher discriminant است.

LDA قابل تعمیم به آنالیز افتراقی چند دسته‌ایی نیز است، وقتی که c یک متغیر رتبه‌ای با N حالت ممکن به جای دو حالت باشد. به‌طور مشابه، اگر چگالی‌های شرطی کلاس با یک کوواریانس مشترک نرمال باشد، آماره بسنده برای مقادیری از N تصویر (پروجکشن) است، که زیرفضایی است که با N میانگین گسترش یافته‌است، با affine projected که به وسیله ماتریس کوواریانس معکوس. این پروجکشن‌ها در حل یک مسئله مقدار ویژه تعمیم یافته یافت می‌شوند، جایی که صورت ماتریس کوواریانسی است که با درنظرگرفتن میانگین‌ها به عنوان نمونه‌ها تشکیل شده‌است، و مخرج ماتریس کوواریانس مشترک است.

• لوجیت
• پرسپترون
• تحلیل مولفه‌های اصلی