کمترین مربعات جزئی
حداقل مربعات جزئی (انگلیسی: Partial least squares regression (PLS regression)) یکی از روشهای تحلیل رگرسیون است. در این روش، راه حل حداقل مربعات بر روی تعدادی مؤلفه متعامد که ترکیبی خطی از متغیرهای مستقل هستند و به صورت متناوب و با هدف بیشینهکردن کوواریانسِ تبدیل خطیِ متغیرهای مستقل و متغیرهای وابسته ایجاد شدهاند، اعمال میشود.
حداقل مربعات جزئی توسط آماردان سوئدی، Herman O. A. Wold معرفیشد که سپس آن را با پسرش Svante Wold توسعهداد. یک اصطلاح جایگزین برای «حداقل مربعات جزئی»، نگاشت به ساختارهای پنهان است، اما هوز «حداقل مربعات جزئی» در بسیاری از حوزه ها اصطلاح رایج است. اگرچه کاربردهای اصلی آن در علوم اجتماعی بود، اما امروزه PLS بیشترین کاربرد را در شیمیِ آماری و حوزه های مرتبط دارد. همچنین در بیوانفورماتیک، حس سنجی، علوم اعصاب و انسانشناسی نیز استفاده میشود.
رابطه ریاضی
فرض میکنیم
هدف از رگرسیون خطی بدست آوردن پارامتر
از آنجا که
الگوریتم PLS1
PLS1 یک الگوریتم پرکاربرد است که وقتی از آن استفاده میشود که Y یک بردار باشد. این الگوریتم در شبهکد زیر بیان میشود (حروف بزرگ ماتریس هستند، حروف کوچک اگر بالانویس داشته باشند بردار، و اگر اندیس داشتهباشند اسکالر هستند):
1 function PLS1(X, y, l) 23, an initial estimate of w. 4 forto56(note this is a scalar) 789(note this is a scalar) 10 if11, break the for loop 12 if131415 end for 16 define W to be the matrix with columns. Do the same to form the P matrix and q vector. 171819 return
این شکل از الگوریتم نیازی به مرکزیت ورودی X و Y (کم کردن میانگین هر ستون از تک تک درایههای آن ستون در ماتریس) ندارد، زیرا این کار به طور ضمنی توسط الگوریتم انجام میشود.متغیر l (فراهمشده توسط کاربر) محدودیتی برای تعداد متغییرهای پنهان در رگرسیون است و اگر با رتبه ماتریس X برابر باشد، الگوریتم تخمینهای رگرسیون کمترین مربعات را برای B و
جستارهای وابسته
یادداشتها
- ↑ partial least squares
منابع
- ↑ Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). "The Elements of Statistical Learning". Springer Series in Statistics (به انگلیسی): 80–82. doi:10.1007/978-0-387-84858-7. ISSN 0172-7397.
- ↑ de Jong, S.; ter Braak, C.J.F. (1994). "Comments on the PLS kernel algorithm". J. Chemometrics. 8 (2): 169–174. doi:10.1002/cem.1180080208.