کاهش ابعاد
در یادگیری ماشین و آمار کاهش بعد یا کاهش ابعاد به معنی انتقال داده از فضای با بعد بیش تر به فضایی با بعد پایین تر به شکل تحت نظر (Supervised) است، به گونه ای که داده در فضای با بعد کمتر بتواند به طور معنی داری داده اصلی را نمایندگی کند و ویژگی های آن را در خود داشته باشد. کار با داده در ابعاد بالا می تواند به دلایل گوناگونی نامطلوب باشد؛ داده در ابعاد بالا به دلیل نفرین ابعاد بسیار تنک باشد و همچنین تحلیل داده در ابعاد بالا از لحاظ محاسباتی بسیار کند و پرهزینه است. کاهش ابعاد در شاخه هایی که با تعداد زیادی مشاهده و/یا تعداد زیادی ویژگی سروکار دارند مانند پردازش سیگنال یا بینایی ماشین به کار می رود. کاهش ابعاد را میتوان به انتخاب ویژگی و استخراج ویژگی تقسیم کرد.
انتخاب ویژگی
ی ساختن مدل بر اساس اشتباهات پیش بینی، انتخاب میشوند تا اضافه یا حذف شوند).
در این خصوص مشکلات بهینهسازی ترکیباتی را نگاه کنید.
در برخی از موارد، تجزیه و تحلیل دادهها مانند رگرسیون یا طبقهبندی میتواند در فضای کاهش یافته دقیق تر از فضای اصلی انجام بشود.
استخراج ویژگی
استخراج ویژگی دادهها را در فضای با ابعاد بزرگ به یک فضای ابعاد کمتر تبدیل میکند. تبدیل داده ها می تواند به شکل خطی باشد، (مانند روش تحلیل مولفه اصلی) اما همچنین بسیاری از تکنیکهای کاهش ابعاد غیر خطی نیز وجود دارد.. برای دادههای چند بعدی، نماینده تانسور را میتوان در کاهش ابعاد از طریق یادگیری زیر فضای چندخطی استفاده کرد.
تجزیه تحلیل مولفه اصلی (PCA)
مقاله اصلی: تحلیل مولفههای اصلی
این روش اصلی ترین روش خطی برای کاهش ابعاد است؛ این روش نقشهبرداری خطی دادهها را به یک فضای بعدی پایینتر انجام میدهد به طوری که میزان توضیح واریانس داده اصلی در داده منتقل شده (در ابعاد کمتر) بیشینه باشد. در عمل، ماتریس کوواریانس (و بعضی اوقات کوواریانس) دادهها ساخته میشود و بردار ویژه این ماتریس محاسبه میشود. بردارویژه های متناظر با بزرگترین مقادیر ویژه مطابقت دارند، اکنون میتوانند برای بازسازی بخش بزرگی از واریانس دادههای اصلی استفاده شوند. به صورت تخمینی، چندین بردار اول را می توان نماینده رفتار کلان داده تفسیر کرد. داده در ابعاد کمتر با استفاده از این بردار های اصلی همراه با از دست دادن بخشی از اطلاعات (با این امید که توضیح دهندگی واریانس را تا حد خوبی حفظ کند) ساخته می شود.
هسته PCA
تحلیل مؤلفه اصلی میتواند با استفاده از روش هسته به شکل غیر خطی عمل کند. تکنیک حاصل قادر به ساخت نگاشت های غیر خطی است که میزان توضیح واریانس را در دادههای در فضای کوچکتر به حداکثر میرساند.
هسته مبتنی بر گرافیک PCA
دیگر تکنیکهای غیر خطی برجسته شامل تکنیکهای یادگیری منیوفولد، تکنیکهایی مانند Isomap، جابجایی خطی محلی (LLE)،خصوصیات لاپلاس و هماهنگی فضایی مماس محلی (LTSA) میباشد. این تکنیکها یک نماینده دادهای کم حجم با استفاده از یک تابع هزینه ای که خواص محلی را حفظ میکند، ایجاد میکنند و میتوانند به عنوان تعریف یک هسته مبتنی بر گراف برای PCA Kernel مورد استفاده قرار گیرند.
تفکیک کننده خطی (LDA)
تفکیک کننده خطی (LDA) یک تعمیم از روش جدایی خطی فیشر است. این روش در آمار، تشخیص الگو و یادگیری ماشین برای یافتن ترکیب خطی از ویژگیهایی که دو یا چند خوشه یا رویداد را جدا کند استفاده می شود.
خودرمزگذار
خودرمزگذارها میتوانند بهمنظور یادگیری توابع غیرخطی کاهش ابعاد مورد استفاده واقع شوند. آن ها همچنین امکان اجرای تابع معکوس به منظور برگرداندن داده به ابعاد اصلی را دارند.
نهان کردن همسایه تصادفی با توزیع تی (t-SNE):
این روش بیشتر برای مصورسازی دادگان در ابعاد زیاد استفاده می شود و از آن جا که ویژگی های موجود در داده مانند فاصله بین داده ها را خوب حفظ نمی کند استفاده از آن برای دیگر عملیات ها مانند خوشهبندی توصیه نمی شود.
افکنش و تخمین یکنواخت منیفولد (UMAP):
این روش در کل مشابه با روش t-SNE است اما از یک سری فروض اضافه برای تقریب بهتر داده اصلی استفاده می کند.
مزایای استفاده از کاهش ابعاد
- کاهش فضای ذخیره سازی و قدرت پردازشی مورد نیاز که باعث کاهش زمان عملیات روی داده می شود.
- کاهش ابعاد به شکلی که اطلاعات زیادی از داده اصلی از دست نرود در بسیاری از موارد باحذف نویز داده باعث بهبود عملکرد مدل یادگیری ماشین می شود.
- کاهش ابعاد داده اصلی به فضای 2 یا 3 بعدی که برای مصور سازی داده و درک انسانی آن بسیار سودمند است.
کاربرد ها
برای مجموعه دادههای با ابعاد بزرگ (یا به عنوان مثال با تعداد ابعاد بیش از ۱۰) کاهش ابعاد معمولاً قبل از اعمال الگوریتم نزدیکترین همسایگان (k-NN) به منظور جلوگیری از مشقت چند بعدی انجام میشود.
تکنیک کاهش ابعادی که گاهی در علوم اعصاب استفاده میشود، ابعاد با حداکثر اطلاعات است که یک نماینده در ابعاد پایین تر از یک مجموعه داده را نشان میدهد به شکلی که حداکثر ممکن اطلاعات داده اصلی حفظ شوند.
یادداشت
- ↑ Roweis, S. T.; Saul, L. K. (2000). "Nonlinear Dimensionality Reduction by Locally Linear Embedding". Science. 290 (5500): 2323–2326. doi:10.1126/science.290.5500.2323. PMID 11125150.
- ↑ Pudil, P.; Novovičová, J. (1998). "Novel Methods for Feature Subset Selection with Respect to Problem Knowledge". In Liu, Huan; Motoda, Hiroshi (eds.). Feature Extraction, Construction and Selection. pp. 101. doi:10.1007/978-1-4615-5725-8_7. ISBN 978-1-4613-7622-4.
- ↑ Rico-Sulayes, Antonio (2017). "Reducing Vector Space Dimensionality in Automatic Classification for Authorship Attribution". Revista Ingeniería Electrónica, Automática y Comunicaciones. 38 (3): 26–35.
- ↑ Samet, H. (2006) Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann. شابک ۰−۱۲−۳۶۹۴۴۶−۹
- ↑ C. Ding, X. He, H. Zha, H.D. Simon, Adaptive Dimension Reduction for Clustering High Dimensional Data, Proceedings of International Conference on Data Mining, 2002
- ↑ Lu, Haiping; Plataniotis, K.N.; Venetsanopoulos, A.N. (2011). "A Survey of Multilinear Subspace Learning for Tensor Data" (PDF). Pattern Recognition. 44 (7): 1540–1551. doi:10.1016/j.patcog.2011.01.004.
- ↑ Kevin Beyer, Jonathan Goldstein, Raghu Ramakrishnan, Uri Shaft (1999) "When is “nearest neighbor” meaningful?". Database Theory—ICDT99, 217-235
منابع
- دار کردن، I. (2002) "بررسی ابعاد تکنیکهای کاهش". مرکز علمی کاربردی محاسبات ملی لارنس لیورمور فنی گزارش UCRL-ID-148494
- کانینگهام، P. (2007) "ابعاد کاهش" دانشگاه کالج دوبلین ویژگیهای گزارش UCD-CSI-2007-7
- Zahorian, Stephen A.; Hu, Hongbing (2011). "Nonlinear Dimensionality Reduction Methods for Use with Automatic Speech Recognition". Speech Technologies. doi:10.5772/16863. ISBN 978-953-307-996-7.
- Lakshmi Padmaja, Dhyaram; Vishnuvardhan, B (18 August 2016). "Comparative Study of Feature Subset Selection Methods for Dimensionality Reduction on Scientific Data": 31–34. doi:10.1109/IACC.2016.16. Retrieved 7 October 2016.