یادگیری ویژگی

یادگیری ویژگی با نظارت ، یادگیری ویژگیهای داده‌های دارای برچسب است. برچسب داده به سیستم اجازه می‌دهد تا خطا را محاسبه کند و اگر سیستم قادر به تولید برچسب نبود، می‌تواند به عنوان بازخورد برای اصلاح روند یادگیری (کاهش / به حداقل رساندن خطا) استفاده شود.

یادگیری فرهنگ لغت با نظارت

یادگیری فرهنگ لغت مجموعه‌ای (واژه نامه) از عناصر نماینده را از داده‌های ورودی ایجاد می‌کند، به طوری که هر نقطه داده می‌تواند به عنوان یک جمع وزنی از عناصر نماینده نشان داده شود. عناصر فرهنگ لغت و وزن ها را می توان با به حداقل رساندن میانگین خطای نمایش (بیش از داده های ورودی) ، همراه با تنظیم ${\displaystyle L_1}$

یادگیری دیکشنری تحت نظارت هم از ساختار زمینه داده های ورودی و هم از برچسب ها برای بهینه سازی عناصر فرهنگ استفاده می کند. به عنوان مثال ، یک روش یادگیری فرهنگ لغت تحت نظارت با بهینه سازی مشترک عناصر فرهنگ لغت ، وزن برای نمایش نقاط داده و پارامترهای طبقه بندی بر اساس داده های ورودی ، یادگیری فرهنگ لغت را بر روی مشکلات طبقه بندی اعمال کرد. به طور خاص ، یک مسئله به صورت مسئله کمینه‌سازی فرموله می‌شود ، جایی که تابع هدف شامل خطای طبقه‌بندی، خطای نمایش، تنظیم L1 در وزن‌های نمایانگر برای هر نقطه داده (برای فعال کردن نمایش پراکنده داده‌ها) و تنظیم L2 در پارامترها از طبقه بندی کننده است.

شبکه های عصبی

شبکه های عصبی خانواده ای از الگوریتم‌های یادگیری هستند که از "شبکه" متشکل از چندین لایه گره (نود) بهم متصل استفاده می‌کنند. این ایده از سیستم عصبی حیوانات الهام گرفته شده است ، جایی که گره ها به عنوان نورون و لبه ها به عنوان سیناپس مشاهده می شوند. هر لبه دارای یک وزن مرتبط است و شبکه قوانین محاسباتی را برای عبور داده های ورودی از لایه ورودی شبکه به لایه خروجی تعریف می کند. یک عملکرد شبکه مرتبط با یک شبکه عصبی رابطه بین لایه های ورودی و خروجی را مشخص می کند ، که با وزن پارامتر می شود. با عملکردهای شبکه ای که به طور مناسب تعریف شده‌اند ، می توان با به حداقل رساندن تابع هزینه نسبت به عملکرد شبکه (وزن ها) ، کارهای مختلف یادگیری را انجام داد.

از شبکه های عصبی چند لایه می توان برای یادگیری ویژگی استفاده کرد، زیرا آنها نمایشی از ورودی خود را در لایه(های) مخفی یاد می‌گیرند که متعاقباً برای طبقه بندی یا رگرسیون در لایه خروجی استفاده می شود. محبوب ترین معماری شبکه از این نوع شبکه های سیامی است.

یادگیری ویژگی بدون ناظر ، یادگیری ویژگی‌های داده بدون برچسب است. هدف از یادگیری ویژگی بدون ناظر ، غالباً کشف ویژگی‌های با بعد کم است که برخی از ساختارهای موجود در داده‌های ورودی با ابعاد بالا را ضبط می‌کند. وقتی یادگیری ویژگی به روش بدون ناظر انجام می‌شود ، نوعی یادگیری نیمه نظارتی را امکان پذیر می کند که در آن از ویژگی‌های آموخته شده از یک مجموعه داده بدون برچسب استفاده می‌شود تا عملکرد را در یک محیط تحت نظارت با داده دارای برچسب بهبود بخشد. در ادامه چند رویکرد معرفی می‌شود.

خوشه‌بندی K-means

خوشه بندی K رویکردی برای کمی سازی بردار است. به طور خاص ، در این حالت مجموعه ای از n بردار داده می‌شود و k به معنای خوشه بندی بردارها به k خوشه (یعنی زیرمجموعه ها) است به گونه ای که هر بردار به خوشه‌ای با نزدیکترین میانگین تعلق دارد. این مسئله از نظر محاسباتی NP سخت است ، هرچند الگوریتم های حریصانه غیربهینه‌ای به وجودآمده‌اند.

خوشه بندی K-means می تواند برای گروه بندی مجموعه ای از ورودی های غیر برچسب در k خوشه استفاده شود و سپس از centroids این خوشه ها برای تولید ویژگی ها استفاده شود. این ویژگی ها از چند طریق قابل تولید است. ساده ترین کار این است که k ویژگی باینری به هر نمونه اضافه شود ، در صورتی که هر ویژگی j دارای یک ارزش است اگر و تنها اگر که j هفتمین مرکز آموخته شده توسط k- یعنی نزدیکترین نمونه به نمونه مورد بررسی است. همچنین می توان از فاصله تا خوشه ها بعنوان ویژگی استفاده کرد ، شاید پس از تبدیل آنها از طریق یک تابع پایه شعاعی (تکنیکی که برای آموزش شبکه های RBF استفاده شده است ). Coates و Ng توجه دارند که انواع خاصی از k به معنای مشابه الگوریتم های کدگذاری پراکنده هستند .

در یک ارزیابی تطبیقی روش های یادگیری ویژگی بدون نظارت، کوتس، لی و ان جی دریافتند که خوشه‌بندی k -means با یک تبدیل مناسب در طبقه بندی تصویر بهتر از RBMs و خود رمز گذارها (اتوانکودرها) که به‌تازگی اختراع شده‌اند عمل می‌کنند. K-means همچنین عملکرد را در حوزه NLP بهبود می بخشد ، به ویژه برای شناسایی موجودیت . همچنین با خوشه بندی قهوه ای ، و با نمایش کلمات توزیع شده (که به عنوان تعبیه کلمات شناخته می شود) رقابت می کند.