آموزش، اعتبارسنجی و مجموعه‌های آزمایشی

یک م مجموعه داده آموزشی، مجموعه ای از نمونه‌ها است که در طول فرایند یادگیری استفاده می‌شود و برای ساخت مدل‌های پیشگو استفاده می‌شود. به عنوان مثال برای یک الگوریتم طبقه‌بندی کننده استفاده می‌شود.

بیشتر رویکردهایی که از طریق داده‌های آموزشی برای روابط علمی جستجو می‌شوند، منجر به بیش برازش می‌شوند، به این معنی که آنها می‌توانند روابط آشکار را در داده‌های آموزشی که به‌طور کلی نگهداری نمی‌شوند، شناسایی و بهره‌برداری کنند.

مجموعه داده اعتبارسنجی، مجموعه داده ای از مثال‌ها است که برای تنظیم ابرپارامترها (hyperparameters یعنی معماری) یک الگوریتم طبقه‌بندی کننده استفاده می‌شود. گاهی اوقات به آن مجموعه توسعه یا "dev set" نیز گفته می‌شود. نمونه ای از ابرپارامتر برای شبکه‌های عصبی مصنوعی شامل تعداد واحدهای پنهان در هر لایه است. این مجموعه، و همچنین مجموعه تست، باید از توزیع احتمال مشابه مجموعه داده آموزش پیروی کند.

برای جلوگیری از بیش برازش، در صورت نیاز به تنظیم هر پارامتر طبقه‌بندی کننده، لازم است علاوه بر مجموعه داده‌های آموزش و مجموعه داده‌های آزمون، یک مجموعه داده اعتبار سنجی نیز داشته باشید. به عنوان مثال، اگر مناسب‌ترین طبقه‌بندی کننده مسئله را جستجو کنیم، از مجموعه داده‌های آموزشی برای آموزش الگوریتم‌های نامزد استفاده می‌شود، از مجموعه داده‌های اعتبار سنجی برای مقایسه عملکرد آنها و تصمیم‌گیری در مورد انتخاب یکی از آنها استفاده می‌شود و در نهایت، از مجموعه داده‌های آزمایشی برای به دست آوردن ویژگی‌های عملکردی مانند دقت، حساسیت، ویژگی، اندازه‌گیری F و غیره استفاده می‌شود. مجموعه داده اعتبارسنجی به صورت ترکیبی عمل می‌کند: این داده‌های آموزشی است که برای آزمایش استفاده می‌شود، اما نه به عنوان بخشی از آموزش سطح پایین و نه به عنوان بخشی از آزمایش نهایی.

فرایند اساسی استفاده از یک مجموعه داده‌های اعتبار سنجی برای انتخاب مدل: (به عنوان بخشی از مجموعه داده‌های آموزشی، مجموعه داده‌های اعتبار سنجی و مجموعه داده‌های آزمون)

استفاده و کاربرد این فرایند در توقف زودهنگام است، جایی که مدل‌های کاندیدا تکرارهای پی در پی یک شبکه هستند و با بزرگ شدن خطای مجموعه اعتبار سنجی، با انتخاب مدل قبلی (مدل با حداقل خطا)، آموزش متوقف می‌شود.

مجموعه داده ای است که مستقل از مجموعه آموزش است، اما از توزیع احتمال مشابه مجموعه داده آموزش پیروی می‌کند. اگر مدل ساخته شده بر اساس داده‌های آموزشی عملکرد خوبی بر داده‌های آزمایشی نیز داشته باشد، میزان بیش برازش به حداقل می رشد. برازش بهتر مجموعه داده آموزش بر خلاف مجموعه داده آزمون معمولاً به بیش برازش اشاره دارد.

بنابراین یک مجموعه آزمون مجموعه ای از مثالها است که فقط برای ارزیابی عملکرد (به عنوان مثال تعمیم) یک طبقه‌بندی کننده کاملاً مشخص استفاده می‌شود.

بخشی از مجموعه داده اصلی را می‌توان کنار گذاشت و به عنوان مجموعه آزمایشی استفاده کرد: این روش را Holdout می‌نامند.

مجموعه اصطلاحات آزمون و مجموعه اعتبارسنجی، گاهی اوقات به گونه ای به کار می‌روند که معنای آنها هم در صنعت و هم در محیط‌های آموزشی به صورت اشتباه به کار می‌روند. در کاربرد اشتباه، «مجموعه آزمون» به «مجموعه توسعه» تبدیل می‌شود و «مجموعه اعتبار سنجی» مجموعه مستقلی است که برای ارزیابی عملکرد یک طبقه‌بندی کننده کاملاً مشخص استفاده می‌شود.

ادبیات مربوط به یادگیری ماشین اغلب معنای مجموعه‌های «اعتبار سنجی» و «آزمون» را برعکس می‌کند. این نمونه آشکارترین آشفتگی اصطلاحی است که در تحقیقات هوش مصنوعی وجود دارد.

یک مجموعه داده را می‌توان به‌طور مکرر به یک مجموعه داده آموزشی و یک مجموعه داده اعتبار سنجی تقسیم کرد: این به اعتبارسنجی متقابل معروف است. این تقسیم‌بندی‌های مکرر را می‌توان به روش‌های مختلف انجام داد، مانند تقسیم به ۲ کردن یک مجموعه داده و استفاده از آنها به عنوان آموزش و اعتبار سنجی، و بعد از آن اعتبار سنجی و آموزش، یا انتخاب مکرر یک زیر مجموعه تصادفی به عنوان مجموعه داده اعتبار سنجی. برای تأیید عملکرد مدل، گاهی اوقات از یک مجموعه داده آزمون اضافی که از اعتبار سنجی Holdout استفاده می‌شود.

مثال دیگر از تنظیم پارامترها طبقه‌بندی سلسله مراتبی است (که بعضاً به عنوان تجزیه فضای نمونه نامیده می‌شود)، که یک مسئله کامل چند کلاسه با چندین متغیر هدف را به مجموعه ای از مشکلات طبقه‌بندی کوچکتر تقسیم می‌کند. در این روش طبقه‌بندی استفاده از الگوریتم‌های طبقه‌بندی کننده و مرزهای طبقه‌بندی ساده‌تر و همچنین انتخاب ویژگی‌ها سبب شده‌است تا عملکردی با دقت بالا ارایه شود.. هنگام انجام تجزیه طبقه‌بندی، انتخاب اصلی ترتیب ترکیب مراحل طبقه‌بندی کوچکتر است که مسیر طبقه‌بندی نامیده می‌شود. بسته به نوع کاربرد، می‌توان آن را از ماتریس سردرگمی استخراج کرد و با کشف دلایل خطاهای معمول و یافتن راه‌هایی برای جلوگیری از ایجاد سیستم در آینده این موارد را ایجاد کرد. به عنوان مثال، در مجموعه اعتبار سنجی، می‌توان فهمید که کدام کلاسها به‌طور اشتباه تشخیص داده شده‌اند و سپس تجزیه فضای نمونه به صورت زیر انجام می‌شود: کلاسها به عنوان یک کلاس مشترک واحد در نظر گرفته می‌شوند و سرانجام، به عنوان مرحله دوم طبقه‌بندی، کلاس مشترک در دو کلاس که در ابتدا اشتباه تشخیص داده شده‌اند، طبقه‌بندی می‌شود.

• طبقه‌بندی آماری
• لیست مجموعه داده‌ها برای تحقیقات یادگیری ماشین

• تفاوت بین مجموعه داده‌ها و اعتبار سنجی چیست؟
• سناریوی مجموعه داده‌ها ، آموزش ، اعتبارسنجی و آزمایش در یادگیری ماشین چیست؟
• آیا برای تقسیم یک مجموعه داده به مجموعه‌های آموزش و اعتبار سنجی ، یک قانون کلی وجود دارد؟