تحلیل رگرسیون

در فرهنگ لغت واژه رگرسیون (Regression) از لحاظ لغوی به معنی پسروی، برگشت و بازگشت است. اما از دید آمار و ریاضیات به مفهوم بازگشت به یک مقدار متوسط یا میانگین به‌کارمی‌رود. بدین معنی که برخی پدیده‌ها به مرور زمان از نظر کمی به طرف یک مقدار متوسط میل می‌کنند.

در سال ۱۸۷۷ فرانسیس گالتون (به انگلیسی: Francis Galton) در مقاله‌ای که دربارهٔ بازگشت به میانگین منتشر کرده‌بود، اظهار داشت که متوسط قد پسران دارای پدران قدبلند (کوتاه قد)، کمتر (بیشتر) از قد پدرانشان می‌باشد. به این ترتیب گالتون پدیده بازگشت به طرف میانگین را در داده‌هایش مورد تأکید قرارداد. برای گالتون رگرسیون مفهومی زیست‌شناختی داشت، اما کارهای او توسط کارل پیرسون (به انگلیسی: Karl Pearson) برای مفاهیم آماری توسعه داده‌شد. گرچه گالتون برای تأکید بر پدیده «بازگشت به سمت مقدار متوسط» از تحلیل رگرسیون استفاده کرد، اما به هر حال امروزه واژه تحلیل رگرسیون جهت اشاره به مطالعات مربوط به روابط بین متغیرها به کار برده‌می‌شود.

مدل‌های رگرسیون شامل متغیرهای زیر است:

• پارامترهای ناشناخته، با ${\displaystyle \beta }$
  مشخص می‌شود و یک مقیاس یا بردار نمایش می‌دهد.
• متغیرهای مستقل ${\displaystyle X}$
• متغیر وابسته ${\displaystyle Y}$

در زمینه‌های مختلفی از کاربرد (زیست‌شناسی، علوم اجتماعی، اقتصاد، هوش مصنوعی و …)، اصطلاحات مختلفی به جای متغیرهای مستقل و وابسته استفاده شده‌است.

یک مدل رگرسیون، Y را به یک تابع از X و ${\displaystyle \beta }$

${\displaystyle Y\approx f(X,\beta )}$

نشان تقریب معمولاً به عنوان ${\displaystyle E(Y|X)=f(X,\beta )}$

فرض کنید بردار پارامترهای ناشناخته ${\displaystyle \beta }$

• اگر N نقطه داده از (Y,X)مشاهده شده باشد وقتی N<k است دیدگاه‌های بسیار کلاسیک برای این تحلیل نمی‌تواند استفاده شود از آنجایی که سیستم معادلات تعریف شده برای مدل رگرسیون قابل تخمین نیست و داده کافی برای بازیابی ${\displaystyle \beta }$
  وجود ندارد.
• اگر تعداد نقاط N=k مشاهده شده‌است و تابع f خطی است، معادلات ${\displaystyle Y=f(X,\beta )}$
  دقیق حل شود. این تعداد محاسبات به یک مجموعه N معادلات با N پارامتر ناشناخته (همان عناصر ${\displaystyle \beta }$
  )کاهش می‌دهد و یک راه حل یکتا دارد آنچنان که X متغیرهای مستقل خطی هستند. چندین راه حل شاید وجود داشته باشد اگر f غیرخطی است.
• وضعیت بسیار مشترک N>k است. در این صورت اطلاعات کافی در داده‌ها برای تخمین مقدار یکتا برای ${\displaystyle \beta }$
  وجود دارد.

در مورد آخر، تحلیل رگرسیون ابزاری فراهم می‌کند:

1. یافتن یک راه حل برای پارامترهای ناشناخته ${\displaystyle \beta }$
   ، برای نمونه فاصله بین مقادیر پیش‌بینی و اندازه‌گیری شده از متغیر مستقل Y حداقل کند (حداقل مربعات)
2. تحت فرض‌های آماری خاص، تحلیل رگرسیون اطلاعات زیادی برای تعیین اطلاعات آماری دربارهٔ پارامترهای ناشناخته ${\displaystyle \beta }$
   و مقادیر پیش‌بینی از متغیر تصادفی Y استفاده می‌کند.

رگرسیون کاذب (به انگلیسی: regression) با فرض اینکه متغیرهای ${\displaystyle y_{t}}$

1. ${\displaystyle y_{t}=y_{t-1}+\epsilon _{1}t,\quad t=1,\dots ,N\!}$
2. ${\displaystyle x_{t}=x_{t-1}+\epsilon _{2}t,\quad t=1,\dots ,N\!}$

که ${\displaystyle \epsilon _{2}t}$

خط راست: ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{t}+\epsilon _{t},\quad t=1,\dots ,N\!}$

نتایج این رگرسیون ممکن است به وسیلهٔ r^۲ بالا و خود همبستگی بالا بین باقیمانده‌ها و هم‌چنین دارای ارزش معنی‌داری برای پارامتر ${\displaystyle beta_{1}}$

اگر ارزش‌های گذشته هر دو متغیر وابسته و مستقل را در رگرسیون وارد کنیم مشکل رگرسیون کاذب حل می‌شود. در این حالت تخمین‌های حداقل مربعات معمولی برای همه پارامترها سازگار می‌باشد.

شیوه‌های مهم تحلیل‌های رگرسیونی به شرج زیر هستند.

• رگرسیون خطی ساده
• رگرسیون خطی چندگانه
• رگرسیون فازی
• رگرسیون لجستیک

این تنوع باعث شده‌است که بتوان به راحتی هر نوع داده‌ای (اغلب از نوع داده‌های پیوسته) را تحلیل کرد و به راحتی نتیجه‌گیری نمود.

برای انجام یک تحلیل رگرسیونی ابتدا تحلیل‌گر حدس می‌زند که بین دو متغیر، نوعی ارتباط وجود دارد، در حقیقت حدس می‌زند که یک رابطه به شکل یک خط بین دو متغیر وجود دارد و سپس به جمع‌آوری اطلاعات کمی از دو متغیر می‌پردازد و این داده‌ها را به صورت نقاطی در یک نمودار دو بعدی رسم می‌کند.

نرم‌افزارها

نرم‌افزارهای بسیاری هستند که قابلیت محاسبه رگرسیون را دارند و مشهورترین آن‌ها عبارتند از:

• نرم‌افزار مایکروسافت اکسل (که ساده‌ترین نرم‌افزار است)
• اس‌پی‌اس‌اس SPSS
• اس‌پلاس +S یا Plus-S
• ساس (نرم‌افزار) SAS
• آر R

• تحلیل رگرسیون
• رگرسیون خطی
• رگرسیون لجستیک