خطای میانگین مربعات

در ریاضیات و آمار، خطای میانگین مربعات (انگلیسی: Mean squared error یا به‌طور مخفف MSE) روشی برای برآورد میزان خطاست که در واقع تفاوت بین مقادیر تخمینی و آنچه تخمین زده شده، است. MSE به دو دلیل تقریباً همه جا مثبت است (صفر نیست) یک اینکه تصادفی است و دوم به این دلیل که تخمین‌گر اطلاعاتی که قابلیت تولید تخمین دقیق تری دارد را حساب نمی‌کند. پس این شاخص که مقداری همواره نامنفی دارد، هرچقدر مقدار آن به صفر نزدیکتر باشد، نشان دهنده میزان کمتر خطاست.

MSE شامل واریانس تخمین‌گر و بایاس (سوگیری) است. برای یک برآوردگر غیر بایاس، MSE همان واریانس برآوردگر است. مثل واریانس، MSE همان واحدهای اندازه‌گیری را به عنوان مربع مقادیر تخمین زده شده، دارد. در مقایسه با انحراف معیار ریشه دوم گرفتن از MSE، خطای ریشه میانگین مربع یا انحراف معیار میانگین ریشه (خطای جذر میانگین مربعات) را ارایه می‌دهد.

برای هر برآوردگر غیر بایاس،RSME ریشه دوم واریانس است که به عنوان خطای استاندارد شناخته می‌شود.

روش محاسبه

تعریف MSE بر اساس توصیف تخمین‌گر یا پیش‌بینی کننده متفاوت است.

برای بدست آوردن خطای میانگین مربعات از یک مجموعه یا n داده می‌توان از رابطه زیر استفاده کرد:

\operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(Y_{i}-{\hat {Y_{i}}})^{2}.

که در آن $\left({\frac {1}{n}}\sum _{i=1}^{n}\right)$

عمل میانگین‌گیری را انجام می‌دهد و

(Y_{i}-{\hat {Y_{i}}})^{2}

مقدار مربع خطای هر داده را محاسبه می‌کند. پس MSE میانگین مربع خطاها است.

تخمین‌گر

MSE از یک تخمین‌گر ${\hat {\theta }}$

با توجه به پارامتر نامعلوم

\theta

به صورت زیر تعریف می‌شود:

. $\operatorname {MSE({\hat {\theta }})} =E_{\hat {\theta }}[({\hat {\theta }}-\theta )^{2}]$

این تعریف وابسته به پارامتر نامعلوم و MSE یک ویژگی برای تخمین‌گر است. از آنجا که MSE امید ریاضی است پس نمی‌تواند متغیر تصادفی باشد. MSE می‌تواند یک تابع از پارامترهای نامشخص باشد که در این صورت هر تخمین‌گر MSE یک تابع داده بر اساس تخمین پارامترها است، پس یک متغیر تصادفی است. این شاخص را می‌تواند به صورت جمع واریانس تخمین‌گر و مربع بایاس نیز نوشت:

$\operatorname {MSE({\hat {\theta }})} =Var_{\hat {\theta }}({\hat {\theta }})+Bias({\hat {\theta }},\theta )^{2}.$

رابطه با واریانس و بایاس یک برآوردگر

در زیر اثبات رابطه خطای میانگین مربعات با واریانس و بایاس یک برآوردگر آورده شده‌است.

{\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\hat {\theta }}\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\hat {\theta }}\left[\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]+\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\hat {\theta }}\left[\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\hat {\theta }}\left[\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\hat {\theta }}\left[2\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\hat {\theta }}\left[\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\hat {\theta }}\left[\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\hat {\theta }}\left[{\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta ={\text{const.}}\\&=\operatorname {E} _{\hat {\theta }}\left[\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]={\text{const.}}\\&=\operatorname {E} _{\hat {\theta }}\left[\left({\hat {\theta }}-\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\hat {\theta }}[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\hat {\theta }}({\hat {\theta }})+\operatorname {Bias} _{\hat {\theta }}({\hat {\theta }},\theta )^{2}\end{aligned}}

رگرسیون

در تجزیه و تحلیل رگرسیون، این شاخص گاهی برای مقدار غیربایاس واریانس خطا مورد استفاده قرار می‌گیرد و این به معنای باقیمانده تقسیم مربعات بر درجه آزادی است. در تجزیه و تحلیل رگرسیون از MSE به عنوان میانگین خطای مربع پیش‌بینی یا خطای مربع میانگین بیرون از نمونه یاد می‌شود و این می‌تواند اشاره ای به میانگین مقدار انحراف مربعات پیش‌بینی‌ها از مقادیر واقعی داشته باشد. این را می‌توان در یک فضای آزمایش خارج از نمونه بررسی کرد.

مثال‌ها

میانگین

فرض کنید یک نمونه تصادفی $n$

تایی از

X_{1},\dots ,X_{n}

داشته باشیم. این نمونه‌ها را از جامعه ای انتخاب کردیم که واحدهای نمونه با جایگزینی انتخاب شده‌اند. این واحدها در یک زمان انتخاب شده‌اند و واحدهای قبلاً انتخاب شده نیز هنوز معتبر هستند. در این حالت تخمین‌گر معمولی برای

\mu

میانگین نمونه است:

${\bar {X}}={\frac {1}{n}}\Sigma _{i=1}^{n}X_{i}$

که مقدار مورد انتظار برابر با میانگین واقعی است و MSE برابر است با:

$\operatorname {MSE({\bar {X}})} =E[({\bar {X}}-\mu )^{2}]=({\frac {\sigma }{\sqrt {n}}})^{2}={\frac {\sigma ^{2}}{n}}.$

جایی که $\sigma ^{2}$

واریانس جامعه است.

برای توزیع گوسی این بهترین تخمین‌گر غیربایاس است.

واریانس

تخمین‌گر معمولی برای واریانس، واریانس نمونه تصحیح شده‌است:

$S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).$

و MSE:

$\operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4}$

که در آن $\mu _{4}$

چهارمین نقطه توزیع مرکزی یا جامعه است.

با این حال می‌توان از تخمین‌گرهای دیگری برای $\sigma ^{2}$

استفاده کرد که متناسب با

S_{n-1}^{2}

هستند و یک انتخاب مناسب همیشه می‌تواند کمترین میزان خطای مینگین مربع را داشته باشد. اگر داشته باشیم:

$S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$

آنگاه:

${\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}$

و این دارای کمترین مقدار است زمانی که:

$a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.$

در یک توزیع گوسی زمانی که $\gamma _{2}=0$

میزان MSE به حداقل می‌رسد.

توزیع گوسی

در جدول زیر می‌توانید چندین تخمین‌گر از مقادیر صحیح جامعه برای حالت گوسی ببینید.

مقدار واقعی	تخمین‌گر	خطای میانگین مربعات
$\theta =\mu$	${\hat {\theta }}$ =تخمین‌گر بدون سوگیری میانگین، ${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})$	$\operatorname {MSE} ({\overline {X}})=\operatorname {E} (({\overline {X}}-\mu )^{2})=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = تخمین‌گر بدون سوگیری واریانس، $S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} ((S_{n-1}^{2}-\sigma ^{2})^{2})={\frac {2}{n-1}}\sigma ^{4}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = تخمین‌گر بدون سوگیری واریانس، $S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n}^{2})=\operatorname {E} ((S_{n}^{2}-\sigma ^{2})^{2})={\frac {2n-1}{n^{2}}}\sigma ^{4}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = تخمین‌گر بدون سوگیری واریانس، $S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ((S_{n+1}^{2}-\sigma ^{2})^{2})={\frac {2}{n+1}}\sigma ^{4}$

جستارهای وابسته

منابع

↑ Wackerly, Dennis; Mendenhall, William; Scheaffer, Richard L. (2008). Mathematical Statistics with Applications (7 ed.). Belmont, CA, USA: Thomson Higher Education. ISBN 0-495-38508-5.

[wackerly-1] Wackerly, Dennis; Mendenhall, William; Scheaffer, Richard L. (2008). Mathematical Statistics with Applications (7 ed.). Belmont, CA, USA: Thomson Higher Education. ISBN 0-495-38508-5.