روش تعمیم‌یافته کمترین مربعات

مدل رگرسیونی زیر را در نظر بگیرید.

${\displaystyle y=X\beta +u,}$

با این شرط که امگا یا همان ماتریس کوواریانس جملات خطا یک ماتریس مثبت معین است. همان‌طور که می‌دانیم در صورتی که باشد. معادلهٔ (۱) یک مدل رگرسیون خطی ساده با جملات خطای دارای واریانس یکسان و هم چنین غیر وابسته‌است. در صورتی که Ω قطری با مقادیر متفاوت روی قطر اصلی باشد، جملات خطا به هم وابسته نیستند اما شرط واریانس هم سانی بر قرار نخواهد بود. و در صورتی که ماتریسΩقطری نباشد. عناصر خطا به هم وابسته خواهند بود. در اقتصاد سنجی قطری نبودن ماتریس عناصر خطا غالباً در هنگام کار بر روی داده‌های سری زمانی به وجود می‌آید. در چنین حالتی عناصر خطا در داده‌هایی که به لحاظ زمانی به هم نزدیک ترند وابستگی بالاتری دارند. در ادامه با معرفی مدل تعمیم یافتهٔ حداقل مربعات نشان می‌دهیم که چگونه می‌توان یک برآورد گر کارا برای تخمین بردار β در معادلهٔ (۱) به دست آورد که شرایط قضیهٔ گاووس_مارکوف را ارضا نماید.

برای به دست آوردن برآوردگر کارا برای بردار پارامترهای βدر یک مدل رگرسیون خطی، از مدل تبدیل یافته‌ای استفاده می‌شود که شرایط گاووس _مارکوف را ارضا می‌نماید.

روش معادلهٔ تبدیل یافته

تخمین پارامترهای مدل تبدیل یافته با استفاده از روش حداقل مربعات معمولی منجر به، به دست آوردن کاراترین تخمین زن خواهد شد. این تبدیل با استفاده از ماتریس Ψ که غالباً یک ماتریس بالا مثلثی است و در نامساوی زیر صدق می‌کند، انجام می‌شود.

${\displaystyle {\mathrm{\Omega }}^{-1}=\mathrm{\Psi }{\mathrm{\Psi }}^T}$

             ${\displaystyle {\mathrm{\Psi }}_{n\ast n}}$

می‌توان اثبات کرد با استفاده از همواره چنین ماتریسی پیدا خواهد شد. بنابراین داریم:

(۲) ${\displaystyle \mathrm{\Omega }={\sigma }^{2}I}$

از آن جایی که ماتریس واریانس کوواریانس Ω وارون پذیر است. ماتریس Ψ نیز وارون پذیر خواهد بود و بنابراین معادلهٔ رگرسیون تبدیل شده با معادلهٔ رگرسیون اصلی معادل خواهد بود. تخمین زن روش حداقل مربعات عادی برای بردار پارامترهای β در معادلهٔ (۲) چنین خواهد بود.

(۳) ${\displaystyle \hat{\beta }=(X^T\mathrm{\Psi }{\mathrm{\Psi }}^{T}X{)}^{-1}{X}^T\mathrm{\Psi }{\mathrm{\Psi }}^{T}y=(X^T{\mathrm{\Omega }}^{-1}X{)}^{-1}{X}^T{\mathrm{\Omega }}^{-1}y}$

این تخمین زن بر آورد گر حداقل مربعات عمومی نام دارد و به سادگی می‌توان نشان داد ماتریس کوواریانس خطاهای تبدیل یافته Ψ^T u یک ماتریس همانی است.

${\displaystyle E({\mathrm{\Psi }}^{T}u{u}^T\mathrm{\Psi })={\mathrm{\Psi }}^{T}E(u{u}^T)\mathrm{\Psi }={\mathrm{\Psi }}^T(\mathrm{\Psi }{\mathrm{\Psi }}^T{)}^{-1}\mathrm{\Psi }=I}$

از آنجا که β ̂ به دست آمده همان برآورد با استفاده از روش حداقل مربعات عادی برای معادلهٔ تبدیل یافته‌است. ماتریس کوواریانس آن به راحتی با جایگزین نمودن Ψ^T X به جای X به صورت استاندارد به دست می‌آید.

(۴) ${\displaystyle Var(\hat{\beta })=(X^T\mathrm{\Psi }{\mathrm{\Psi }}^{T}X{)}^{-1}=(X^T{\mathrm{\Omega }}^{-1}X{)}^{-1}}$

برای آنکه معادلهٔ (۳) بر قرار باشد. ارضای شرایط قضیهٔ گاوس _مارکوف بر الزامی است. به عبارتی Ω باید ماتریس کوواریانس شرطی خطا نسبت به متغیر توضیح دهنده باشد. بنابراین Ω می‌تواند به X یا هر متغیر برون زا ی دیگری وابسته باشد.

تابع معیار حداقل مربعات تعمیم یافته

راه دیگر به دست آوردن برآوردگر حداقل مربعات تعمیم یافتهٔ، مینیمم کردن تابع معیار حداقل مربعات عمومی است.

(۵) ${\displaystyle (y-X\beta {)}^T{\mathrm{\Omega }}^{-}1(y-X\beta )}$

که در حقیقت چیزی نیست جز جمع مربعات باقی‌مانده‌های مدل رگرسیونی تبدیل یافته. می‌توان این تابع معیار را تعمیم یافتهٔ تابع مجموع مربعات باقی‌مانده هادر نظر گرفت که در آن مربعات و ضرب‌های دو به دو باقی‌مانده‌ها، با توجه به معکوس ماتریس Ω وزن دهی شده‌اند. اثر این وزن دهی زمانی روشن می‌شود که ماتریس Ω یک ماتریس قطری باشد. در چنین حالتی هر مشاهده بر واریانس خطای خود تقسیم خواهد شد.

علاوه بر خصوصیات ذکر شده، بر آوردگر به دست آمده از معادلهٔ (۳) حلی برای مجموعهٔ گشتاورهای شرطی زیر نیز می‌باشد.

(۶) ${\displaystyle X^T{\mathrm{\Omega }}^{-1}(y-X\beta )=0}$

این مجموعهٔ شرطی گشتاورها معادل شرایط مرتبه اول برای مینیمم کردن تابع معیار تعمیم یافتهٔ حداقل مربعات می‌باشد. از آنجا که براوردگر عمومی حداقل مربعات یک روش برای برآورد گشتاورهاست. به مقایسهٔ آن با سایر برآورد گرهای گشتاورها می‌پردازیم. یک بر آوردگر تعمیم یافتهٔ گشتاوری برای یک مدل رگرسیون خطی با استفاده از یک ماتریس n*kاز متغیرهای برون زای W که بعد. ست. β به صورت زیر به دست می‌آید.

(۷) ${\displaystyle W^T(y-X\beta )=0}$

از آنجا که در معادلهٔ اخیر k معادله و k مجهول وجود دارد، برای به دست آوردن برآورد گشتاوری می‌توان آن را حل نمود.

(۸) ${\displaystyle {\hat{\beta }}_w={\beta }_0+(W^{T}X{)}^{-1}{W}^{T}u}$

با مقایسهٔ معادلات (۳)و (۸) و جایگذاری W با Ω^(-۱) X، می‌توان مشاهده نمود، برآورد گر تعمیم یافتهٔ حداقل مربعات یک حالت خاص از برآورد گر روش گشتاورهاست. تحت فرضیات قطعیت، تخمین زن روش گشتاورها یک تخمین زن نا اریب برای مدل خواهد بود. در صورتی که فرض کنیم فرایند تولید داده یک حالت خاص از مدل با بردار پارامترهای β_۰و ماتریس کوواریانس معلوم Ωاست. برون زا بودن متغیرهای X و W ایجاب می‌کند کهE(u_t│w_ X)=0 باشد. با این فرض نسبتاً قوی که منجر به نا اریبی β ̂_W می‌شود از تحلیل‌های مجانبی و بررسی سازگاری اجتناب می‌کنیم. گرچه برای سازگار بودن برآوردگر β ̂_Wتن‌ها فرض مورد نیاز، فرض ضعیف E(u_t│w_t)=0 با جایگزاری Xβ_۰در معادلهٔ (۸) می‌بینیم:

(۹) ${\displaystyle Var({\hat{\beta }}_w)=E(({\hat{\beta }}_w-{\beta }_0)({\hat{\beta }}_w-{\beta }_0{)}^T)=(W^{T}X{)}^{-1}{W}^T\mathrm{\Omega }(X^{T}W)}$

همان طور که انتظار داشتیم، معادلهٔ (۹) اصطلاحاً ساندویچ شدهٔ ماتریس کوواریانس است. ه نگامی که X=W باشد ما برآوردگر روش حداقل مربعات تعمیم یافته را خواهیم داشت و واریانس β ̂_W به صورت معادلهٔ استاندارد در می‌آید. می‌توان کارایی بر آوردگر تعمیم یافتهٔ روش حداقل مربعات را با نشان دادن این که تفاضل Var(β ̂_W)در معادلهٔ (۹)و Var(β ̂)در معادلهٔ (۴)یک ماتریس مثبت نیمه معین است اثبات نمود.

در نگاه اول، رابطهٔ (۳) برای برآورد گر عمومی حداقل مربعات بسیار ساده به نظر می‌آید. ظاهراً برای به دست آوردن β ̂، در صورت معلوم بودن Ω تنها کافی است Ω^(-۱) را محاسبه نموده و ماتریس X^T Ω^(-1) X و معکوس آن را تشکیل دهیم از ضرب آن‌ها در بردار X^T Ω^(-1) y، β ̂ به دست خواهد آمد. با این وجود استفاده ار روش عمومی حداقل مربعات به همین سادگی که به نظر می‌رسد نیست. فرایند بیان شده تنها در زمانی که تعداد مشاهداتمان کم و ناچیز است، قابل استفاده خواهد بود و در نمونه‌های بزرگ عملاً ناممکن است. به عنوان مثال در صورتی که حجم نمونهٔ ما در ۱۰۰۰۰ باشد تنها برای ذخیرهٔ ΩوΩ^(-۱) به حدود ۱۶۰۰ مگابایت حافظه نیاز داریم. حتا با داشتن حافظهٔ کافی، محاسبهٔ برآوردگر β ̂ با استفاده از این روش مقدماتی به لحاظ حجم محاسبات و زمان به شدت هزینه بر خواهد بود. فرایند عملی تخمین حداقل مربعات نیازمند این است که اطلاعات نسبتاً زیادی در مورد ساختار ماتریس Ω و معکوس آن داشته باشیم. در صورتی که ماتریس Ψ به ما اجازه دهد تا برای هر بردار X، Ψ^T X را بدون نیاز به ذخیرهٔ خود Ψ در حافظه حاسبه نماییم، می‌تون به سادگی مدل تبدیل یافته را فرموله نمود و از یک تخمین عادی حداقل مربعات بری محاسبهٔ پارمترهای آن استفاده کرد.