نظریه برآورد

برای نمونه، می‌توان نسبت جمعیتی از رای‌دهندگان را که به یک نامزد ویژه‌ای رأی می‌دهند، برآورد کرد. پس، این نسبت پارامتر برآورد مورد نظر است. این برآورد می‌تواند بر اساس یک نمونه تصادفی کوچک از رای‌دهندگان (به عنوان داده اندازه‌گیری) باشد. اگر چنین داده‌ای در دسترس نباشد، می‌توان احتمال رأی دادن یک رای‌دهنده به یک نامزد خاص را بر پایه برخی ویژگی‌های جمعیتی، مانند سن برآورد کرد.

برای نمونه دیگر، در رادار هدف این است که با پردازش و تحلیل زمان انتقال پژواک‌های دریافت شده از پالس‌های تراگسیل شده، دامنه اجسام (هواپیماها، قایق‌ها و غیره) را پیدا کرد. از آنجا که پالس‌های بازتابیده ناگزیر به نویز الکتریکی آغشته شده‌اند، داده‌های اندازه‌گیری شده مرتبط با آن به صورت یک متغیر تصادفی خواهند بود، بنابراین باید زمان انتقال برآورد شود.

برای ایجاد یک تخمین‌گر برای یک مدل، به چندین مورد آماری نیازد داریم. اولین مورد نمونه آماری است: مجموعه‌ای از داده‌ها به تعداد N که از یک متغیر تصادفی گرفته شدند و درون یک بردار ریخته شده‌اند.

${\displaystyle \mathbf{x}=\left[\begin{array}{c}x[0]\\ x[1]\\ ⋮\\ x[N-1]\end{array}\right].}$

دومین مورد M پارامتر ما هستند که قصد داریم آنها را تخمین بزنیم.

${\displaystyle \theta =\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_M\end{array}\right],}$

سوم، تابع چگالی احتمال پیوسته (pdf) یا همتای گسسته آن، تابع جرم احتمال (pmf)، توزیع زیربنایی که داده‌ها را تولید می‌کند، باید مشروط به مقادیر پارامترها بیان شود:

${\displaystyle p(\mathbf{x}|\theta ).}$

همچنین این امکان وجود دارد که خود پارامترها دارای توزیع احتمال باشند (به عنوان مثال، آمار بیزی). سپس لازم است که احتمال بیزی را تعریف کنیم

${\displaystyle \pi (\theta ).}$

پس از شکل‌گیری مدل، هدف تخمین زدن پارامترها خواهد بود. که این تخمین هارا با ${\displaystyle \hat{\theta }}$

یکی از برآوردگرهای رایج، برآوردگر حداقل میانگین مربعات خطا (MMSE) است که از خطای بین پارامترهای برآورد شده و مقدار واقعی پارامترها استفاده می‌کند.

اگر برای خطا داشته باشیم:

${\displaystyle \mathbf{e}=\hat{\theta }-\theta }$

در MMSE سعی می‌شود امید ریاضی مربع مقدار خطای بدست آمده حداقل شود.

برآورد درست‌نمایی بیشینه
برآوردگر بیزی
فیلتر وینر
فیلتر کالمن
زنجیره مارکوف مونت کارلو
برآوردگر بی‌بایاس کمینه واریانس
برآوردگر بیشینه‌گر احتمال پسین
برآوردگر کمترین مربعات
روش گشتاورها

ثابت ناشناخته

سیگنال گسسته دریافتی ${\displaystyle x[n]}$

درنتیجه سیگنال ما به شکل زیر خواهد بود:

${\displaystyle x[n]=A+w[n]n=0,1,\dots ,N-1}$

حال سعی داریم به دو روش مقدار A را تخمین بزنیم.

• ${\displaystyle {\hat{A}}_1=x[0]}$
• ${\displaystyle {\hat{A}}_2=\frac{1}{N}\sum _{n=0}^{N-1}x[n]}$

می‌دانیم که برای هر دو حالت مقدار میانگین تخمین‌گر با مقدار میانگین A برابر است و تخمین گیر ما نا اریب است.

${\displaystyle \mathrm{E}\left[{\hat{A}}_1\right]=\mathrm{E}\left[x[0]\right]=A}$

${\displaystyle \mathrm{E}\left[{\hat{A}}_2\right]=\mathrm{E}\left[\frac{1}{N}\sum _{n=0}^{N-1}x[n]\right]=\frac{1}{N}\left[\sum _{n=0}^{N-1}\mathrm{E}\left[x[n]\right]\right]=\frac{1}{N}\left[NA\right]=A}$

اما اگر به بررسی واریانس بپردازیم تفاوت موجود بین این دو تخمین‌گر را متوجه خواهیم شد.

${\displaystyle \mathrm{v}\mathrm{a}\mathrm{r}\left({\hat{A}}_1\right)=\mathrm{v}\mathrm{a}\mathrm{r}\left(x[0]\right)={\sigma }^2}$

${\displaystyle \mathrm{v}\mathrm{a}\mathrm{r}\left({\hat{A}}_2\right)=\mathrm{v}\mathrm{a}\mathrm{r}\left(\frac{1}{N}\sum _{n=0}^{N-1}x[n]\right)\stackrel{\text{independence}}{=}\frac{1}{N^2}\left[\sum _{n=0}^{N-1}\mathrm{v}\mathrm{a}\mathrm{r}(x[n])\right]=\frac{1}{N^2}\left[N{\sigma }^2\right]=\frac{{\sigma }^2}{N}}$

همان‌طور که مشخص است تخمین‌گر دوم همواره واریانس کمتری نسبت به تخمین‌گر اول دارد و تخمین‌گر بهتری خواهد بود زیرا مقادیر حاصل از آن با واریانس کمتری نسبت به مقدار حقیقی A قرار دارند.

زمینه‌های متعددی نیاز به استفاده از نظریه برآورد دارند. برخی از این زمینه‌ها عبارتند از:

تفسیر آزمایش‌های علمی

پردازش سیگنال

کارآزمایی بالینی

نظرسنجی‌ها

کنترل کیفیت

مخابرات

مدیریت پروژه

مهندسی نرم‌افزار

تئوری کنترل (به ویژه کنترل تطبیقی)

سامانه تشخیص نفوذ شبکه