تئوری کارانن-لوف

• X_t یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) تعریف می‌شود و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس K_X(s, t). به این ترتیب:

${\displaystyle \forall t\in [a,b]\qquad X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),}$

${\displaystyle \forall t\in [a,b]\qquad \mathbf {E} [X_{t}]=0,}$

${\displaystyle \forall t,s\in [a,b]\qquad K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].}$

• یک عملگر خطی T_KX را در K_X اعمال می‌کنیم. T_KX به این صورت تعریف می‌شود:

${\displaystyle T_{K_{X}}:L^{2}([a,b])\to L^{2}([a,b]):f\mapsto T_{K_{X}}f=\int _{a}^{b}K_{X}(s,\cdot )f(s)ds}$

ازآنجاکه T_KX یک عمل‌گر خطی‌ست، مقدار ویژه λ_k و تابع ویژه e_k دارد، که در معادله‌ انتگرالی زیر، به هم مربوط می‌شوند:

${\displaystyle \int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)}$

قضیه. X_t را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس پیوستهٔ K_X(s, t) در نظر می‌گیریم.

حال K_X(s, t) یک هسته ی Mercer است و e_k را یک پایهٔ متعامد بر روی L([a, b]) می‌گیریم که از توابع ویژهٔ T_KX دارای مقدار ویژهٔ λ_k تشکیل شده‌است. می‌توان X_t را به صورت زیر بیان کرد

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

که در L هم‌گراست و

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

همچنین متغیرهای تصادفی Z_k دارای میانگین صفر، ناهم‌بسته و دارای واریانس λ_k هستند

${\displaystyle \mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N} }$

• تابع کوواریانس K_X شرایط تعریف هسته‌ی Mercer را داراست. طبق تئوری Mercer، یک مجموعهٔ {λ_k, e_k(t)} وجود دارد که از مقدار ویژه‌ها و توابع ویژهٔ T_KX، یک مجموعه متعامد از L([a,b]) تشکیل می‌دهند و K_X را نیز می‌توان به صورت زیر نمایش داد:

${\displaystyle K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)}$

• فرایند X_t می‌تواند به صورت تابعی از e_kها به صورت زیر بسط پیدا کند:

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

که در آن ضرایب (متغیرهای تصادفی) Z_k به صورت زیر به دست می‌آیند:

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

• حال خواهیم داشت:

${\displaystyle {\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)dt\right)ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}}$

که در آن از این نکته استفاده شده است که e_kها توابع ویژهٔ T_KX بوده و متعامد هستند.

• حال نشان می‌دهیم که همگرایی در L است. فرض می‌کنیم

${\displaystyle S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).}$

آنگاه:

${\displaystyle {\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{l}e_{k}(t)e_{l}(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}}$

که طبق قضیهٔ Mercer به صفر میل می‌کند.

حالت خاص: توزیع گاوسی

ازآنجاکه حد امید ریاضی متغیرهای تصادفی مشترکاً گاوسی، خود مشترکاً گاوسی هستند و متغیرهای تصادفی گاوسی مستقل هستند اگر و فقط اگر متعامد باشند، می‌توان نتیجه گرفت: قضیه. متغیر تصادفی Z_i دارای توزیع مشترک گاوسی است و به‌طور تصادفی مستقل است اگر فرایند اولیه {X_t}_t گاوسی باشد.

در این حالت (گاوسی بودن)، از آنجایی که Z_iها مستقل هستند، می‌توان گفت:

${\displaystyle \lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )}$

almost surely.

بسط کارهونِن-لُواِو فرایند را ناهمبسته می‌کند

این نتیجه از استقلال Z_k حاصل می‌شود.

بسط کارهونِن-لُواِو مقدار خطای میانگین مربعات را به حداقل می‌رساند

در بخش معرفی، بیان کردیم که بسط خلاصه شدهٔ کارهونِن-لُواِو بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان می‌شود این تبدیل به‌طور بهینه انرژی را فشرده (ذخیره) می‌کنند. به‌طور دقیق تر، برای هر پایهٔ متعامد {f_k} از فضای L([a, b])، می‌توان فرایند X_t را به صورت زیر تجزیه کرد:

${\displaystyle X_{t}(\omega )=\sum _{k=1}^{\infty }A_{k}(\omega )f_{k}(t)}$

که در آن

${\displaystyle A_{k}(\omega )=\int _{a}^{b}X_{t}(\omega )f_{k}(t)\,dt}$

و می‌توان X_t را با جمع متناهی زیر برای هر عدد صحیح 'N به صورت زیر تخمین زد

${\displaystyle {\hat {X}}_{t}(\omega )=\sum _{k=1}^{N}A_{k}(\omega )f_{k}(t)}$

یافتن واریانس

یک نتیجهٔ مهم این تبدیل را می‌توان این مورد در نظر گرفت که از آنجایی که Z_kها در تبدیل کارهونِن-لُواِو ناهمبسته هستند، Bienaymé formula نتیجه می‌دهد که X_t برابر است با جمع واریانس جملات جمع، داریم:

${\displaystyle {\mbox{Var}}[X_{t}]=\sum _{k=0}^{\infty }e_{k}(t)^{2}{\mbox{Var}}[Z_{k}]=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(t)^{2}}$

تعریف شده روی [a, b] و استفاده از این مسئله که e_kها متعامد هستند، نتیجه می‌گیریم که واریانس کل فرایند برابر است با:

${\displaystyle \int _{a}^{b}{\mbox{Var}}[X_{t}]dt=\sum _{k=1}^{\infty }\lambda _{k}}$