فرایند دیریکله

در نظریه احتمالات فرایند دیریکله، که به یاد پیتر گاستاو دریکله نامیده شده است، یک دسته ازفرایند تصادفی است. این فرایند یک توزیع روی توزیع هاست. به عبارت دیگر یک فرایند دریکله یک توزیع احتمالاتی است که بازه آن خود یک مجموعه از احتمالات است. این فرایند غالباً در استنتاج بیزی استفاده می‌شود که اطلاعات اولیه در مورد توزیع متغیرهای تصادفی را توصیف می‌کند. -احتمال این که متغیرهای تصادفی با یک یا چند توزیع مشخص توزیع شوند.

شماتیکی از فرایند دیریکله

یک فرایند دیریکله با $\mathrm {DP} \left(H,\alpha \right)$

مشخص می‌شود که در آن

H

توزیع پایه است وعدد حقیقی

\alpha

، پارامتر تراکم نامیده می‌شود. توزیع پایه، امید ریاضی فرایند است. اگرچه توزیع پایه یعنی

H

پیوسته است، اما مقادیر ایجاد شده توسط فرایند دیریکله به صورت قریب به یقین گسسته هستند. پارامتر تراکم بیانگر این است که جداسازی به چه میزان قوی است: در حد

{\boldsymbol {\alpha }}\rightarrow 1

ادراک در یک نقطه خاص متمرکز می‌شوند. در حالی که در حد

{\boldsymbol {\alpha }}\rightarrow \infty

، ادراک پیوسته خواهند شد. بین دو حد ادراک به صورت توزیع‌های گسسته با تمرکز کم وجود دارند و با کاهش تمرکز را با کاهش

\alpha

شاهد هستیم. اینکه احتمال اینکه مقادیر تکرار شوند، چقدر است بستگی به پارامتر

\alpha

دارد.

توجه کنید که فرایند دیریکله یک فرایند تصادفی است؛ یعنی تشکیل شده از بی‌نهایت متغیر تصادفی است. حال می‌توان یک فرایند دیریکله را به اینصورت ایجاد کرد: یک توزیع تصادفی انتخاب می‌کنیم و بی‌نهایت متغیر تصادفی را در نظر بگیرید که بی‌نهایت مقدار تصادفی از آن را مشخص می‌کنند. می‌توان این فرایند را توسط سناریوهای دیگری نیز تصویر کرد؛ مانند فرایند رستوران چینی یا فرایند شکستن چوب.

راه دیگر برای تصور فرایند دیریکله تصور یک توزیع دیریکله بینهایت است. با میل دادن ابعاد یک توزیع دیریکله متقارن $K$

بعدی با پارامتر تراکم

\alpha /K

به بی‌نهایت، می‌توان به فرایند شکستن چوب رسید که تجسمی دیگر برای فرایند دیریکله است.

اولین بار فرایند دیریکله توسط توماس فرگوسن در سال ۱۹۷۳معرفی شده‌است. از آن پس در داده‌کاوی، یادگیری ماشین، پردازش زبان طبیعی، بینایی کامپیوتر و بیوانفورماتیک استفاده شده‌است.

مقدمه

توزیع مخلوط زیر را در نظر بگیرید:

{\begin{array}{lcl}\theta _{1,\dots ,K}&\sim &H()\\{\boldsymbol {\beta }}&\sim &\operatorname {Dirichlet} (\alpha /K,...,\alpha /K)\\z_{1,\dots ,N}&\sim &\operatorname {Categorical} ({\boldsymbol {\beta }})\\x_{i=1,\dots ,N}&\sim &F(\theta _{z_{i}})\end{array}}

مجموعه $x_{1},\dots ,x_{N}$

داده‌های مشاهده هستند که مطابق توزیع مخلوط با

K

مؤلفه توزیع شده‌اند و هر مؤلفه دارای توزیع ثابت

F(\theta )

است، بطوریکه هر مؤلفه دارای پارامتر متفاوتی برای

\theta

است که به نوبهٔ خود از توزیع

H

بدست آمده است. معمولاً توزیع

H

، مزدوج پیشین توزیع

F

است.

کاربردهای فرایند دریکله

فرایندهای دریکله در آمار بیزی ناپارامتری استفاده می‌شود. «ناپارامتری» به مفهوم یک مدل بدون پارامتر نیست، بلکه مدلی است که در آن نمایش‌ها با تعداد داده مشاهده‌شده افزایش می‌یابد. مدل‌های بیزی ناپارامتری در حوزه یادگیری ماشین به دلیل انعطاف‌پذیری به خصوص در یادگیری بدون‌ناظر، محبوبیت بیشتری کسب می‌کنند. در یک مدل بیزی ناپارامتری توزیع پیشین و پسین توزیع‌های پارامتری نیستند اما فرایند تصادفی هستند. خاصیت ناپارامتری آن، این مدل را کاندید ایده‌آل برای خوشه‌بندی که تعداد خوشه‌ها از قبل نامشخص است می‌کند.

از آنجایی که کشش‌های فرایند دریکله مستقل هستند، یک استفاده مهم می‌تواند استفاده به عنوان احتمال پیشین در مدل ترکیبی نامتناهی باشد. در این مورد، S یک مجموعه پارامتری از توزیع‌های مؤلفه است. در نتیجه فرایند تولیدی یک نمونه است که از فرایند دریکله گرفته شده‌است. این حقیقت که هیچ محدودیتی در تعداد مؤلفه‌های مستقلی که ممکن است تولید شوند این مدل را برای این استفاده وقتی تعداد مؤلفه‌های ترکببی از قبل مشخص نیست، مناسب می‌کند.

خاصیت نامتناهی این مدل‌ها همچنین آن‌ها را برای کاربردهای مختلف پردازش زبان طبیعی که با فرض کلمات نامتناهی و گسسته هستند، مناسب می‌کند. فرایند دریکله هم‌چنین می‌تواند در تست فرضیه ناپارامتری، برای مثال برای تولید نسخه‌های کلاسیک تستهای فرضیه مثلاً تست علامت و… استفاده شود.

جستارهای وابسته

فرایند پیتمن-یور تعمیم فرایند دیریکله است.
فرایند دیریکله ی سلسله مراتبی تعمیمی از فرایند دیریکله است تا اینکه داده‌های گروهی را نیز در نظر بگیرد.

منابع

↑ Ferguson، Thomas (۱۹۷۳). «Bayesian analysis of some nonparametric problems». Annals of Statistics. ۱ (۲): ۲۰۹&ndash, ۲۳۰. doi:10.1214/aos/1176342360. MR 0350949.

پیوند به بیرون

[1] Ferguson، Thomas (۱۹۷۳). «Bayesian analysis of some nonparametric problems». Annals of Statistics. ۱ (۲): ۲۰۹&ndash, ۲۳۰. doi:10.1214/aos/1176342360. MR 0350949.