مدل مارکوف

بسته به اینکه آیا هر حالت متوالی مشاهده‌پذیر است یا نه و اینکه آیا سیستم بر اساس مشاهدات انجام شده تنظیم می‌شود، چهار مدل رایج مارکوف در موقعیت‌های مختلف استفاده می‌شود:

ساده‌ترین مدل مارکوف زنجیره مارکوف است. وضعیت یک سیستم را با یک متغیر تصادفی که در طول زمان تغییر می‌کند مدل می‌کند. در این زمینه، ویژگی مارکوف نشان می‌دهد که توزیع برای این متغیر فقط به توزیع یک حالت قبلی بستگی دارد. نمونهٔ استفاده از زنجیره مارکوف، زنجیره مارکوف مونت کارلو است، که از ویژگی مارکوف برای اثبات اینکه یک روش خاص برای انجام یک گام تصادفی از توزیع مشترک نمونه برداری می‌کند، استفاده می‌کند.

یک مدل مارکوف پنهان یک زنجیره مارکوف است که وضعیت آن فقط تا حدی مشاهده‌پذیر است یا به‌طور پر سر و صدا مشاهده‌پذیر است. به عبارت دیگر، مشاهدات مربوط به وضعیت سیستم هستند، اما معمولاً برای تعیین دقیق وضعیت کافی نیستند. چندین الگوریتم معروف برای مدل‌های پنهان مارکوف وجود دارد. به عنوان مثال، با توجه به دنباله ای از مشاهدات، الگوریتم ویتربی محتمل‌ترین دنباله متناظر از حالت‌ها را محاسبه می‌کند، الگوریتم جلورونده احتمال دنباله مشاهدات را محاسبه می‌کند، و الگوریتم الگوریتم باوم-ولچ احتمالات شروع، تابع انتقال و تابع مشاهده یک مدل مارکوف پنهان را تخمین می‌زند. یکی از کاربردهای رایج برای تشخیص گفتار است که در آن داده‌های مشاهده شده شکل موج صوتی گفتار و حالت پنهان متن گفتاری است. در این مثال، الگوریتم ویتربی محتمل‌ترین دنباله کلمات گفته شده را با توجه به صدای گفتار پیدا می‌کند.

فرایند تصمیم‌گیری مارکوف یک زنجیره مارکوف است که در آن انتقال حالت به وضعیت فعلی و بردار عملی که بر روی سیستم اعمال می‌شود بستگی دارد. به‌طور معمول، یک فرایند تصمیم مارکوف برای محاسبه سیاست اقداماتی استفاده می‌شود که برخی از مطلوبیت‌ها را با توجه به پاداش‌های مورد انتظار به حداکثر می‌رساند.

فرایند تصمیم‌گیری مارکوف تا حدی مشاهده‌پذیر (POMDP) یک فرایند تصمیم‌گیری مارکوف است که در آن وضعیت سیستم فقط تا حدی مشاهده می‌شود. این تصمیم‌ها به عنوان NP کامل شناخته می‌شوند، اما تکنیک‌های تقریب اخیر آنها را برای کاربردهای مختلف، مانند کنترل عامل‌های ساده یا ربات‌ها مفید ساخته‌است.

یک میدان تصادفی مارکوف، یا شبکه مارکوف، ممکن است یک کلیت از زنجیره مارکوف در ابعاد چندگانه در نظر گرفته شود.در یک زنجیره مارکوف، هر حالت فقط به حالت قبلی در زمان بستگی دارد، در حالی که در یک میدان تصادفی مارکوف، هر حالت در هر یک از جهات چندگانه به همسایگان خود وابسته است. یک میدان تصادفی مارکوف ممکن است به عنوان یک میدان یا گرافی از متغیرهای تصادفی تجسم شود، که در آن توزیع هر متغیر تصادفی به متغیرهای همسایه ای که با آنها مرتبط است بستگی دارد. به طور خاص، توزیع مشترک برای هر متغیر تصادفی در گراف را می توان به عنوان حاصل ضرب "پتانسیل های خوشه" همه خوشه های موجود در نمودار که حاوی آن متغیر تصادفی هستند، محاسبه کرد. مدل‌سازی یک مسئله به‌عنوان یک میدان تصادفی مارکوف مفید است زیرا نشان می‌دهد که توزیع‌های مشترک در هر رأس در گراف ممکن است به این روش محاسبه شود.

مدل های مارکوف سلسله مراتبی را می توان برای دسته بندی رفتار انسان در سطوح مختلف انتزاع به کار برد. به عنوان مثال، یک سری از مشاهدات ساده، مانند مکان یک فرد در یک اتاق، می تواند برای تعیین اطلاعات پیچیده تر تفسیر شود، مانند اینکه فرد در چه کار یا فعالیتی انجام می دهد. دو نوع مدل مارکوف سلسله مراتبی عبارتند از مدل مارکوف پنهان سلسله مراتبی و مدل مارکوف پنهان انتزاعی. از هر دو برای تشخیص رفتار استفاده شده است و ویژگی‌های استقلال شرطی معینی بین سطوح مختلف انتزاع در مدل امکان یادگیری و استنتاج سریع‌تر را می‌دهد.

یک مدل زنجیره مارکوف احتمالی-الگوریتمی است. این احتمالات را با توجه به زمینه شرطی اختصاص می دهد که آخرین نماد را از دنباله ای که رخ می دهد، به عنوان محتمل ترین نماد به جای نماد واقعی در نظر می گیرد. یک مدل مارکوف متحمل می‌تواند سه ماهیت مختلف را مدل‌سازی کند: جایگزینی، حدف و اضافه. کاربردهای موفقیت آمیز به طور موثر در فشرده سازی توالی های DNA اجرا شده است.

زنجیره های مارکوف به عنوان یک روش پیش بینی برای چندین موضوع استفاده شده است، به عنوان مثال، روند قیمت، نیروی باد، و تابش خورشیدی. مدل‌های پیش‌بینی زنجیره مارکوف از تنظیمات مختلف، از گسسته‌سازی سری‌های زمانی گرفته تا مدل‌های پنهان مارکوف همراه با موجک‌ها و مدل توزیع مخلوط زنجیره مارکوف (MCM) استفاده می‌کنند.