فرایندهای تصمیم‌گیری مارکوف

فرایندهای تصمیم‌گیری مارکوف شامل پنج عنصر ${\displaystyle (S,A,P_{\cdot }(\cdot ,\cdot ),R_{\cdot }(\cdot ,\cdot ),\gamma )}$

• ${\displaystyle S}$
  مجموعه متناهی (شمارش پذیر) حالت‌ها است.
• ${\displaystyle A}$
  مجموعه متناهی عمل‌ها است. به‌طور جایگزین ${\displaystyle A_s}$
  مجموعه متناهی از عمل‌ها است که حالت ${\displaystyle s}$
• ${\displaystyle P_a(s,s^{\prime })=Pr(s_{t+1}=s^{\prime }\mid s_t=s,a_t=a)}$
  احتمال این که اقدام ${\displaystyle a}$
  در حالت ${\displaystyle s}$
  و در زمان ${\displaystyle t}$
  منجر به حالت ${\displaystyle s^{\prime }}$
  در زمان ${\displaystyle t+1}$
• ${\displaystyle R_a(s,s^{\prime })}$
  پاداش فوری (یا انتظار پاداش فوری) است که به علت رفتن از حالت ${\displaystyle s^{\prime }}$
  به حالت ${\displaystyle s}$
• ${\displaystyle \gamma \in [0,1]}$
  ضریب کاهش است که نشان دهنده تفاوت ارزش پاداش آتی با پاداش فعلی است.

مسئله اصلی در MDPs پیدا کردن یک «سیاست» برای تصمیم‌گیر است. یافتن یک تابع مشخص عمل ${\displaystyle \pi }$

هدف انتخاب یک سیاست ${\displaystyle \pi }$

${\displaystyle \sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{R}_{a_t}(s_t,s_{t+1})}$

    (زمانی که ${\displaystyle a_t=\pi (s_t)}$

)

که در آن ${\displaystyle \gamma }$

به دلیل خاصیت مارکوف، سیاست بهینه برای یک مسئله خاص را می‌توان به عنوان یک تابع از ${\displaystyle s}$

MDPs را می‌توان با برنامه‌ریزی خطی یا برنامه‌نویسی پویا حل کرد.

فرایندهای تصمیم‌گیری مارکوف یک بازی تصادفی با تنها یک بازیکن است.

مشاهده پذیری جزئی

در راه حل بالا فرض می‌شود که وقتی عمل انتخاب می‌شود که حالت ${\displaystyle s}$

یادگیری تقویتی

اگر احتمالات یا پاداش مشخص نباشد مسئله به عنوان یادگیری تقویتی شناخته می‌شود (Sutton & Barto 1998).

یادگیری اتوماتا

یکی دیگر از کاربردهای MDP یادگیری ماشین با نام یادگیری اوتوماتا شناخته می‌شود. این هم یک نوع از یادگیری تقویتی است اگر محیط به شیوه تصادفی باشد.

تفسیر نظریه رده‌ها

غیر از پاداش، فرایندهای تصمیم‌گیری مارکوف ${\displaystyle (S,A,P)}$

در این روش پردازش‌های تصمیم‌گیری مارکوف می‌تواند تعمیم از monoids (دسته‌ها با یک شی) را به دلخواه دسته‌بندی کنید. یکی می‌توانید تماس بگیرید و نتیجه ${\displaystyle (\mathcal{C},F:\mathcal{C}\to \mathbf{D}\mathbf{i}\mathbf{s}\mathbf{t})}$

فرایندهای تصمیم‌گیری مارکوف فازی (FDMPs)

در MDPs سیاست بهینه سیاستی است که جمع پاداش‌های آتی را به حداکثرمی‌رساند؛ بنابراین سیاست بهینه شامل چندین عمل است که متعلق به مجموعه متناهی از اعمال است. در فرایندهای تصمیم‌گیری مارکوف فازی (FDMPs) ابتدا تابع ارزش با فرض غیر فازی بودن محاسبه می‌شود؛ سپس توسط یک سیستم استنتاج فازی سیاست مطلوب استخراج می‌شود. به عبارت دیگر تابع ارزش تابع به عنوان یک ورودی برای سیستم استنتاج فازی استفاده شده‌است و سیاست مطلوب، خروجی سیستم استنتاج فازی است.