حساب کاربری
​
زمان تقریبی مطالعه: 6 دقیقه
لینک کوتاه

منحنی مشخصه عملکرد سیستم

منحنی مشخصه عملکرد سیستم یا منحنی عملیاتی گیرنده (Receiver operating characteristic) یک روش کمی ارزیابی در مسائل طبقه بندی است که با ROC نشان داده می‌شود.

این روش در فیزیک پزشکی برای مقایسه اختلاف روشهای تصویربرداری بکار می‌رود. در این روش هدف این است که توانایی آسیب‌شناسی یک سامانه دقیقاً ارزیابی شود لذا از معیارهایی که بر اساس قضاوت و تصمیم اشخاص است استفاده می‌شود .

منحنی ROC با رسم نرخ مثبت واقعی (TPR) در برابر نرخ مثبت کاذب (FPR) در تنظیمات آستانه های مختلف ایجاد می شود. نرخ مثبت واقعی به‌عنوان حساسیت، بازیابی یا احتمال تشخیص نیز شناخته می‌شود. نرخ مثبت کاذب نیز به عنوان احتمال هشدار کاذب شناخته می شود و می تواند به عنوان (ویژگی - ۱) محاسبه شود. ROC همچنین می تواند به عنوان نموداری از توان آماری به عنوان تابعی از خطای نوع اول قاعده تصمیم در نظر گرفته شود (زمانی که عملکرد فقط از نمونه ای از جامعه محاسبه می شود، می توان آن را به عنوان تخمینگر این کمیت ها در نظر گرفت). بنابراین منحنی ROC حساسیت یا بازیابی به عنوان تابعی از نرخ مثبت کاذب است. به طور کلی، اگر توزیع احتمال برای هر دو تشخیص و هشدار نادرست شناخته شده باشد، منحنی ROC را می توان با رسم تابع توزیع تجمعی (ناحیه زیر توزیع احتمال از − ∞ {\displaystyle -\infty }

تا آستانه تشخیص) احتمال تشخیص در محور y در مقابل تابع توزیع تجمعی احتمال هشدار کاذب در محور x ایجاد کرد.

ROC همچنین به عنوان یک منحنی مشخصه عملکرد نسبی شناخته می شود، زیرا مقایسه دو ویژگی عملیاتی (TPR و FPR) به عنوان تغییر معیار است.

فهرست

  • ۱ مفاهیم اولیه
  • ۲ فضای مشخصه عملکرد سیستم
  • ۳ منحنی‌ها در فضای مشخصه عملکرد سیستم
  • ۴ جستارهای وابسته
  • ۵ منابع

مفاهیم اولیه

یک مدل طبقه‌بندی یک نگاشت از نمونه‌های بین کلاس‌ها/گروه‌های خاص است. از آنجایی که طبقه‌بندی‌کننده یا نتیجه تشخیص می‌تواند یک عدد حقیقی دلخواه باشد (خروجی پیوسته)، مرز طبقه‌بندی‌کننده بین کلاس‌ها باید با یک مقدار آستانه تعیین شود (به عنوان مثال، برای تعیین اینکه آیا یک فرد بر اساس اندازه‌گیری فشار خون مبتلا به فشار خون بالا است یا خیر). یا می تواند یک برچسب کلاس گسسته باشد که یکی از کلاس ها را نشان می دهد.

یک مشکل پیش‌بینی دو طبقه‌ای (طبقه‌بندی دودویی) را در نظر بگیرید که در آن نتایج به صورت مثبت (p) یا منفی (n) برچسب‌گذاری می‌شوند. چهار نتیجه ممکن از یک طبقه بندی کننده باینری وجود دارد. اگر نتیجه یک پیش‌بینی p باشد و مقدار واقعی نیز p باشد، آن را مثبت واقعی (TP) می‌گویند. با این حال اگر مقدار واقعی n باشد، گفته می شود که مثبت کاذب (FP) است. برعکس، منفی واقعی (TN) زمانی رخ می دهد که هم نتیجه پیش بینی و هم مقدار واقعی n باشد، و منفی کاذب (FN) زمانی رخ می دهد که نتیجه پیش بینی n باشد در حالی که مقدار واقعی p باشد. برای به دست آوردن مثال مناسب در یک مشکل دنیای واقعی، یک آزمایش تشخیصی را در نظر بگیرید که به دنبال تعیین اینکه آیا یک فرد به بیماری خاصی مبتلا است یا خیر. مثبت کاذب در این مورد زمانی اتفاق می افتد که آزمایش فرد مثبت باشد، اما در واقع به بیماری مبتلا نباشد. از سوی دیگر، منفی کاذب زمانی اتفاق می‌افتد که آزمایش فرد منفی باشد و نشان دهد که او سالم است، در حالی که واقعاً به این بیماری مبتلا است.

فضای مشخصه عملکرد سیستم

جدول پیشایندی می‌تواند چندین «متریک» ارزیابی را استخراج کند. برای رسم منحنی ROC، فقط نرخ مثبت واقعی (TPR) و نرخ مثبت کاذب (FPR) مورد نیاز است (به عنوان توابع برخی از پارامترهای طبقه‌بندی کننده). TPR تعیین می کند که چه تعداد از نتایج مثبت صحیح در بین تمام نمونه های مثبت موجود در طول آزمایش رخ می دهد. از سوی دیگر، FPR تعیین می کند که چه تعداد از نتایج مثبت نادرست در بین تمام نمونه های منفی موجود در طول آزمایش رخ می دهد.

فضای ROC برای یک طبقه‌بند بهتر و بدتر

فضای ROC توسط FPR و TPR به ترتیب به عنوان محورهای x و y تعریف می‌شود که مبادلات نسبی بین مثبت واقعی (منافع) و مثبت کاذب (هزینه‌ها) را نشان می‌دهد. از آنجایی که TPR معادل حساسیت و FPR برابر با (ویژگی - ۱) است، نمودار ROC گاهی اوقات نمودار حساسیت در مقابل (ویژگی - ۱) نامیده می شود. هر نتیجه پیش‌بینی یا نمونه‌ای از یک ماتریس درهم‌ریختگی نشان‌دهنده یک نقطه در فضای ROC است.

بهترین روش پیش‌بینی ممکن نقطه‌ای را در گوشه بالا سمت چپ یا مختصات (0،1) فضای ROC به دست می‌دهد که نشان‌دهنده 100٪ حساسیت (بدون منفی کاذب) و 100٪ ویژگی (بدون مثبت کاذب) است. نقطه (0,1) طبقه بندی کامل نیز نامیده می شود. یک حدس تصادفی یک نقطه در امتداد یک خط مورب (به اصطلاح خط بدون تبعیض) از پایین سمت چپ به گوشه سمت راست بالا (بدون در نظر گرفتن نرخ پایه مثبت و منفی) نشان می دهد. یک مثال شهودی از حدس زدن تصادفی، تصمیم گیری با چرخاندن سکه است. با افزایش اندازه نمونه، نقطه ROC طبقه‌بندی‌کننده تصادفی به سمت خط مورب متمایل می‌شود. در مورد سکه متعادل، به نقطه (0.5، 0.5) تمایل دارد. قطر فضای ROC را تقسیم می کند. نقاط بالای مورب نتایج طبقه بندی خوبی را نشان می دهد (بهتر از تصادفی). نقاط زیر خط نشان دهنده نتایج بد (بدتر از تصادفی) است. توجه داشته باشید که خروجی یک پیش‌بینی‌کننده دائماً بد می‌تواند به سادگی معکوس شود تا یک پیش‌بین خوب به دست آید.

منحنی‌ها در فضای مشخصه عملکرد سیستم

در طبقه‌بندی باینری، پیش‌بینی کلاس برای هر نمونه اغلب بر اساس یک متغیر تصادفی پیوسته X {\displaystyle X}

انجام می‌شود که یک «امتیاز» محاسبه‌شده برای نمونه است (مثلاً احتمال تخمین زده‌شده در رگرسیون لجستیک). با توجه به پارامتر آستانه T {\displaystyle T}
، نمونه به عنوان "مثبت" در صورت X > T {\displaystyle X>T}
و در غیر این صورت "منفی" طبقه بندی می شود. X {\displaystyle X}
چگالی احتمال f 1 ( x ) {\displaystyle f_{1}(x)}
را دنبال می کند اگر نمونه واقعاً به کلاس "مثبت" تعلق دارد و f 0 ( x ) {\displaystyle f_{0}(x)}
اگر غیر از این باشد. بنابراین، نرخ مثبت واقعی توسط TPR ( T ) = ∫ T ∞ f 1 ( x ) d x {\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}
و نرخ مثبت کاذب توسط FPR ( T ) = ∫ T ∞ f 0 ( x ) d x {\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}
مشخص می‌شود. منحنی عملیاتی گیرنده به صورت پارامتری TPR ( T ) {\displaystyle {\mbox{TPR}}(T)}
در مقابل FPR ( T ) {\displaystyle {\mbox{FPR}}(T)}
با T {\displaystyle T}
به عنوان پارامتر متغیر ترسیم می کند.

به عنوان مثال، تصور کنید که سطح پروتئین خون در افراد بیمار و افراد سالم به ترتیب با میانگین های 2 گرم در دسی لیتر و 1 گرم در دسی لیتر به صورت نرمال توزیع می شود. یک آزمایش پزشکی ممکن است سطح پروتئین خاصی را در نمونه خون اندازه گیری کند و هر عددی را بالاتر از یک آستانه مشخص به عنوان نشانه بیماری طبقه بندی کند. آزمایشگر می تواند آستانه را تنظیم کند (خط عمودی سبز در شکل)، که به نوبه خود نرخ مثبت کاذب را تغییر می دهد. افزایش آستانه منجر به مثبت کاذب کمتر (و منفی کاذب بیشتر) می شود که مربوط به حرکت به سمت چپ در منحنی است. شکل واقعی منحنی بر اساس میزان همپوشانی دو توزیع تعیین می شود.

جستارهای وابسته

  • امتیاز اف ۱
  • دقت و بازیابی
  • نظریه تصمیم
  • ماتریس درهم‌ریختگی

منابع

  1. ↑ Swets, J.A., Dawes, R., and Monahan, J. (2000) Better Decisions through Science. Scientific American, October, pages 82–87
  2. ↑ سیستم های تصویربرداری پزشکی. محمد علی عقابیان. مرکز تحقیقات علوم و تکنولوژی در پزشکی. دانشگاه علوم پزشکی تهران.
  3. ↑ اصول سیستمهای تصویرگر پزشکی. ترجمه منصور وفادوست. انتشارات دانشگاه صنعتی امیر کبیر. 1380.
  4. ↑ "Detector Performance Analysis Using ROC Curves - MATLAB & Simulink Example". www.mathworks.com. Retrieved 11 August 2016.
  5. ↑ Swets, John A.; Signal detection theory and ROC analysis in psychology and diagnostics : collected papers, Lawrence Erlbaum Associates, Mahwah, NJ, 1996
  6. ↑ "classification - AUC-ROC of a random classifier". Data Science Stack Exchange. Retrieved 2020-11-30.
آخرین نظرات
  • آسیب شناسی
کلیه حقوق این تارنما متعلق به فرا دانشنامه ویکی بین است.