میزان کشف اشتباه

مقدمه

از دهه آخر قرن بیستم، محاسبات الکترونیکی به تنها ابزار برای پیش‌برد تبدیل شد. تقریباً تمامی کاربردهای آمار توسط مجموعه ای از پلتفورم‌های کامپیوتری اجرا می‌شدند. ابزارهایی مانند SAS, SPSS, Minitab, Matlab, S، و بعدها R.

این روند از ابتدای قرن بیست و یکم سرعت گرفت و ابزارهای آماری بیشتر و کاراتر برای تحلیل حجم عظیم داده‌ها ابداع شد. این پیشرفت سریع در واقع مانند دو جنبه داشت، از طرفی ابداع روزافزون روش‌های آماری که به دنبال مجموعه داده‌های بزرگتر بودند و از طرفی تلاش برای نگه داشتن بنیان‌های علمی آمار و تصحیح روش‌های نوین.

برای بسیاری از آماردان‌ها، میکروآرایه‌ها برای اولین بار به عنوان نمونه ای از داده‌های بزرگ-مقیاس مطرح شدند. تکنولوژی میکروآرایه که در واقع یک انقلاب در ابزارهای زیست-پزشکی نوین در اواخر قرن بیستم بود، بررسی فعالیت هزاران ژن را در یک آزمایش ممکن می‌ساخت. با این امکان، نیاز به انجام هزاران آزمون فرض همزمان ایجاد شد. آزمون‌هایی که در نهایت بنا است تا تعداد محدودی از ژن‌ها را به عنوان ژن‌های تأثیرگذار (و با میزان بیان معنی‌دار-متفاوت در گروه تحت آزمون) معرفی کنند.

با رایج شدن تکنولوژی‌های پرتوان، محدودیت‌های فنی یا مالی محققین را مجبور می‌کرد که مجموعه‌داده‌های با تعداد کم نمونه (برای مثال تعداد کم افراد تحت آزمایش) و برای هر نمونه تعداد زیادی متغیر (برای مثلاً هزاران سطح بیان ژنی) جمع‌آوری کنند. در این مجموعه‌داده‌ها، با استفاده از روش‌های کلاسیک تعداد بسیار کمی از متغیرهای اندازه‌گیری‌شده سطح معنی داری آماری بالایی نشان می‌دادند. این چالش در بسیاری از جوامع علمی نیاز به روشی جایگزین را برای معیار میزان خطای خانوادگی و آزمون‌های فرض هم‌زمان تصحیح نشده ایجاد کرد. تا پیش از آن از این روش‌ها به منظور تعیین و رتبه‌بندی متغیرهای تأثیرگذار در مقالات استفاده می‌شد، در حالی که نتایج به دست آمده از این روش‌ها با واقعیت فاصله زیادی داشتند. برای حل این مسئله معیارهای مختلفی پیشنهاد شد که از برخی از آن‌ها در مقالات هم استفاده می‌شد. این معیارها نسبت به میزان خطای خانوادگی آزادانه‌تر عمل کردند.

مقالات

میزان کشف اشتباه در سال ۱۹۹۵ توسط بنجامینی و هوشبرگ به عنوان یک روش آزادانه‌تر و مسلماً مناسب‌تر در حل این مسئله معرفی شد. معرفی میزان کشف اشتباه یک اتفاق بسیار مهم در این رشته بود، زیرا برای اولین بار به عنوان جایگزین مناسبی برای میزان خطای خانوادگی به خصوص در علوم طبیعی مانند ژنتیک، بیوشیمی و علوم گیاهی شناخته شد. در سال ۲۰۰۵، مقالهٔ بنجامینی و هوشبرگ به عنوان یکی از ۲۵ پرارجاع‌ترین مقالات در زمینهٔ شناخته‌شد.

پیش از معرفی میزان کشف اشتباه در سال ۱۹۹۵ ایده‌های متنوعی مد نظر آماردانان بود. در سال ۱۹۷۹، هولم رویهٔ هولم را پیشنهاد کرد، یک الگوریتم گام به گام برای کنترل کردن میزان خطای خانوادگی که حداقل به اندازهٔ رویهٔ اصلاح بونفرونی دارای توان آماری بود. این الگوریتم گام به گام پی-مقدارها را مرتب می‌کند و به ترتیب فرض‌های صفر را با شروع از کوچکترین پی-مقدار رد می‌کند.

بنجامینی در سال ۲۰۱۰ گفت میزان کشف خطا و مقاله‌اش با هوشبرگ در سال ۱۹۹۵ از دو مقاله با موضوع آزمون‌های هم‌زمان منشأ گرفته‌است:

• اولین مقاله توسط شودر و اسپیوتول در سال ۱۹۸۲ که تصویر کردن پی-مقدارهای مرتب‌شده و سپس ارزیابی تعداد فرض‌های صفر (${\displaystyle m_0}$
  ) درست از طرق برازش خط به صورت چشمی، با شروع از بزرگ‌ترین پی-مقدارها را پیشنهاد می‌کرد. این ایده بعدها به یک الگوریتم تعمیم پیدا کرد و به این صورت بود که تخمین ${\displaystyle m_0}$
  به کمک روش‌هایی مانند بونفرونی، هولم یا هوشبرگ انجام می‌شد. این ایده بسیار شبیه تفسیر گرافیکی روش بنجامینی-هوشبرگ است.
• مقاله دوم کاری از سوریک در ۱۹۸۹ بود که کلمهٔ کشف را برای اولین بار در زمینهٔ آزمون فرض‌های همزمان به کار برد. سوریک از امید ریاضی تعداد کشف‌های اشتباه ${\displaystyle {\displaystyle \left(E[V]/R\right)}}$
  استفاده کرده بود و ایده اصلی‌اش این بود که «بسیاری از اکتشافات آمار ممکن است غلط باشند». این ایده بنجامینی و هوشبرگ را به سمت یک میزان خطای مشابه هدایت کرد.

رویهٔ بنجامینی-هوشبرگ در مقاله آن‌ها در سال ۱۹۹۵ ثابت شد. در سال ۱۹۸۶، سیمِس همان رویه را تحت عنوان رویهٔ سیمس پیشنهاد کرد. این رویه می‌تواند میزان خطای خانوادگی را در حالت ضعیف، زمانی که آماره‌ها مستقل هستند، کنترل کند. در سال ۱۹۸۸، هومل نشان داد که روی سیمس میزان خطای خانوادگی را در حالت قوی آن کنترل نمی‌کند. بر اساس رویهٔ سیمس، هوشبرگ رویهٔ هوشبرگ را در سال ۱۹۸۸ پیشنهاد کرد که می‌توانست میزان خطای خانوادگی را رد حالت قوی و زمانی که مفروضاتی برای وابستگی آماره‌ها وجود داشت، کنترل کند.

بر اساس تعاریف زیر می‌توان ${\displaystyle Q}$

${\displaystyle {\displaystyle Q=V/R=V/(V+S)}}$

.

حال میزان کشف اشتباه را می‌توان این‌گونه تعریف کرد:

${\displaystyle {\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}=Q_e=\mathrm{E}\left[Q\right]}}$

که در آن ${\displaystyle Q}$

تنظیمات برای بسیاری از روش‌ها به گونه است که ما ${\displaystyle H_1\dots H_m}$

روش بنجامینی-هوشبرگ

روش بنجامینی-هوشبرگ (که یک روش بالا-گام است)، میزان کشف اشتباه را در سطح نگه می‌دارد. این روش این‌گونه عمل می‌کند:

1. برای یک ${\displaystyle \alpha }$
   داده‌شده، k را پیدا کن که${\displaystyle P_{(k)}\le \frac{k}{m}\alpha .}$
2. تمام فرض صفرهای${\displaystyle H_{(i)}}$
   برای ${\displaystyle i=1,\dots ,k}$
   را رد کن.

به لحاظ هندسی، این روش معادل این است که ${\displaystyle P_{(k)}}$

روش بنجامینی-هوشبرگ زمانی که m آزمون مستقل و همچنین در بسیاری از سناریوهای شامل وابستگی معتبر است. به علاوه نامساوی زیر نیز ارضا می‌شود:

${\displaystyle E(Q)\le \frac{m_0}{m}\alpha \le \alpha }$

اگر تخمینی از ${\displaystyle m_0}$

توجه داشته باشید که میانگین ${\displaystyle \alpha }$

روش بنجامینی-هوشبرگ-یکوتیلی

روش بنجامینی-هوشبرگ-یکوتیکلی میزان کشف اشتباه را تحت فرض همبستگی مثبت کنترل می‌کند. این فرض، آستانه را اصلاح می‌کند و بزرگترین k را این‌گونه میابد که:${\displaystyle P_{(k)}\le \frac{k}{m\cdot c(m)}\alpha }$

• اگر آزمون‌ها از هم مستقل یا همبستهٔ مثبت باشند قرار می‌دهیم:
• ${\displaystyle c(m)=1}$
• در صورت وجود همبستگی منفی ${\displaystyle c(m)}$
  را می‌توان با استفاده از ثابت اویل-ماسکرونی تقریب زد:
• ${\displaystyle \sum _{i=1}^m\frac{1}{i}\approx \ln (m)+\gamma +\frac{1}{2m}}$

با استفاده از MFDR و فرمول‌های بالا، یک MFDR تصحیح شده، یا AFDR، برای m آزمون مستقل برابر است با ${\displaystyle \frac{\mathrm{M}\mathrm{F}\mathrm{D}\mathrm{R}}{c(m)}}$

راه دیگر برای حل مسئله وابستگی استفاده از روش‌های بوت استرپ و تصادفی‌سازی است.

تخمین میزان کشف اشتباه

فرض کنید${\displaystyle {\pi }_0}$

تطبیقی و مقیاس‌پذیر

استفاده از روشی که از معیار میزان کشف اشتباه استفاده می‌کند تطبیقی و مقیاس‌پذیر است. به این معنی که کنترل کردن میزان کشف خطا می‌تواند بسیار آزادانه یا سخت‌گیرانه عمل کند، بسته به تعداد فرض‌های تحت آزمون و سطح معنی داری.

معیار میزان کشف تطبیق پیدا می‌کند به گونه‌ای که تعداد کشف‌های اشتباه (V) نسبت به کل کشف‌ها (R) سنجیده‌می‌شود. این مورد برعکس میزان خطای خانوادگی است. برای مثال اگر ۱۰۰ فرض برای ۱۰۰ جهش ژنتیکی نقطه‌ای برای یافتن رابطه با رخ‌نمود مدنظر باشد:* اگر ما ۴ کشف (R) انجام دهیم، داشتن دو کشف غلط (V) بسیار هزینه‌بر است. در حالی که، * اگر ۵۰ اکتشاف انجام دهیم و ۲ تا از آن‌ها غلط باشند هزینهٔ ما چندان زیاد نیست.

معیار میزان کشف اشتباه مقیاس‌پذیر است به گونه‌ای که نسبت کشف‌های اشتباه به کل کشف‌ها (Q)، برای مقادیر مختلف کل کشف‌ها (R)، معقول باقی می‌ماند.

برای مثال:

• اگر ما ۱۰۰ کشف انجام دهیم و ۵ تا از آن‌ها کشف غلط باشند (${\displaystyle q=5\mathrm{\%}}$
  ) ما هزینهٔ زیادی را پرداخت نخواهیم کرد.
• به‌طور مشابه، اگر ما ۱۰۰۰ کشف را انجام دهیم، و ۵۰ کشف اشتباه رخ دهد، هم‌چنان هزینهٔ ما همان ۵ درصد خطا است.
  

معیار میزان کشف خطا در حالتی که یک تصحیح را روی مجموعه‌ای از فرض‌ها انجام می‌دهد، یا دو تصحیح را زمانی انجام می‌دهد که مجموعه به دو بخش تقسیم شده‌است تفاوتی ندارد، به نحوی که در هر دو حالت نحوه عملکرد تصحیح یکسان است.

وابستگی آماره‌های آزمون

کنترل میزان کشف اشتباه با استفاده از روش بنجامینی-هوشبرگ گام-بالا خطی در سطح q، ویژگی‌های مختلفی مرتبط با ساختار وابستگی بین آماره‌های آزمون m فرض صفر دارد. در هر یک از شرایط زیر برای آماره‌های آزمون داریم:

• مستقل: ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}\le \frac{m_0}{m}q}$
• مستقل و پیوسته: ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}=\frac{m_0}{m}q}$
• مثبت وابسته: ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}\le \frac{m_0}{m}q}$
• در حالت کلی: ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}\le \frac{m_0}{m}q/\left(1+\frac{1}{2}+\frac{1}{3}+\cdots +\frac{1}{m}\right)\approx \frac{m_0}{m}q/(\log (m)+\gamma +\frac{1}{2m})}$
  که در آن ${\displaystyle \gamma }$
  ثابت اویلر–ماسکرونی است.

نسبت فرض‌های درست

اگر تمام فرض‌های صفر درست باشند (${\displaystyle m_0=m}$

میزان‌های خطای مرتبط

پیش و پس از میزان کشف اشتباه، انواع و اقسام میزان‌ها معرفی شدند که برخی از آن‌ها در ادامه آمده‌است:

• میزان خطای مقایسه ای (PCER) به این صورت تعریف می‌شود که:${\displaystyle \mathrm{P}\mathrm{C}\mathrm{E}\mathrm{R}=E\left[\frac{V}{m}\right]}$
  . آزمودن هر فرض در سطح α می‌تواند تضمین کند که ${\displaystyle \mathrm{P}\mathrm{C}\mathrm{E}\mathrm{R}\le \alpha }$
  (این معیار بدون توجه به همزمانی آزمون‌ها تعریف می‌شود)
• میزان خطای خانوادگی (FWER) تعریف می‌شود${\displaystyle \mathrm{F}\mathrm{W}\mathrm{E}\mathrm{R}=P(V\ge 1)}$
  . روش‌های بسیار زیادی هستند که این میزان را کنترل می‌کنند.
• میزان خطای خانوادگی تعمیم یافته (${\displaystyle k\text{-FWER}}$
  ) که توسط لهمان، رومانو و همکاران معرفی شد به این صورت تعریف می‌شود که:${\displaystyle k\text{-FWER}=P(V\ge k)\le q}$
  .
• میزان کشف اشتباه تعمیم‌یافته که تعریف می‌شود:${\displaystyle k\text{-FDR}=E\left(\frac{V}{R}{I}_{(V>k)}\right)\le q}$
  .
• ${\displaystyle Q^{\prime }}$
  نسبت کشف‌های اشتباه بین تمام کشف‌ها است که توسط سوریک در سال ۱۹۸۹ معرفی شد، تعریف می‌شود:${\displaystyle Q^{\prime }=\frac{E[V]}{R}}$
  . این معیار ترکیبی از امید ریاضی و واقعیت است ولی مشکل کنترل را زمانی که ${\displaystyle m_0=m}$
  دارد.
• ${\displaystyle {\mathrm{F}\mathrm{D}\mathrm{R}}_{-1}}$
  توسط بنجامینی و هوشبرگ استفاده شده بود، بعدها توسط افرون(۲۰۰۸) استفاده شد؛ و این‌گونه تعریف می‌شود که: ${\displaystyle {\mathrm{F}\mathrm{D}\mathrm{R}}_{-1}=Fdr=\frac{E[V]}{E[R]}}$
  . این میزان خطا نمی‌تواند به‌طور دقیق کنترل شود زیرا زمانی که ${\displaystyle m=m_0}$
  برابر یک است.
• ${\displaystyle {\mathrm{F}\mathrm{D}\mathrm{R}}_{+1}}$
  ابتدا توس بنجامینی و هوشبرگ استفاده شد و بعدها در سال ۲۰۰۲ توسط استوری مورد استفاده قرار گرفت. این میزان این‌گونه تعریف می‌شود: ${\displaystyle {\mathrm{F}\mathrm{D}\mathrm{R}}_{+1}=pFDR=E\left[\frac{V}{R}|R>0\right]}$
  . این میزان خطا نمی‌تواند به‌طور دقیق کنترل شود زیرا زمانی که m = m_0 برابر یک است.
• میزان ردشدن از حد اشتباه که تعریف می‌شود: ${\displaystyle \mathrm{P}\left(\frac{V}{R}>q\right)}$
• ${\displaystyle W\text{-FDR}}$
   : که به هر فرض i یک‌وزن ${\displaystyle w_i\ge 0}$
  نسبت می‌دهد که نشان‌دهنده اهمیت آن فرض است و این‌گونه تعریف می‌شود: ${\displaystyle W\text{-FDR}=E\left(\frac{\sum w_i{V}_i}{\sum w_i{R}_i}\right)}$
  .
• میزان هزینهٔ کشف اشتباه :
• FDCR) که از کنترل فرایند آماری نشئت می‌گیرد، به هر فرض i یک هزینهٔ ${\displaystyle {\mathrm{c}}_i}$
  نسبت می‌گیرد و فرایند زمانی متوقف می‌شود که هزینه تا به این‌جای کار میزان مشخصی باشد. این میزان اینگونه تعریف می‌شود:
• ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{C}\mathrm{R}=E\left(c_0{V}_0+\frac{\sum c_i{V}_i}{c_0{R}_0+\sum c_i{R}_i}\right)}$
• میزان خطای به ازای خانواده
• PFER: تعریف می‌شود: ${\displaystyle \mathrm{P}\mathrm{F}\mathrm{E}\mathrm{R}=E(V)}$
  .
• میزان غیر کشف اشتباه (
• FNR: توسط سارکر و همکاران این‌گونه تعریف شد: ${\displaystyle \mathrm{F}\mathrm{N}\mathrm{R}=E\left(\frac{T}{m-R}\right)=E\left(\frac{m-m_0-(R-V)}{m-R}\right)}$
• ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}(z)}$
  تعریف می‌شود: ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}(z)=\frac{p_0{F}_0(z)}{F(z)}}$
• ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}}$
  محلی تعریف می‌شود: ${\displaystyle \mathrm{F}\mathrm{D}\mathrm{R}=\frac{p_0{f}_0(z)}{f(z)}}$

میزان پوشش اشتباه

میزان پوشش خطا در واقع تعبیری از بازهٔ اطمینان است. میزان پوشش خطا متوسط میزان پوشش اشتباه را نشان می‌دهد. به عبارت دیگر پوششی که پارامترهای صحیح را نمی‌پوشاند. این میزان یک پوشش همزمان در سطح 1-\alpha را برای تمام پارامترهای تحت نظر مسئله بدست می‌دهد. بازه‌هایی با احتمال پوشش ۱−q می‌توانند میزان پوشش خطا را در سطح q نگه دارند. روش‌های زیادی هم برای کنترل این میزان ایجاد شده‌اند.

رویکردهای بیزی

تا کنون برخی دانشمندان تلاش کرده‌اند به گونه‌ای میزان کشف اشتباه را به روش‌های بیزی مرتبط کنند، از آن برای انتخاب مدل استفاده کنند و بازهٔ اطمینان را به میزان پوشش اشتباه مرتبط کنند.

میزان مثبت اشتباه در تک آزمون‌ها

کولهون در سال ۲۰۱۴ از عبارت میزان کشف اشتباه برای تعریف احتمال اینکه یک نتیجهٔ معنی‌دار یک مثبت اشتباه یا (false positive) باشد، استفاده کرد. این نتیجهٔ حاصل یک تحقیق برای پاسخ به این سؤال بود که «چگونه باید پی-مقدار پیدا شده در یک آزمون بی جهت (unbiased) را تفسیر کرد؟». در کارهای بعدی کولهون، آن مقدار را میزان مثبت اشتباه (false positive rate) به جای میزان کشف اشتباه خواند تا از ایجاد کژتابی با مفاهیم قبلی جلوگیری کند. روش‌هایی برای کنترل این میزان هم ایجاد شده‌است.