XGBoost

XGBoost در ابتدا به عنوان یک پروژه تحقیقاتی توسط تیانگی چن به عنوان بخشی از گروه یادگیری عمیق ماشینی توزیع‌شده آغاز شد. در ابتدا به عنوان یک برنامه ترمینال (terminal application) آغاز شد که می‌توانست با استفاده از یک فایل پیکربندی libsvm پیکربندی شود. پس از پیروزی در چالش یادگیری ماشین هیگز، به عنوان بخشی از چرخهٔ مسابقه شناخته شد. پس از آن بسته‌های زبان‌های پایتون و R ساخته شدند و اکنون برای بسیاری از زبان‌های دیگر مثل جولیا، Scala، جاوا و غیره بسته‌هایی دارد و در بین جامعه Kaggle که برای تعداد زیادی از رقابت‌ها از آن استفاده شده‌است، محبوب است.

خیلی زود با چندین بسته دیگر مورد استفاده قرار گرفت و در حال حاضر برای کاربران پایتون همراه با کتابخانهٔ scikit-learn و برای کاربران R همراه با بسته caret ارائه می‌شود.

الگوریتم ${\displaystyle N}$

1. اولین مدل ضعیف عددی ثابت است که تابع هزینه را کمینه می‌کند:

   ${\displaystyle {\hat{f}}_{(0)}(x)=\underset{\theta }{\arg min}\sum _{i=1}^{N}L(y_i,\theta ).}$

2. برای ${\displaystyle m=1}$
   تا ${\displaystyle M}$
   :
   1. گرادیان و هسین به این شکل محاسبه می‌شوند

      ${\displaystyle {\hat{g}}_m(x_i)={\left[\frac{\mathrm{\partial }L(y_i,f(x_i))}{\mathrm{\partial }f(x_i)}\right]}_{f(x)={\hat{f}}_{(m-1)}(x)}.}$

      ${\displaystyle {\hat{h}}_m(x_i)={\left[\frac{{\mathrm{\partial }}^{2}L(y_i,f(x_i))}{\mathrm{\partial }f(x_i{)}^2}\right]}_{f(x)={\hat{f}}_{(m-1)}(x)}.}$

   2. مدل برای داده‌های ${\displaystyle {\left\{x_i,-\frac{{\hat{g}}_m(x_i)}{{\hat{h}}_m(x_i)}\right\}}_{i=1}^N}$
      به این شکل یادگرفته می‌شود:

      ${\displaystyle {\hat{\varphi }}_m=\underset{\varphi \in \mathbf{\Phi }}{\arg min}\sum _{i=1}^N\frac{1}{2}{\hat{h}}_m(x_i){\left[-\frac{{\hat{g}}_m(x_i)}{{\hat{h}}_m(x_i)}-\varphi (x_i)\right]}^2.}$

      ${\displaystyle {\hat{f}}_m(x)=\alpha {\hat{\varphi }}_m(x).}$

   3. مدل به این شکل به روز می‌شود:

      ${\displaystyle {\hat{f}}_{(m)}(x)={\hat{f}}_{(m-1)}(x)+{\hat{f}}_m(x).}$

3. مدل نهائی عبارت است از ${\displaystyle \hat{f}(x)={\hat{f}}_{(M)}(x)=\sum _{m=0}^M{\hat{f}}_m(x).}$

• جایزه جان چمبرز (۲۰۱۶)
• جایزه High Energy Physics meets Machine Learning (2016)

• آدابوست
• تقویت گرادیان
• گرادیان
• ماتریس هسین