الگوریتم لونبرگ-مارکوارت

${\displaystyle m}$

${\displaystyle {\mathbf{f}}^{\mathbf{T}}=(f_1,\cdots ,f_m)}$

و ${\displaystyle {\mathbf{p}}^{\mathbf{T}}=(p_1,\cdots ,p_n)}$

مسئله کمترین مربعات شامل جستن بردار پارامترهای ${\displaystyle \mathbf{p}}$

${\displaystyle S(\mathbf{p})={\mathbf{f}}^{\mathbf{T}}\mathbf{f}=\sum _{i=1}^m{[f_i(\mathbf{p})]}^2}$

کمینه می‌شود.

کاربرد اصلی در مسئله برازش خم کمترین مربعات است: مجموعه‌ای از جفت‌های تجربی داده به فرم ${\displaystyle (t_i,y_i)}$

${\displaystyle f_i(\mathbf{p})=y_i-c(t_i|\mathbf{p})}$

کمینه گردد.

(صحبتی دربارهٔ نمادگذاری: ما از حرف ${\displaystyle x}$

مانند سایر الگوریتم‌های کمینه‌سازی عددی، الگوریتم لونبرگ-مارکارد یک رویه تکراری است. برای شروع کمینه‌سازی، کاربر باید یک حدس آغازین برای بردار ${\displaystyle \mathbf{p}}$

در هر گام تکرار، بردار ${\displaystyle \mathbf{p}}$

${\displaystyle \mathbf{f}\mathbf{(}\mathbf{p}\mathbf{+}\mathbf{q}\mathbf{)}\approx \mathbf{f}\mathbf{(}\mathbf{p}\mathbf{)}\mathbf{+}\mathbf{J}\mathbf{q}}$

تخمین زده می‌شوند که ${\displaystyle \mathbf{J}}$

در یک کمینه مجموع مربعات ${\displaystyle S}$

${\displaystyle ({\mathbf{J}}^{\mathbf{T}}\mathbf{J})\mathbf{q}=-{\mathbf{J}}^{\mathbf{T}}\mathbf{f}}$

که ${\displaystyle \mathbf{q}}$

${\displaystyle ({\mathbf{J}}^{\mathbf{T}}\mathbf{J}+\lambda )\mathbf{q}=-{\mathbf{J}}^{\mathbf{T}}\mathbf{f}}$

ضریب میرایی نامنفی ${\displaystyle \lambda }$

اگر یک طول قدم بازیابی شده یا کاهش مجموع مربعات برای آخرین مجموعه پارامترهای ${\displaystyle \mathbf{p}}$

• برنامه‌ریزی غیرخطی