شبکه هاپفیلد

شبکه هاپفیلد (یا مدل Ising شبکه عصبی یا مدل Ising – Lenz – Little ) نوعی شبکه عصبی مصنوعی بازگشتی و نوعی سیستم شیشه چرخشی است که توسط جان هاپفیلد در سال 1982 رواج یافته است همانطور که توسط Little در 1974 شرح داده شده بوده بر اساس کار ارنست آیزینگ با ویلهلم لنز بر مدل آیزینگ .

شبکه های هاپفیلد به عنوان سیستم های حافظه قابل آدرس دهی حافظه تداعی‌گر با گره های آستانه باینری عمل می کنند. شبکه های هاپفیلد همچنین الگویی برای درک حافظه انسان ارائه می دهند.

ریشه ها

مدل Ising از یک شبکه عصبی به عنوان یک مدل حافظه، اولین بار توسط ویلیام ا. لیتل در سال 1974 ارائه شده است که توسط هاپفیلد در مقاله خود در سال 1982 حمایت شده است.

ساختار

یک شبکه هاپفیلد با چهار عنصر

اجزا شبکه هاپفیلد واحدهای دو حالته‌اند هستند، بدین معنی که هر یک می‌توانند در یکی از دو حالت تعریف شده قرار بگیرند و مقدار آنها هم بسته به اینکه مجموع ورودی به آن واحد از مقدار آستانه‌ای کمتر یا بیشتر باشد، تعیین می‌گردد.

شبکه های هاپفیلد گسسته روابط بین نورونهای را توصیف می کنند.

حالت شبکه عصبی توسط یک بردار $V$

توصیف می شود، که میگوید کدام نورون ها شلیک کردند.

نورون های عصبی حالت‌های 1 یا 1- به خود می گیرند. با این حال ، سایر متون ممکن است از واحدهایی استفاده کنند که مقادیر 0 و 1 را در نظر بگیرند. این تعاملات از طریق قانون انجمن Hebb آموخته می شوند ، به طوری که برای یک حالت خاص $V^{s}$

داریم:

$w_{ij}=V_{i}^{s}V_{j}^{s}$

ولی $w_{ii}=0$

.

توجه داشته باشید که قانون یادگیری Hebbian برای $\supseteq V$

{0 ، 1}، شکل زیر را می گیرد:

w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)

پس از آموزش شبکه، $w_{ij}$

دیگر تکامل نمی یابد. اگر حالت جدیدی از نورونها به شبکه عصبی وارد شود، شبکه بر روی نورون ها به گونه زیر خواهد بود:

$V_{i}^{s'}\rightarrow 1$ اگر $\sum _{j}w_{ij}V_{j}^{s'}>U_{i}$
$V_{i}^{s'}\rightarrow -1$ اگر $\sum _{j}w_{ij}V_{j}^{s'}<U_{i}$

به این ترتیب ، شبکه های هاپفیلد توانایی "به خاطر سپردن" حالت های ذخیره شده در ماتریس تعامل را دارند ، زیرا اگر حالت جدیدی باشد $V^{s'}$

تحت ماتریس تعامل قرار می گیرد ، هر نورون تغییر می کند تا زمانی که با حالت اصلی مطابقت داشته باشد

V^{s}

(به بخش بروزرسانی ها در زیر مراجعه کنید).

اتصالات در یک شبکه هاپفیلد به طور معمول دارای محدودیت های زیر است:

$w_{ii}=0,\forall i$ (هیچ واحدی با خودش ارتباطی ندارد)
$w_{ij}=w_{ji},\forall i,j$ (اتصالات متقارن هستند)

این محدودیت که وزنها متقارن هستند ، تضمین می کند که عملکرد انرژی هنگام رعایت قوانین فعال سازی به صورت یکنواخت کاهش می یابد. شبکه ای با وزن نامتقارن ممکن است برخی از رفتارهای دوره ای یا آشفته را نشان دهد. با این حال ، هاپفیلد دریافت كه این رفتار در قسمت های نسبتاً كوچكی از فضای فاز محدود است و توانایی شبكه را به عنوان یك سیستم حافظه تداعی پذیر قابل محتوا عمل نمی كند.

هاپفیلد همچنین شبکه های عصبی را برای مقادیرپیوسته مدلسازی می کند ، که در آنها خروجی الکتریکی هر نورون باینری نیست بلکه مقداری بین 0 تا 1 است. وی دریافت که این نوع شبکه همچنین می تواند حالت های حفظ شده را ذخیره و تولید کند.

توجه داشته باشید که هر جفت واحد i و j در یک شبکه هاپفیلد دارای اتصالی است که وزن اتصال $w_{ij}$

توصیف می شود. شود. شبکه هاپفیلد را می توان به عنوان یک گراف کامل بدون جهت توصیف کرد،

G=\langle V,f\rangle

، که

V

Vمجموعه ای از نورون های مک کالوچ-پیتس است و

f:V^{2}\rightarrow \mathbb {R}

تابعی است که جفت واحدها را به یک مقدار واقعی یعنی وزن اتصال پیوند می دهد.

در حال بروز رسانی

به روزرسانی یک واحد (گره در نمودار شبیه سازی نورون مصنوعی) در شبکه هاپفیلد با استفاده از قانون زیر انجام می شود:

$s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\mbox{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\mbox{otherwise.}}\end{array}}\right.$

که:

$w_{ij}$ قدرت اتصال از واحد j به واحد i (وزن اتصال) است.
$s_{i}$ حالت واحد i است.
$\theta _{i}$ آستانه واحد i است.

به روزرسانی ها در شبکه هاپفیلد به دو روش مختلف انجام می شود:

ناهمزمان : همزمان فقط یک واحد به روز می شود. این واحد را می توان به صورت تصادفی انتخاب کرد ، یا یک دستور از پیش تعریف شده را از همان ابتدا وضع کرد.
همزمان : همه واحدها همزمان به روز می شوند. این امر به منظور حفظ هماهنگ سازی به یک ساعت مرکزی برای سیستم نیاز دارد. برخی این روش را کمتر واقع بینانه می دانند ، مبتنی بر عدم وجود ساعت جهانی مشاهده شده که بر سیستم های بیولوژیکی یا فیزیکی مشابه تأثیر می گذارد.

نورون ها "فضای یکدیگر را" جذب یا دفع می کنند "

وزن بین دو واحد تأثیر به سزایی در مقادیر نورونها دارد. وزن اتصال را در نظر بگیرید $w_{ij}$

بین دو نورون i و j. اگر

w_{ij}>0

، قانون به روزرسانی نشان می دهد که:

چه زمانی $s_{j}=1$ ، سهم j در مجموع وزنی مثبت است. بدین ترتیب، $s_{i}$ توسط j به سمت مقدار خود کشیده می شود $s_{i}=1$
چه زمانی $s_{j}=-1$ ، سهم j در مجموع وزن منفی است. سپس دوباره ، $s_{i}$ توسط j به سمت ارزش خود سوق داده می شود $s_{i}=-1$

بنابراین ، اگر وزن بین آنها مثبت باشد ، مقادیر نورونهای i و j همگرا می شوند. به طور مشابه ، اگر وزن منفی باشد ، از هم جدا می شوند.

اصول کار شبکه های هاپفیلد گسسته و مداوم

بروک هنگام اثبات همگرایی آن در مقاله خود در سال 1990 ، رفتار نورون را در شبکه مجزا هاپفیلد روشن کرد. مقاله بعدی بیشتر رفتار هر نورون را در شبکه های هاپفیلد با زمان گسسته و با زمان پیوسته بررسی می کند ، وقتی عملکرد انرژی مربوطه در طی یک فرآیند بهینه سازی به حداقل برسد. نشان می دهد که نورون j تغییر حالت می دهد اگر و فقط در صورت کاهش بیشتر شبه مغرضانه زیر. شبکه مجزا هاپفیلد شبه برش مغرضانه زیر برای ماتریس وزن سیناپسی شبکه هاپفیلد به حداقل می رساند.

$J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}$

جایی که $C_{1}(k)$

و

C_{2}(k)

مجموعه ای از نورون ها را نشان می دهد که به ترتیب در زمان 1 و 1+ هستند

k

. برای جزئیات بیشتر ، به مقاله اخیر مراجعه کنید.

شبکه Hopfield با زمان مجزا همیشه دقیقاً شبه برش زیر را به حداقل می رساند

$U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}{\theta _{j}}s_{j}(k)$

شبکه هاپفیلد با زمان پیوسته همیشه محدوده بالایی را به برش وزنی زیر کاهش می دهد

$V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}({f(s_{i}(t))}-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}{\theta _{j}}{f(s_{j}(t))}$

جایی که $f(.)$

یک عملکرد سیگموئید صفر محور است.

از طرف دیگر ، شبکه پیچیده هاپفیلد به طور کلی تمایل دارد که اصطلاحاً کاهش سایه ماتریس وزن پیچیده شبکه را به حداقل برساند.

انرژی

چشم انداز انرژی یک شبکه هاپفیلد ، برجسته کردن وضعیت فعلی شبکه (بالای تپه) ، یک حالت جذب کننده که در نهایت به آن همگرا خواهد شد ، حداقل سطح انرژی و یک حوضه جذابیت سبز رنگ. توجه داشته باشید که چگونه به روزرسانی شبکه هاپفیلد در انرژی همیشه پایین می آید.

شبکه های هاپفیلد دارای مقیاس مقیاسی مرتبط با هر حالت شبکه هستند که از آن به عنوان "انرژی" ، E شبکه یاد می شود ، جایی که:

E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}}{s_{i}}

این مقدار "انرژی" نامیده می شود زیرا با به روزرسانی واحدهای شبکه یا کاهش می یابد و یا همان ثابت می ماند. بعلاوه ، با به روزرسانی مکرر ، شبکه در نهایت به حالتی تبدیل می شود که حداقل محلی در عملکرد انرژی است (که یک عملکرد Lyapunov محسوب می شود). بنابراین ، اگر یک دولت در عملکرد انرژی حداقل محلی باشد ، برای شبکه یک حالت پایدار است. توجه داشته باشید که این تابع انرژی متعلق به یک کلاس کلی از مدلهای فیزیک تحت عنوان مدلهای Ising است . اینها به نوبه خود یک مورد خاص از شبکه های مارکوف است ، زیرا اندازه گیری احتمال مرتبط ، اندازه گیری گیبس ، دارای ویژگی مارکوف است .

شبکه هاپفیلد در بهینه سازی

هاپفیلد و تانک برای حل مسئله فروشنده دوره‌گرد كلاسیك در سال 1985 برنامه شبكه هاپفیلد را ارائه دادند. از آن زمان ، شبکه هاپفیلد به طور گسترده ای برای بهینه سازی مورد استفاده قرار می گیرد. ایده استفاده از شبکه هاپفیلد در مشکلات بهینه سازی ساده است: اگر یک تابع هزینه محدود یا غیرمحدود را می توان در قالب تابع انرژی هاپفیلد (E) نوشت ، پس یک شبکه هاپفیلد وجود دارد که نقاط تعادل آن نشان دهنده راه حل هایی برای مسئله بهینه سازی محدود / غیرمحدود است.

به حداقل رساندن تابع انرژی هاپفیلد ، هم عملکرد هدف را به حداقل می رساند و هم محدودیت ها را برآورده می کند ، زیرا محدودیت ها در وزن سیناپسی شبکه "جاسازی شده" اند. اگرچه گنجاندن محدودیت های بهینه سازی به وزن سیناپسی به بهترین شکل ممکن یک کار چالش برانگیز است ، اما در واقع بسیاری از مشکلات مختلف بهینه سازی دشوار با محدودیت ها در رشته های مختلف به عملکرد انرژی هاپفیلد تبدیل شده اند: سیستم های حافظه انجمنی ، تبدیل آنالوگ به دیجیتال ، مشکل زمانبندی شغل کار ، انتصاب درجه دوم و سایر مشکلات مربوط به NP-کامل ، مشکل تخصیص کانال در شبکه های بی سیم ، مشکل مسیریابی شبکه موقت تلفن همراه ، بازیابی تصویر ، شناسایی سیستم ، بهینه سازی ترکیبی و غیره ، فقط به ذکر چند مورد. جزئیات بیشتر را می توان در مقاله یافت.

مقداردهی اولیه و اجرا

شروع اولیه شبکه های هاپفیلد با تنظیم مقادیر واحدها بر روی الگوی شروع مورد نظر انجام می شود. سپس به روزرسانی های مکرر انجام می شود تا زمانی که شبکه به یک الگوی جذب کننده همگرا شود. همگرایی به طور کلی اطمینان دارد ، زیرا هاپفیلد ثابت کرد که جذب کننده های این سیستم دینامیکی غیرخطی پایدار هستند ، نه دوره ای یا بی نظم مانند برخی دیگر از سیستم بنابراین ، در زمینه شبکه های هاپفیلد ، الگوی جذب کننده یک حالت پایدار نهایی است ، الگویی که تحت به روزرسانی نمی تواند هیچ مقداری را در آن تغییر دهد

آموزش

آموزش یک شبکه هاپفیلد شامل کاهش انرژی حالت هایی است که شبکه باید " آنها را بخاطر بسپارد ". این عمل اجازه می دهد تا شبکه به عنوان یک سیستم حافظه قابل آدرس دهی به محتوا عمل کند ، یعنی اگر شبکه فقط تبدیل به بخشی از حالت داده شود ، به حالت " به خاطر سپرده شده " تبدیل می شود . از شبکه می توان برای بازیابی از ورودی تحریف شده به حالت آموزش دیده که بیشترین شباهت را به آن ورودی دارد ، استفاده کرد. این حافظه ، حافظه انجمنی نامیده می شود زیرا حافظه را بر اساس شباهت ها بازیابی می کند. به عنوان مثال ، اگر یک شبکه هاپفیلد را با پنج واحد آموزش دهیم تا حالت (1 ، -1 ، 1 ، -1 ، 1) حداقل انرژی باشد و شبکه به حالت (1 ، -1 ، -1 ، -1 ، 1) به (1 ، -1 ، 1 ، -1 ، 1) همگرا خواهد شد . بنابراین ، وقتی انرژی حالتهایی که شبکه باید بخاطر بسپارد حداقل محلی است ، که شبکه به درستی آموزش می بیند . توجه داشته باشید که بر خلاف آموزش Perceptron ، آستانه نورون ها هرگز به روز نمی شوند.

قوانین یادگیری

قوانین یادگیری متفاوت وجود دارد که می تواند برای ذخیره اطلاعات در حافظه شبکه هاپفیلد استفاده شود. مطلوب است که یک قانون یادگیری هر دو ویژگی زیر را داشته باشد:

محلی : هر وزنه با استفاده از اطلاعات موجود برای سلولهای عصبی در دو طرف اتصال که با آن وزن خاص در ارتباط است به روز شود.
افزایشی : الگوهای جدید را می توان بدون استفاده از اطلاعات الگوهای قدیمی که برای آموزش نیز استفاده شده است ، فرا گرفت. یعنی وقتی از الگوی جدیدی برای آموزش استفاده می شود ، مقادیر جدید برای اوزان فقط به مقادیر قدیمی و الگوی جدید بستگی دارد.

این خواص مطلوب است ، زیرا یک قانون یادگیری که آنها را راضی کند از نظر زیست شناختی قابل قبول تر است. به عنوان مثال ، از آنجایی که مغز انسان همیشه در حال یادگیری مفاهیم جدید است ، بنابراین می توان استدلال کرد که یادگیری انسان افزایشی است. یک سیستم یادگیری که به صورت افزایشی نبوده است ، معمولاً فقط یک بار با تعداد زیادی داده ، آموزش می بیند.

قانون یادگیری Hebbian برای شبکه های هاپفیلد

نظریه Hebbian توسط دونالد هب در سال 1949 به منظور توضیح "یادگیری انجمنی" ، که در آن فعال سازی همزمان سلولهای عصبی منجر به افزایش آشکار قدرت سیناپسی بین آن سلولها می شود ، ارائه شد. این خلاصه اغلب به صورت "نورونهایی است که با هم شلیک می کنند ، سیم به هم می خورند. سلولهای عصبی که از همگام سازی شلیک می شوند ، قادر به پیوند نیستند ".

قانون Hebbian هم محلی است و هم افزایشی. برای شبکه های هاپفیلد ، هنگام یادگیری به روش زیر پیاده سازی می شود $n$

الگوهای باینری:

$w_{ij}={\frac {1}{n}}\sum _{\mu =1}^{n}\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$

جایی که $\epsilon _{i}^{\mu }$

بیت i را از الگو نشان می دهد

\mu

.

اگر بیت های مربوط به نورون های i و j از نظر الگوی برابر باشند $\mu$

، سپس محصول

\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }

مثبت خواهد بود این به نوبه خود ، تأثیر مثبتی بر وزن خواهد داشت

w_{ij}

و مقادیر i و j تمایل به برابر شدن دارند. عکس این اتفاق می افتد اگر بیت های مربوط به نورون های i و j متفاوت باشند.

قانون یادگیری استورکی

این قانون توسط آموس استورکی در سال 1997 معرفی شد و هم محلی است و هم افزایشی. استورکی همچنین نشان داد که شبکه هاپفیلد آموزش دیده با استفاده از این قانون ظرفیت بیشتری نسبت به شبکه متناظر با قانون Hebbian دارد. ماتریس وزن شبکه عصبی جاذب باور داریم مه در صورت رعایت قانون زیر، یادگیری استورکی نیز پیروی میشود:

$w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }$

جایی که $h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }$

نوعی میدان محلی است در نورون i.

این قانون یادگیری محلی است ، زیرا سیناپس ها فقط نورون های کنار خود را در نظر می گیرند. این قانون به دلیل تأثیر حوزه محلی ، از اطلاعات بیشتری از الگوها و وزنها ، نسبت به قانون Hebbian تعمیم یافته استفاده می کند.

الگوهای جعلی

الگوهایی که شبکه برای آموزش استفاده می کند (که به آنها حالت بازیابی گفته میشود) جذب کننده های سیستم می شوند. به روزرسانی های مکرر در نهایت منجر به همگرایی به یکی از حالت های بازیابی می شود. با این حال ، گاهی اوقات شبکه به الگوهای جعلی (متفاوت از الگوهای آموزش) همگرا خواهد شد. انرژی موجود در این الگوهای جعلی نیز حداقل محلی است. برای هر الگوی ذخیره شده x ، نفی -x نیز یک الگوی جعلی است.

حالت جعلی همچنین می تواند ترکیبی خطی از تعداد فردی از حالت های بازیابی باشد. به عنوان مثال ، هنگام استفاده از 3 الگو $\mu _{1},\mu _{2},\mu _{3}$

، می توان حالت جعلی زیر را بدست آورد:

$\epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})$

الگوهای جعلی که تعداد حالت های زوج دارند نمی توانند وجود داشته باشند، زیرا ممکن است در مجموع صفر شوند

ظرفیت

ظرفیت شبکه مدل شبکه هاپفیلد توسط تعدادی نورون و اتصالات درون یک شبکه مشخص تشکیل می شود. بنابراین ، تعداد حافظه هایی که می توانند ذخیره شوند به نورون ها و اتصالات آنها بستگی دارد. همچنین ، معلوم است که دقت فراخوانی بین بردارها و گره ها 0.138 است (در حافظه تقریباً 138 بردار را می توان از هر 1000 گره فراخوانی کرد) (Hertz et al., 1991). بنابراین ، بدیهی است که اگر در یک تلاش تعداد زیادی بردار ذخیره شود ، مشکلات فراوانی رخ خواهد داد.

هنگامی که مدل هاپفیلد الگوی مناسبی را فراخوانی نکند ، ممکن است که یک نفوذ صورت گرفته بگیرد ، زیرا موارد مرتبط با معنا و مفهوم باعث ایجاد سردرگمی می شود و باعث بازیابی الگوی اشتباه می شود. بنابراین ، مدل شبکه هاپفیلد نشان می دهد که یک مورد ذخیره شده را با مورد دیگر در هنگام بازیابی اشتباه می گیرد. بازیابی کامل و ظرفیت بالا، می تواند با استفاده از روش یادگیری Storkey در شبکه صورت پذیرد. مدل های دیگر که از شبکه هاپفیلد الهام گرفته شدند، بعدها برای افزایش حد ذخیره سازی و کاهش میزان خطای بازیابی با برخی توانایی یادگیری یک باره مورد استفاده قرار گرفتند.

ظرفیت ذخیره سازی را می توان به صورت $C\cong {\frac {n}{2\log _{2}n}}$

که در آن، n تعداد نورونهای شبکه را نشان میدهد.

حافظه انسان

مدل هاپفیلد از طریق ترکیب بردارهای حافظه، حافظه انجمنی را حساب می کند. از بردارهای حافظه می توان کمی استفاده کرد و این باعث می شود مشابه ترین بردار در شبکه بازیابی شود. با این حال ، خواهیم فهمید که به دلیل این روند ، نفوذ می تواند رخ دهد. در حافظه انجمنی برای شبکه هاپفیلد ، دو نوع عملیات وجود دارد: تداعی خودکار و تداخل هترو. تداعی خودکار این است که یک بردار با خود مرتبط است و تداخل هترو وقتی است که دو بردار مختلف در ذخیره سازی به هم مرتبط می شوند. علاوه بر این ، ذخیره هر دو نوع عملیات در یک ماتریس حافظه امکان پذیر است ، اما تنها در صورتی که ماتریس نمایش داده شده یکی یا دیگری از عملیات نباشد ، بلکه ترکیب (خودکار انجمنی و هترو انجمنی) این دو باشد. یادآوری این نکته مهم است که مدل شبکه هاپفیلد از همان قانون یادگیری مانند قانون یادگیری Hebb (1949)استفاده می کند ، که اساساً تلاش می کند نشان دهد که یادگیری در نتیجه تقویت وزنه ها هنگام وقوع فعالیت رخ می دهد.

Rizzuto و Kahana (2001) توانستند نشان دهند که مدل شبکه عصبی می تواند تکرار دقت یادآوری را با در نظر گرفتن الگوریتم یادگیری احتمالی محاسبه کند. در طی فرآیند بازیابی ، هیچ یادگیری رخ نمی دهد. در نتیجه ، وزن های شبکه ثابت می مانند و نشان می دهد که این مدل قادر است از یک مرحله یادگیری به یک مرحله فراخوان تغییر کند. با افزودن رانش زمینه ای ، آنها قادر بودند فراموشی سریع را که در یک مدل هاپفیلد طی یک کار یادآوری نشانه گرفته می شود ، نشان دهند. کل شبکه به تغییر فعال سازی هر گره کمک می کند.

قاعده دینامیکی مک کالوچ و پیتز (1943) ، که رفتار نورون ها را توصیف می کند ، این کار را به روشی انجام می دهد که نشان می دهد چگونه فعالیت های چندین نورون بر روی فعال سازی میزان شلیک یک نورون جدید نقشه می گیرند و چگونه وزن نورون ها تقویت می شود ارتباطات سیناپسی بین نورون فعال شده جدید (و آنهایی که آن را فعال می کنند). هاپفیلد برای نشان دادن چگونگی بازیابی در شبکه هاپفیلد از قانون پویای مک کالچ - پیتس استفاده می کند. با این حال ، توجه به این نکته مهم است که هاپفیلد این کار را به صورت تکراری انجام می دهد. هاپفیلد به جای استفاده از یک تابع خطی ، از یک تابع فعال سازی غیرخطی استفاده می کند. بنابراین این امر باعث ایجاد قاعده دینامیکی هاپفیلد می شود و با این کار هاپفیلد می تواند نشان دهد که با تابع فعال سازی غیرخطی ، قانون دینامیکی همیشه مقادیر بردار حالت را در جهت یکی از الگوهای ذخیره شده تغییر می دهد.

همچنین ببینید

حافظه مشارکتی (ابهام زدایی)
حافظه خود شریک
ماشین بولتزمن - مانند یک شبکه هاپفیلد اما از نمونه برداری از گیبس به جای نزول شیب دار استفاده می کند
مدل سیستم های دینامیکی شناخت
مدل بودن
نظریه هبیان

منابع

↑ Hopfield, J. J. (1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. 79 (8): 2554–2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.
↑ Little, W. A. (1974). "The Existence of Persistent States in the Brain". Mathematical Biosciences. 19 (1–2): 101–120. doi:10.1016/0025-5564(74)90031-5.
↑ Brush, Stephen G. (1967). "History of the Lenz-Ising Model". Reviews of Modern Physics. 39 (4): 883–893. Bibcode:1967RvMP...39..883B. doi:10.1103/RevModPhys.39.883.
↑ Hopfield, J. J. (1984). "Neurons with graded response have collective computational properties like those of two-state neurons". Proceedings of the National Academy of Sciences. 81 (10): 3088–3092. Bibcode:1984PNAS...81.3088H. doi:10.1073/pnas.81.10.3088. PMID 6587342.
↑ Bruck, J. (October 1990). "On the convergence properties of the Hopfield model". Proc. IEEE. 78 (10): 1579–85. doi:10.1109/5.58341.
↑ Uykan, Z. (September 2020). "On the Working Principle of the Hopfield Neural Networks and its Equivalence to the GADIA in Optimization". IEEE Transactions on Neural Networks and Learning Systems. 31 (9): 3294–04. doi:10.1109/TNNLS.2019.2940920.
↑ Uykan, Z. (March 2021). "Shadow-Cuts Minimization/Maximization and Complex Hopfield Neural Networks". IEEE Transactions on Neural Networks and Learning Systems. 32 (3): 1096–1109. doi:10.1109/TNNLS.2020.2980237.
↑ Hopfield, J.J.; Tank, D.W. (1985). "Neural computation of decisions in optimization problems". Biological Cybernetics. 52: 141–6. doi:10.1007/BF00339943.
↑ Storkey, A.J.; Valabregue, R. (1999). "The basins of attraction of a new Hopfield learning rule". Neural Networks. 12 (6): 869–876. CiteSeerX 10.1.1.19.4681. doi:10.1016/S0893-6080(99)00038-6.
↑ (Hebb 1949)
↑ (Hertz 1991)
↑ ABOUDIB, Ala; GRIPON, Vincent; JIANG, Xiaoran (2014). "A study of retrieval algorithms of sparse messages in networks of neural cliques". COGNITIVE 2014 : The 6th International Conference on Advanced Cognitive Technologies and Applications: 140–6. arXiv:1308.4506. Bibcode:2013arXiv1308.4506A.

Hebb, D.O. (2005) [1949]. The Organization of Behavior: A Neuropsychological Theory. Psychology Press. ISBN 978-1-135-63190-1.
Hertz, John A. (2018) [1991]. Introduction To The Theory Of Neural Computation. CRC Press. ISBN 978-0-429-96821-1.
McCulloch, W.S.; Pitts, W.H. (1943). "A logical calculus of the ideas immanent in nervous activity". Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259.
Polyn, S.M.; Kahana, M.J. (2008). "Memory search and the neural representation of context". Trends in Cognitive Sciences. 12 (1): 24–30. doi:10.1016/j.tics.2007.10.010. PMC 2839453. PMID 18069046.
Rizzuto, D.S.; Kahana, M.J. (2001). "An autoassociative neural network model of paired-associate learning". Neural Computation. 13 (9): 2075–2092. CiteSeerX 10.1.1.45.7929. doi:10.1162/089976601750399317. PMID 11516358. S2CID 7675117.
Kruse, Rudolf; Borgelt, Christian; Klawonn, Frank; Moewes, Christian; Steinbrecher, Matthias; Held, Pascal (2013). Computational Intelligence: A Methodological Introduction. Springer. ISBN 978-1-4471-5013-8.

لینک های خارجی

Rojas, Raul. "13. The Hopfield model" (PDF). Neural Networks – A Systematic Introduction. ISBN 978-3-540-60505-8.978-3-540-60505-8
Javascript شبکه هاپفیلد
مسئله فروشنده در سفر بایگانی‌شده در ۳۰ مه ۲۰۱۵ توسط Wayback Machine - اپلت JAVA شبکه عصبی هاپفیلد
Hopfield, John. "Hopfield network". Scholarpedia.
Fletcher, Tristan. "Hopfield Network Learning Using Deterministic Latent Variables" (PDF) (Tutorial). Archived from the original on 5 اكتبر 2011. Retrieved 25 June 2021.
رابط گرافیکی آزمایشگاه عصبی - رابط گرافیکی شبکه عصبی Hopfield (پایتون و gtk)

[Hopfield1982-1] Hopfield, J. J. (1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. 79 (8): 2554–2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.

[little74-2] Little, W. A. (1974). "The Existence of Persistent States in the Brain". Mathematical Biosciences. 19 (1–2): 101–120. doi:10.1016/0025-5564(74)90031-5.

[brush67-3] Brush, Stephen G. (1967). "History of the Lenz-Ising Model". Reviews of Modern Physics. 39 (4): 883–893. Bibcode:1967RvMP...39..883B. doi:10.1103/RevModPhys.39.883.

[4] Hopfield, J. J. (1984). "Neurons with graded response have collective computational properties like those of two-state neurons". Proceedings of the National Academy of Sciences. 81 (10): 3088–3092. Bibcode:1984PNAS...81.3088H. doi:10.1073/pnas.81.10.3088. PMID 6587342.

[Bruck1990-5] Bruck, J. (October 1990). "On the convergence properties of the Hopfield model". Proc. IEEE. 78 (10): 1579–85. doi:10.1109/5.58341.

[Uykan2019-6] Uykan, Z. (September 2020). "On the Working Principle of the Hopfield Neural Networks and its Equivalence to the GADIA in Optimization". IEEE Transactions on Neural Networks and Learning Systems. 31 (9): 3294–04. doi:10.1109/TNNLS.2019.2940920.

[Uykan2020-7] Uykan, Z. (March 2021). "Shadow-Cuts Minimization/Maximization and Complex Hopfield Neural Networks". IEEE Transactions on Neural Networks and Learning Systems. 32 (3): 1096–1109. doi:10.1109/TNNLS.2020.2980237.

[hopfieldtank85-8] Hopfield, J.J.; Tank, D.W. (1985). "Neural computation of decisions in optimization problems". Biological Cybernetics. 52: 141–6. doi:10.1007/BF00339943.

[storkey1991basins-9] Storkey, A.J.; Valabregue, R. (1999). "The basins of attraction of a new Hopfield learning rule". Neural Networks. 12 (6): 869–876. CiteSeerX 10.1.1.19.4681. doi:10.1016/S0893-6080(99)00038-6.

[10] (Hebb 1949)

[hertz1991neural-11] (Hertz 1991)

[12] ABOUDIB, Ala; GRIPON, Vincent; JIANG, Xiaoran (2014). "A study of retrieval algorithms of sparse messages in networks of neural cliques". COGNITIVE 2014 : The 6th International Conference on Advanced Cognitive Technologies and Applications: 140–6. arXiv:1308.4506. Bibcode:2013arXiv1308.4506A.