Pamięć asocjacyjna umożliwia przechowywanie wzorców i odtwarzanie ich na podstawie niekompletnych lub zaszumionych danych. Zainspirowana tym, jak mózg przypomina sobie wspomnienia, pamięć asocjacyjna jest realizowana przez rekurencyjne sieci neuronowe, które z czasem zbieżają do zapisanych wzorców. Publikacja ‘Nowoczesne Metody w Pamięci Asocjacyjnej’ autorstwa Krotova i współautorów oferuje przystępny wstęp dla początkujących oraz rygorystyczne omówienie matematyczne dla ekspertów, łącząc klasyczne koncepcje z najnowszymi osiągnięciami w głębokim uczeniu.

Klasyczne Sieci Hopfielda

Wprowadzone w 1982 roku przez Johna Hopfielda, sieci Hopfielda wykorzystują binarne neurony $s_i ∈ [{-1,+1}]$ oraz symetryczne wagi $w_{ij}$. Energię sieci definiuje się jako

$$ E(s) = -\frac{1}{2}\sum_{i,j} w_{ij},s_i,s_j $$

a asynchroniczna reguła aktualizacji

$$ s_i \to\ \operatorname{sign}\Bigl(\sum_j w_{ij},s_j\Bigr) $$

gwarantuje spadek $E$. Wzorce ${ξ^μ}$ zapisuje się przez

$$ w_{ij} = \frac{1}{N}\sum_{\mu=1}^{P} \xi_i^\mu,\xi_j^\mu $$

Pojemność jest ograniczona do $α_c$ $N$ wzorców, gdzie $α_c ≈ 0,14$.

Gęste i Nowoczesne Sieci Hopfielda

Aby zwiększyć pojemność, wprowadzono interakcje wyższego rzędu. W Gęstej Sieci Asocjacyjnej energia ma postać

$$ E(s) = -\sum_{\mu=1}^{P} F!\Bigl(\tfrac{1}{N}\sum_{i=1}^N \xi_i^\mu,s_i\Bigr) $$

gdzie $F$ jest funkcją niekwadratową (np. wielomianem stopnia d), co daje pojemność $O(N^{d-1})$. Nowoczesna sieć Hopfielda używa

$$ E(s) = -\frac{1}{\beta}\sum_{\mu=1}^{P}\log!\Bigl(\sum_{i=1}^N e^{\beta,\xi_i^\mu,s_i}\Bigr) $$

co prowadzi do reguły aktualizacji

$$ s_i = \sum_{\mu=1}^{P} \xi_i^\mu \mathrm{softmax}!\bigl(\beta,(\xi^\mu!\cdot!s)\bigr)_i $$ osiągając pojemność wykładniczą $O(e^N)$.

Formalizm Lagrangianów

Kluczowym elementem dokumentu jest formalizm Lagrangianów. Poprzez wprowadzenie zmiennych pomocniczych $h_i$ i sprzężonych konwektywnych, definiuje się Lagrangian $L(s,h)$, którego ekstrema uzyskuje się przez równania Eulera–Lagrange’a, prowadząc do nowoczesnych reguł aktualizacji.

Związki z Transformerami i Modelami Dyfuzyjnymi

Reguła aktualizacji nowoczesnej sieci Hopfielda odpowiada skalowanej uwadze (scaled dot-product attention) z Transformerów: zapytania i klucze odnoszą się do stanu i zapisanych wzorców, a funkcja softmax realizuje wyszukiwanie asocjacyjne. Podobnie modele dyfuzyjne, iteracyjnie odszumiające próbki, można interpretować jako ciągłą minimalizację energii zbliżoną do asocjacyjnych aktualizacji.

📎 Linki