Pamięć asocjacyjna umożliwia przechowywanie wzorców i odtwarzanie ich na podstawie niekompletnych lub zaszumionych danych. Zainspirowana tym, jak mózg przypomina sobie wspomnienia, pamięć asocjacyjna jest realizowana przez rekurencyjne sieci neuronowe, które z czasem zbieżają do zapisanych wzorców. Publikacja ‘Nowoczesne Metody w Pamięci Asocjacyjnej’ autorstwa Krotova i współautorów oferuje przystępny wstęp dla początkujących oraz rygorystyczne omówienie matematyczne dla ekspertów, łącząc klasyczne koncepcje z najnowszymi osiągnięciami w głębokim uczeniu.

Klasyczne Sieci Hopfielda

Wprowadzone w 1982 roku przez Johna Hopfielda, sieci Hopfielda wykorzystują binarne neurony $s_i\in [-1,+1]$ oraz symetryczne wagi $w_{ij}$. Energię sieci definiuje się jako

$E(s)=-\frac{1}{2}{\sum }_{i,j}{w}_{ij}{s}_i{s}_j$

a asynchroniczna reguła aktualizacji

$s_i\to \mathrm{sign}\left({\sum }_j{w}_{ij}{s}_j\right)$

gwarantuje spadek $E$. Wzorce ${\xi }^{\mu }$ zapisuje się przez

$w_{ij}=\frac{1}{N}{\sum }_{\mu =1}^P{\xi }_i^{\mu }{\xi }_j^{\mu }$

Pojemność jest ograniczona do ${\alpha }_c$ $N$ wzorców, gdzie ${\alpha }_c\approx 0,14$.

Gęste i Nowoczesne Sieci Hopfielda

Aby zwiększyć pojemność, wprowadzono interakcje wyższego rzędu. W Gęstej Sieci Asocjacyjnej energia ma postać

$E(s)=-{\sum }_{\mu =1}^{P}F\left(\frac{1}{N}{\sum }_{i=1}^N{\xi }_i^{\mu }{s}_i\right)$

gdzie $F$ jest funkcją niekwadratową (np. wielomianem stopnia d), co daje pojemność $O(N^{d-1})$. Nowoczesna sieć Hopfielda używa

$E(s)=-\frac{1}{\beta }{\sum }_{\mu =1}^P\log \left({\sum }_{i=1}^N{e}^{\beta {\xi }_i^{\mu }{s}_i}\right)$

co prowadzi do reguły aktualizacji

$s_i={\sum }_{\mu =1}^P{\xi }_i^{\mu }\mathrm{softmax}(\beta ({\xi }^{\mu }\cdot s){)}_i$ osiągając pojemność wykładniczą $O(e^N)$.

Formalizm Lagrangianów

Kluczowym elementem dokumentu jest formalizm Lagrangianów. Poprzez wprowadzenie zmiennych pomocniczych $h_i$ i sprzężonych konwektywnych, definiuje się Lagrangian $L(s,h)$, którego ekstrema uzyskuje się przez równania Eulera–Lagrange’a, prowadząc do nowoczesnych reguł aktualizacji.

Związki z Transformerami i Modelami Dyfuzyjnymi

Reguła aktualizacji nowoczesnej sieci Hopfielda odpowiada skalowanej uwadze (scaled dot-product attention) z Transformerów: zapytania i klucze odnoszą się do stanu i zapisanych wzorców, a funkcja softmax realizuje wyszukiwanie asocjacyjne. Podobnie modele dyfuzyjne, iteracyjnie odszumiające próbki, można interpretować jako ciągłą minimalizację energii zbliżoną do asocjacyjnych aktualizacji.

📎 Linki

• Na podstawie publikacji 📄 2507.06211