Transformatory

W wielu codziennych sytuacjach—jak przewidywanie trajektorii samochodów na zatłoczonym skrzyżowaniu, koordynacja floty robotów dostawczych, czy symulacja ruchu pieszych—ważne jest nie tylko gdzie się coś znajduje, ale także jak jest obrócone lub skierowane. Tę informację opisuje geometria SE(2): pozycja w 2D oraz kierunek (heading). Tradycyjne modele typu Transformer, które uwzględniają inwariancję względem translacji i rotacji (SE(2)), muszą porównywać pozycję i orientację każdej pary obiektów. Dla $n$ obiektów daje to złożoność pamięciową $O(n^2)$ – co staje się niepraktyczne przy dużej liczbie agentów. ...

Pamięć asocjacyjna umożliwia przechowywanie wzorców i odtwarzanie ich na podstawie niekompletnych lub zaszumionych danych. Zainspirowana tym, jak mózg przypomina sobie wspomnienia, pamięć asocjacyjna jest realizowana przez rekurencyjne sieci neuronowe, które z czasem zbieżają do zapisanych wzorców. Publikacja ‘Nowoczesne Metody w Pamięci Asocjacyjnej’ autorstwa Krotova i współautorów oferuje przystępny wstęp dla początkujących oraz rygorystyczne omówienie matematyczne dla ekspertów, łącząc klasyczne koncepcje z najnowszymi osiągnięciami w głębokim uczeniu. Klasyczne Sieci Hopfielda Wprowadzone w 1982 roku przez Johna Hopfielda, sieci Hopfielda wykorzystują binarne neurony $s_i ∈ [{-1,+1}]$ oraz symetryczne wagi $w_{ij}$. Energię sieci definiuje się jako ...