Modele Dyfuzyjne

Modele generowania wideo jak Sora potrafią rozwiązywać labirynty, manipulować obiektami i odpowiadać na pytania matematyczne - wszystko poprzez generowanie wideo. Ale jak one rozumują? Intuicyjna odpowiedź: krok po kroku, klatka po klatce, jak człowiek rysujący rozwiązanie na tablicy. Ta odpowiedź jest błędna. Publikacja “Demystifying Video Reasoning” pokazuje, że rozumowanie w modelu dyfuzyjnym nie przebiega wzdłuż klatek. Przebiega wzdłuż kroków odszumiania - iteracyjnego procesu, który zamienia szum w spójne wideo. Autorzy nazywają to Chain-of-Steps (CoS) i fundamentalnie zmienia to sposób, w jaki rozumiemy działanie tych modeli. ...

Pamięć asocjacyjna umożliwia przechowywanie wzorców i odtwarzanie ich na podstawie niekompletnych lub zaszumionych danych. Zainspirowana tym, jak mózg przypomina sobie wspomnienia, pamięć asocjacyjna jest realizowana przez rekurencyjne sieci neuronowe, które z czasem zbieżają do zapisanych wzorców. Publikacja ‘Nowoczesne Metody w Pamięci Asocjacyjnej’ autorstwa Krotova i współautorów oferuje przystępny wstęp dla początkujących oraz rygorystyczne omówienie matematyczne dla ekspertów, łącząc klasyczne koncepcje z najnowszymi osiągnięciami w głębokim uczeniu. Klasyczne Sieci Hopfielda Wprowadzone w 1982 roku przez Johna Hopfielda, sieci Hopfielda wykorzystują binarne neurony $s_i ∈ [{-1,+1}]$ oraz symetryczne wagi $w_{ij}$. Energię sieci definiuje się jako ...