Ghost Nodes – duchy, które przyspieszają naukę sieci neuronowych
Podczas trenowania sieci neuronowych często zdarza się, że model „utknie” – nie w złym miejscu, ale na płaskim obszarze krajobrazu strat. Autorzy artykułu proponują dodanie ghost nodes – fałszywych wyjść klasyfikatora, które nie są prawdziwymi klasami, ale pozwalają modelowi szybciej znaleźć drogę do lepszego minimum. Wyobraź sobie piłkę toczącą się po dolinie – jeśli dolina jest płaska, piłka zwalnia. Ghost nodes to jak dodanie nowego wymiaru terenu – piłka może się poruszać w więcej stron. ...