duchy

Ghost Nodes – duchy, które przyspieszają naukę sieci neuronowych

Ghost nodes to dodatkowe wyjścia klasyfikatora liczone w softmaxie, ale poza stratą: dają gradientom nowe kierunki, przyspieszają trening i same zanikają.