„Kto powiedział, że sieci neuronowe nie są liniowe?”
Zacznijmy od tego: wszyscy (którzy choć trochę liznęli uczenia maszynowego) wiedzą, że sieci neuronowe są nieliniowe. To znaczy: jeden warstwowy perceptron to prosta funkcja liniowa, ale jak dokładasz aktywacje, warstwy, itp., to robi się nieliniowo — i dzięki temu sieci radzą sobie z naprawdę skomplikowanymi zadaniami (obrazki, język, itd.). Ale autorzy pracy „Who Said Neural Networks Aren’t Linear?” (Nimrod Berman, Assaf Hallak, Assaf Shocher) postawili sobie prowokacyjne pytanie: a może jesteśmy w błędzie co do tej nieliniowości? A dokładniej: może to zależy jak patrzymy, czyli względem jakich przestrzeni wektorowych? ...