Descriere:

Invenţia se referă la o metodă prin care modele statistice de tip reţele neuronale adânci care conţin pe straturi intermediare funcţii de activare care comprimă un domeniu deschis într-un codomeniu compact pot fi antrenate în mod corespunzător folosind metode de tipul urmăririi gradienţilor fără a întâlni fenomenul de dispariţie spontană a gradienţilor. Metoda conform invenţiei foloseşte o funcţie obiectiv suplimentară de regularizare pentru procedura de antrenare cu urmărirea gradienţilor care este astfel construită încât împiedică intrarea în zona de saturaţie a activărilor pentru straturile care folosesc funcţii de activare care îşi comprimă domeniul.