O processo de treinamento de uma rede neural artificial consiste em encontrar os valores ótimos para os parâmetros de cada neurônio (pesos e bias). O algoritmo utilizado para isso é o backpropagation, que, para definir se em dado momento cada parâmetro deve ter seu valor aumentado ou diminuído, usa um cálculo chamado