Gradient Descent é um algoritmo de otimização para encontrar um mínimo local de uma função diferenciável. A descida de gradiente é simplesmente usada no aprendizado de máquina para encontrar os valores dos parâmetros de uma função (coeficientes) que minimizam uma função de custo o máximo possível.
Por que usamos gradiente descendente na regressão linear?
A principal razão pela qual o gradiente descendente é usado para regressão linear é a complexidade computacional: é computacionalmente mais barato (mais rápido) encontrar a solução usando o gradiente descendente em alguns casos. Aqui, você precisa calcular a matriz X′X e depois invertê-la (veja a nota abaixo). É um cálculo caro.
Por que gradiente descendente é usado em redes neurais?
Descida de gradiente é um algoritmo de otimização que é comumente usado para treinar modelos de aprendizado de máquina e redes neurais. Os dados de treinamento ajudam esses modelos a aprender ao longo do tempo, e a função de custo na descida do gradiente atua especificamente como um barômetro, medindo sua precisão a cada iteração de atualizações de parâmetros.
Por que a descida de gradiente funciona para o aprendizado profundo?
Descida do gradiente é um algoritmo de otimização usado para minimizar alguma função movendo-se iterativamente na direção da descida mais íngreme conforme definido pelo negativo do gradiente. No aprendizado de máquina, usamos gradiente descendente para atualizar os parâmetros do nosso modelo.
Onde é usado o gradiente descendente?
Descida de gradiente é melhor usada quando os parâmetros não podem ser calculados analiticamente (por exemplo, usando álgebra linear) e devem ser pesquisados por um algoritmo de otimização.
