Gradient

Gradient관련

경사하강법

경사 상습/경사하강법은 극값에 도달시 움직임을 멈춘다

Algorithm

var = init

grad = gradient(var)

while (abs(grad)>eps):

​ var = var - lr *grad

​ grad = gradiwnt(var)

학습률 lr 을 조절하여 속도를 조절

eps : 종료조건

lr은 다룰 때 조심히 다루자

grad함수가 미분값을 구해주고 var값에서 미분값을 빼주어 그값에서 미분값을 또구한다

이렇게 계속 업데이트

이번 강의 부터 수학 강의에서는 수식이 많으므로 PDF 파일에 수식을 필기한것으로 정리를 대체하겠다