[Differentiation] using Zygote, reverse differentiation

 

Machine learning 중 Neural Network 를 이용한 트레이닝에서 backpropagation 을 이용해 모델의 parameters 을 재조정한다.

Backpropagation이 reverse differentiation 이다. 

 

julia> using Zygote

julia>  f'(a)

julia> Zygote.gradient(f, a)

julia> Zygote.gradient((x1, x2) -> (x1^2 + x2^2 - 0.1x1*x2) / (x1 + 1.0), ⋅ 0.2, 0.3)