Back-propagation and Autograd

역전파(Back-propagation)

- 역전파 : Chain Rule을 통해 경사 계산을 작게 분해 후 결합하여 최종 기울기를 얻는 프로세스a

역전파는 신경망에서 사용할 가중치 계산에 필요한 기울기를 계산하기 위해 인공 신경망에서 사용하는 방법입니다.
네트워크 가중치에 대한 손실 함수의 기울기를 계산하기 위해 체인 규칙을 사용합니다.

• 목적
  • 역전파의 목적은 네트워크의 가중치를 조정하여 손실 함수를 최소화하는 것입니다.
  • 가중치에 대한 손실 함수의 기울기를 계산한 다음 이 기울기를 사용하여 손실을 줄이는 방향으로 가중치를 업데이트합니다.
• 사용: 역전파는 신경망의 훈련 단계에서 사용됩니다.

Autograd

Autograd는 Tensor의 모든 작업을 자동으로 구분하는 PyTorch 패키지입니다.

이것은 실행별 정의 프레임워크입니다.
즉 역전파는 코드가 실행되는 방식에 따라 정의되며 모든 단일 반복이 다를 수 있습니다.

• 목적: Autograd의 목적은 신경망에서 역방향 통과 계산을 자동화하는 것입니다.
  • 즉, 모든 매개변수에 대한 경사를 자동으로 계산합니다.
• 사용법
  • Autograd는 PyTorch에서 텐서의 그래디언트를 자동으로 계산하는 데 사용됩니다.
  • 신경망의 훈련 단계에서 신경망의 가중치를 업데이트하는 데 사용되는 그래디언트를 계산하는 데 사용됩니다.

역전파 및 Autograd의 계산 흐름

역전파 및 Autograd의 계산 흐름은 네트워크의 예측이 계산되는 순방향 패스에서 시작됩니다.

1. 예측과 실제 값 사이의 손실이 계산됩니다.
2. 가중치에 대한 손실의 변화도가 계산되는 역전파가 시작됩니다.
3. 이러한 기울기는 네트워크의 가중치를 업데이트하는 데 사용됩니다.
4. 손실을 최소화하는 가중치를 찾을 때까지 training set의 각 데이터 배치에 대해 반복됩니다.

연쇄 법칙(Chane Rule)

체인 규칙은 역전파에 사용되는 미적분학의 기본 개념입니다.
복합함수의 도함수는 외부함수의 도함수와 내부함수의 도함수의 곱이라고 명시되어 있습니다.

역전파의 맥락에서 체인 규칙은 네트워크 가중치에 대한 손실 함수의 기울기를 계산하는 데 사용됩니다.
이는 네트워크의 출력에 대한 손실 함수의 기울기를 계산한 다음 가중치에 대한 출력의 기울기를 곱하여 수행됩니다.

부족한 점이나 잘못 된 점을 알려주시면 시정하겠습니다 :>