ReLU

- [[Deep Learning]]에서 사용하는 활성화 함수

ReLU (Rectified Linear Unit) 함수는 활성화 함수 중 하나로, 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하이면 0을 출력하는 함수입니다

f(x) = max(0, x)

sigmoid 함수보다 ReLU의 장점

신경망의 맥락에서는 sigmoid 함수가 활성화 함수로 전통적으로 사용되었습니다.

1. 기울기 소실 문제 (Vanishing Gradient Problem)

시그모이드 함수는 출력값이 0 또는 1에 가까워질수록 그래프의 기울기가 매우 작아져서, 역전파(Back-propagation) 과정에서 가중치의 업데이트가 거의 이루어지지 않는 기울기 소실 문제가 발생합니다.
반면, ReLU 함수는 출력값이 0보다 큰 경우 기울기가 항상 1이므로 이 문제를 해결합니다

2. 계산 효율성

ReLU 함수는 시그모이드 함수와 비교하여 계산이 간단합니다.
시그모이드 함수는 지수 함수를 포함하므로 계산 비용이 더 큽니다

3. 희소성 (Sparsity)

ReLU 함수는 0 이하의 값을 모두 0으로 만들어 줍니다.
이는 신경망에서 활성화된 뉴런의 수를 줄이므로 모델의 희소성을 증가시키고, 이는 일반적으로 모델의 성능을 향상시킵니다

부족한 점이나 잘못 된 점을 알려주시면 시정하겠습니다 :>