왜 딥러닝이 뜨고 있을까

딥 러닝: 강력한 도구

Andrew Ng 교수님의 강의에 있던 내용을 정리한 것입니다

최근 몇 년간 딥 러닝은 세 가지 주요 요인으로 인해 강력한 도구로 부상하였습니다

1. 데이터 양의 증가

사회의 디지털화로 인해 생성하고 수집하는 데이터 양이 폭발적으로 증가하였습니다.
이 데이터는 더 크고 복잡한 신경망을 훈련시키는 데 사용될 수 있으며, 이는 성능의 향상으로 이어집니다

2. 컴퓨터 성능의 개선

GPU와 같은 하드웨어 및 네트워킹의 발전으로 인해 더 큰 신경망을 더 빠르게 훈련시킬 수 있게 되었습니다.
이로써 연구자와 실무자들은 아이디어를 더 빠르게 반복하고, 분야에서 신속한 진전을 이룰 수 있게 되었습니다

3. 알고리즘의 개선

신경망을 훈련시키기 위해 사용되는 알고리즘들은 큰 개선을 이루었습니다.
예를 들어, 활성화 함수에서 시그모이드 함수 대신 ReLU (Rectified Linear Unit) 함수로의 전환은 경사 하강법의 작동 속도를 훨씬 빠르게 만들어 훈련 과정을 가속화시켰습니다

시그모이드 함수와 ReLU 함수

신경망의 맥락에서는 sigmoid 함수가 활성화 함수로 전통적으로 사용되었습니다.
그러나 sigmoid 함수는 극단에 접근할수록 (좌우 끝으로) 기울기 값이 0이 되어 소실 기울기 문제가 발생합니다.

이 문제는 양수 입력 값에 대해서 소실 기울기 문제가 발생하지 않는 ReLU를 사용하여 해결할 수 있습니다.

더 빠른 실험 주기

계산 속도는 딥 러닝의 실험 주기에서 중요한 역할을 합니다.
네트워크를 더 빠르게 훈련하고 결과를 얻을수록 더 많은 아이디어를 시도하고 네트워크를 더 빠르게 개선할 수 있습니다.
이는 분야에서의 빠른 혁신 속도를 이끌어내어 딥 러닝 알고리즘의 현저한 발전을 이끌어냈습니다.

부족한 점이나 잘못 된 점을 알려주시면 시정하겠습니다 :>