역전파(Back-propagation)가 흐름은 알겠는데 이해가 잘되지 않아서, 증명을 하는 과정에서 갑자기 에러가 발생했다 Error : RuntimeWarning Invalid Value Encountered in Subtract 본론부터 이야기하면, 신경망 학습 과정에서 값이 너무 커져서 발생한 것이다 종종 Deep Learning에서 발생하는 문제로, 학습률이 너무 높거나 데이터가 적절히 정규화되지 않았을 때 발생할 수 있다 수정 된 코드 활성화 함수 : sigmoid 함수 손실 함수 : 평균 제곱 오차 (Mean Squared Error, MSE) import numpy as np # 시그모이드 함수 정의 def sigmoid(x): return 1 / (1 + np.exp(-x)) # 시그모이..
AI/DL
- [[Deep Learning]]에서 사용하는 활성화 함수 ReLU (Rectified Linear Unit) 함수는 활성화 함수 중 하나로, 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하이면 0을 출력하는 함수입니다 f(x) = max(0, x) sigmoid 함수보다 ReLU의 장점 신경망의 맥락에서는 sigmoid 함수가 활성화 함수로 전통적으로 사용되었습니다. 1. 기울기 소실 문제 (Vanishing Gradient Problem) 시그모이드 함수는 출력값이 0 또는 1에 가까워질수록 그래프의 기울기가 매우 작아져서, 역전파(Back-propagation) 과정에서 가중치의 업데이트가 거의 이루어지지 않는 기울기 소실 문제가 발생합니다. 반면, ReLU 함수는 출력값이 0보다 큰 경..
딥 러닝: 강력한 도구 Andrew Ng 교수님의 강의에 있던 내용을 정리한 것입니다 최근 몇 년간 딥 러닝은 세 가지 주요 요인으로 인해 강력한 도구로 부상하였습니다 1. 데이터 양의 증가 사회의 디지털화로 인해 생성하고 수집하는 데이터 양이 폭발적으로 증가하였습니다. 이 데이터는 더 크고 복잡한 신경망을 훈련시키는 데 사용될 수 있으며, 이는 성능의 향상으로 이어집니다 2. 컴퓨터 성능의 개선 GPU와 같은 하드웨어 및 네트워킹의 발전으로 인해 더 큰 신경망을 더 빠르게 훈련시킬 수 있게 되었습니다. 이로써 연구자와 실무자들은 아이디어를 더 빠르게 반복하고, 분야에서 신속한 진전을 이룰 수 있게 되었습니다 3. 알고리즘의 개선 신경망을 훈련시키기 위해 사용되는 알고리즘들은 큰 개선을 이루었습니다. 예..
- 모든 인식 작업을 벡터 형태로 변환 처리 - 가장 간단한 [[Machine Learning|머신 러닝]] 모델 신경망은 인간 뇌를 모방한 알고리즘의 집합으로, 모든 인식 작업은 벡터 형태로 변환되어 처리됩니다. 이는 군집화와 분류를 보조하는 역할을 하며, 가장 간단한 머신 러닝 모델로 볼 수 있습니다. 신경망은 많은 다른 머신 러닝 모델의 기초가 됩니다. 가장 기본적인 신경망은 퍼셉트론이라 불리며, 이는 입력 데이터의 벡터를 받아 단일 이진 값을 출력하는 것입니다. 계층 (Layers) 신경망은 크게 세 가지 계층으로 구성됩니다. 입력 계층 (Input Layer) 데이터로 표시된 입력 벡터를 받습니다 각 뉴런은 데이터의 고유한 특징 열을 나타내며 이 계층의 크기는 데이터의 형태에 따라 결정됩니다. ..
역전파는 Deep Learning의 기본 알고리즘으로, 신경망이 오류를 통해 학습하고 성능을 개선하는 방법을 이해하는 데 필수적입니다 역전파라 불리는 이유는, 이전 단계에서 계산된 오차가 네트워크를 통해 다시 전파되어 출력 계층에서 입력 계층으로 이동하기 때문입니다 이 과정에는 초기 순방향 통과와 반대 방향으로 네트워크의 출력 계층에서 입력 계층으로 전파되는 계산이 포함됩니다. 이 역전파는 미적분학의 Chain Rule에 크게 의존합니다. 모델 구성 입력 레이어 프로세스는 초기 데이터가 네트워크에 공급되는 입력 레이어에서 시작됩니다. 각 입력에는 입력의 중요성을 나타내는 가중치가 할당됩니다. 이러한 가중치는 일반적으로 무작위로 초기화됩니다. 숨겨진 레이어 가중치가 적용된 입력은 하나 이상의 숨겨진 레이어..
