- [[Deep Learning]]에서 사용하는 활성화 함수 ReLU (Rectified Linear Unit) 함수는 활성화 함수 중 하나로, 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하이면 0을 출력하는 함수입니다 f(x) = max(0, x) sigmoid 함수보다 ReLU의 장점 신경망의 맥락에서는 sigmoid 함수가 활성화 함수로 전통적으로 사용되었습니다. 1. 기울기 소실 문제 (Vanishing Gradient Problem) 시그모이드 함수는 출력값이 0 또는 1에 가까워질수록 그래프의 기울기가 매우 작아져서, 역전파(Back-propagation) 과정에서 가중치의 업데이트가 거의 이루어지지 않는 기울기 소실 문제가 발생합니다. 반면, ReLU 함수는 출력값이 0보다 큰 경..
ai
Multiple Linear Regression - 여러 개의 독립 변수를 사용하여 종속 변수의 값을 예측하는 방법 Single Linear Regression이 종속 변수를 추정하기 위해 한 개의 독립 변수를 사용하는 반면, 다중 선형 회귀분석은 여러 개의 독립 변수를 사용하여 종속 변수의 값을 예측합니다. 여러 독립 변수: 다중 선형 회귀분석에서는 종속 변수의 값이 여러 독립 변수에 의해 영향을 받습니다. 예를 들어, CO2 배출량을 예측하는 데에는 엔진 크기, 실린더 수, 연료 소비량 등이 모두 역할을 합니다. 최적화된 파라미터: 최적화된 파라미터란 모델의 오류가 가장 적은 파라미터를 의미합니다. 이러한 파라미터는 예측의 오류를 최소화함으로써 찾아집니다. 이 파라미터를 추정하는 방법에는 최소제곱법과..
주어진 데이터를 하나씩 분석하며, 라이브러리 사용법을 배워봅시다 df = pd.read_csv("FuelConsumption.csv")// 주어진 CSV를 읽는다 "FuelConsumption.csv"라는 CSV 파일을 읽어와서 pandas DataFrame 객체인 df에 저장합니다. 여기서 pandas는 데이터 분석에 널리 사용되는 Python 라이브러리입니다. 데이터 조회 # take a look at the dataset df.head() df.head()는 DataFrame의 처음 5행을 출력합니다. 이 메소드를 사용하면, 데이터셋의 구조와 각 열(column)에 들어있는 데이터를 빠르게 확인할 수 있습니다. 데이터 통계 df.describe() df.describe()는 DataFrame의 **..
실제 값 Vs 예측 값 회귀 모델에서 우리의 주요 목표는 연속된 값을 예측하는 것입니다. 모델을 구축한 후에는 어떤 테스트 데이터셋으로 이를 테스트합니다. 이를 통해 우리는 실제 값 (목표 변수의 실제 값)과 예측 값 (우리의 모델이 예측한 값)을 얻게 됩니다. 평균 절대 오차 (MAE) MAE는 예측 값과 실제 값의 절대 차이의 평균입니다. 이는 선형 점수이므로, 평균에서 모든 개별 차이가 동등하게 가중됩니다. MAE = 1/n * Σ|실제값 - 예측값| 여기서, n은 관측치의 총 개수입니다. 평균 제곱 오차 (Mean Squared Error, MSE) MSE는 MAE와 유사하지만, 절대 값을 사용하는 대신 차이를 제곱한 후 이들을 모두 더합니다. 이는 MSE가 MAE에 비해 이상치에 더 민감하다는 ..
Model Evaluation in Regression Models(회귀 모델의 평가) - 동일 데이터 셋에 대한 훈련 및 테스트 - Train/Test Split - 상호배타적인 훈련/테스트 셋으로 분할 - 원본 데이터 셋에 의존적 - K-fold 교차 검증 - 여러 번의 훈련/테스트 분할을 수행 - 더 일관성 있는 표본 외 정확도 회귀 모델의 목표는 알려지지 않은 케이스를 정확히 예측하는 모델을 구축하는 것입니다. 이를 위해 모델 구축 후에 회귀 평가를 수행해야 합니다. 용어 정리 훈련 정확도(training accruacy) 테스트 데이터셋을 사용하여 모델이 얼마나 많은 예측을 올바르게 하는지를 나타내는 비율입니다. 하지만, 높은 훈련 정확도는 데이터에 과적합되어있음을 나타낼 수 있습니다. 표본 외..
Supervised Vs Unsupervised (지도 학습 VS 비지도 학습) - 지도 학습 : 레이블이 지정된 데이터셋으로 모델 훈련 - 비지도 학습 : 레이블이 없는 데이터에서 모델이 스스로 정보 발견하는 방법 1. 지도 학습(Supervised Learning): 지도 학습은 레이블이 지정된 데이터셋을 사용하여 모델을 훈련시키는 방법입니다 이를 통해 모델은 미래의 인스턴스를 예측할 수 있습니다. 분류(Classification): 이산 클래스 레이블 또는 카테고리를 예측하는 과정입니다. Regression(회귀) 모델: 연속 값을 예측하는 과정입니다. 2. 비지도 학습(Unsupervised Learning) 비지도 학습은 레이블이 없는 데이터에서 모델이 스스로 정보를 발견하도록 하는 방법입니다...
비지도 학습(Unsupervised Learning) 비지도 학습은 레이블이 없는 데이터에서 모델이 스스로 정보를 발견하도록 하는 방법입니다. 비지도 학습 알고리즘은 레이블이 없는 데이터에 대한 결론을 도출합니다. 비지도 학습의 주요 기법에는 차원 축소, 밀도 추정, 마켓 바스켓 분석, 클러스터링이 있습니다. 차원 축소(Dimension Reduction): 중복된 특성을 줄여 분류를 용이하게 하는 역할을 합니다. 마켓 바스켓 분석(Market Basket Analysis): 특정 항목 그룹을 구매하는 경우 다른 항목 그룹을 구매할 가능성이 높다는 이론에 기반한 모델링 기법입니다. 밀도 추정(Density Estimation): 데이터 내에서 일부 구조를 찾는 데 주로 사용되는 매우 간단한 개념입니다. ..
지도 학습(Supervised Learning) - 종속 변수와 독립 변수로 모델을 만든다 한마디로, 요약하면 종속 변수와 독립 변수로 모델을 만드는 것입니다 지도 학습은 레이블이 지정된 데이터셋을 사용하여 모델을 훈련시키는 방법입니다. 이를 통해 모델은 미래의 인스턴스를 예측할 수 있습니다. 지도 학습의 두 가지 주요 기법은 분류와 회귀입니다. 회귀(Regression(회귀) 모델) 종속 변수(구하고 싶은 것)가 숫자인 경우는 회귀를 사용합니다 연속 값을 예측하는 과정입니다. 예를 들어, 엔진 크기나 실린더 수와 같은 다른 필드를 사용하여 새로운 자동차의 CO2 배출량을 예측할 수 있습니다. 분류(Classification) 종속 변수(구하고 싶은 것)이 이름(문자) 일 경우에, 분류를 사용합니다 이산..
Regression - 종속 변수와 한 개 이상의 독립 변수 사이의 관계를 설명하는 통계 모델 - 시간에 따른 데이터 변화, 특정 인자의 영향 등 인과 관계를 모델링 할 때 사용 회귀 분석이란 하나 이상의 변수를 사용하여 연속값을 예측하는 방법입니다 종속변수(목표값 또는 결과)를 하나 이상의 독립변수(설명 변수)의 함수로 관계시키는 것이죠 변수 유형: 회귀분석에서는 두 가지 유형의 변수가 있습니다 종속변수: 이는 우리가 연구하고 예측하려는 상태, 목표, 또는 최종 목표입니다. 독립변수: 이들은 그 상태의 원인으로, 설명변수라고도 합니다. 이들은 범주형 또는 연속형 측정 척도에서 측정될 수 있습니다. 예시 : 회귀 모델 유형 Linear Regression 단순 회귀 : (Single Linear Regr..
Single Linear Regression - 목적 : 하나의 독립 변수와 하나의 종속 변수 간의 선형 관계를 모델링하는 통계적 기법 한 변수의 변화가 다른 변수에 어떻게 영향을 미치는지 이해하고, 이를 기반으로 예측을 수행할 수 있습니다. 선형 회귀의 핵심은 평균 제곱 오차 (Mean Squared Error, MSE)를 줄이는 것입니다. 즉, 모델의 예측값이 실제값과 최대한 가깝게 만드는 것이 목표입니다. 장점 간단함: 선형 회귀는 가장 기본적인 회귀로 이해하기 쉽고 사용하기 간단합니다. 빠름: 계산이 빠르므로 대용량 데이터에 대해서도 비교적 빠르게 실행됩니다. 파라미터 튜닝 불필요: 선형 회귀는 파라미터 튜닝이 필요 없습니다. 예를 들어 K-최근접 이웃에서의 K 값이나 신경망에서의 학습률 등을 조..
