Life4AI

Regularization to Reduce Overfitting - The problem of Overfitting 지금까지 선형 회귀와 로지스틱 회귀 알고리즘을 알아보았다. 이 두 알고리즘은 다양한 작업에 적합하지만, 실제 응용에서 과적합(overfit) 문제가 발생할 수 있다. 과적합이 일어나면 성능이 저하될 수 있죠. 과적합을 해결하는 방법 중 하나로 정규화가 있다. 정규화는 매우 유용한 기법으로, 자주 사용하고 있다. 정규화를 통해 과적합 문제를 최소화하고, 학습 알고리즘이 더 잘 작동하도록 할 수 있다. 그 전에 예제들을 통해  과적합(overfit)과 그 반대인 과소적합(underfit)에 대해서 알아보자. 먼저, 선형 회귀를 사용하여 주택 가격을 예측하는 모델을 보자. 데이터는 주택 크기(..

Gradient Descent - Gradient Descent Implementation 로지스틱 회귀에서 모델의 매개변수 \(w\)와 \(b\)를 최적화하기 위해 비용 함수 \(J(w,b)\)를 최소화하는 값을 찾아야 한다.  이 과정을 효율적으로 수행하는 방법은 경사하강법(Gradient Descent)을 사용하는 것이다. 경사하강법은 비용 함수의 기울기(도함수)를 계산하고, 그 방향을 따라 파라미터 \(w\)와 \(b\)를 반복적으로 업데이트하면서 비용 함수의 값을 최소화하는 방법이다. 일반적인 경사하강법 알고리즘의 업데이트 식은 다음과 같다.  이때, 로지스틱 회귀의 경사하강법과 선형 회귀의 경사하강법은 알고리즘 구조는 유사해보이지만, \(f(x)\)가 다르다는 차이점이 있다. 선형회귀에서는 단..

Cost Function - Cost Function for Logistic Regression 비용 함수(cost function)는 특정 파라미터 집합이 훈련 데이터에 얼마나 잘 맞는지 측정하는 방법을 제공한다. 따라서 더 나은 파라미터를 선택할 수 있습니다.  이제, 제곱 오차 비용 함수(squared error cost)가 로지스틱 회귀 분석에 적합하지 않은 이유와 로지스틱 회귀에 더 적합한 비용 함수에 대해 알아보겠다.  로지스틱 회귀 모델을 위한 훈련 세트는 다음과 같다.  이는 이진 분류 작업이므로 대상 레이블 \(y\) 0 또는 1 값을 가진다.주어진 훈련 세트를 사용하여, 우리는 어떻게 파라미터 \(w\)와 \(b\)를 선택할지 고민한다.  선형 회귀에서는 제곱 오차 비용 함수가 널리 사..

Classification - Motivation 출력 변수 \(y\)가 무한한 숫자 범위를 가지는 대신, 몇 가지 가능한 값 중 하나만 가질 수 있는 분류(classification) 문제에 대해 알아보자. 분류 문제에서는 선형 회귀가 적합하지 않다는 것이 밝혀졌고, 이로 인해 로지스틱 회귀라는 알고리즘이 등장했다.  먼저, 분류 문제의 예제를 살펴보자. 예측하려는 변수는 '아니오' 또는 '네'처럼 두 가지 값 중 하나일 수 있다. 이러한 유형의 분류 문제를 이진 분류(binary classification)이라고 한다. 'binary'는 가능한 클래스 또는 범주가 두 개뿐인 것을 의미한다. (여기서 'class'와 'category'라는 용어는 거의 동일한 의미로 사용됨)   두 개의 클래스 또는 범..

해당 에러는 libiomp5md.dll 파일이 이미 초기화된 상태에서 다시 초기화하려고 할 때 발생하는 문제이다. 주로 여러 라이브러리 간의 충돌로 인해 발생하며, 특히 딥러닝 모델을 실행하고, pyplot으로 시각화할 때 자주 나타난다.   이 문제를 해결하려면 코드에 특정 설정을 추가해 라이브러리 간의 충돌을 방지할 수 있다.  해결 방법은 아래 코드를 추가해 수행하면 된다. import osos.environ['KMP_DUPLICATE_LIB_OK']='True'  이 코드를 추가한 후 다시 pyplot을 이용한 시각화 코드를 실행하면 충돌이 해결될 것!!!

Practical Tips for Linear Regression - Feature Scaling Part I Gradient descent를 훨씬 빠르게 수행할 수 있는 feature scaling 기술을 보자.  다중 선형 회귀에서 파라미터 \(w_{1}\), \(w_{2}\)​​, 그리고 \(b\)가 어떻게 예측에 영향을 미치는지 살펴보자. 예를들어, 2000평방피트 크기의 집에 침실 5개가 있고 가격이 50만 달러 또는 50만 달러인 집을 들어 보자. \(w_{1}\)​=50이고 \(w_{2}\)=0.1이고 \(b\)=50일 때,  예측 가격은 10만 달러에 0.5만 달러를 더하고, 여기에 50만 달러를 더한 금액으로 약 1억 달러에 해당한다. 하지만 실제 가격이 50만 달러라 이 값은 너무 크게..

Linear Regression with Mulitple Variables - Mutiple Features 다중 선형 회귀(Multiple linear regression)에 대해서 공부해보자.    Univariate linear regression과 달리, multiple feature은 종속 변수 y를 결정하는독립변수(feature)가 여러 개이다. 이를 간단하게 표현하면, \(n\) =  feature(독립 변수)의 개수\(x^{(i)}\) = \(i\)번째 training example의 모든 features\(x_{j}^{(i)}\) = \(i\)번째 training example의 \(j\)번째 feature임을 뜻한다. Univariate linear regression의 가설과는 달리,..

Gradient Descent 경사하강법(gradient descent)에 대해 공부해보자. Gradient descent를 직역하면 'gradient(기울기)를 타고 내려온다'  정도로 해석할 수 있겠는데,이는 마치 3차원 그래프상에서 임의의 시작점 (\(w,b)\)에서 출발하여 가장 가파르게 경사진 방향으로 내려가 최소값(minimum)에 도달하는 과정이다.  위의 그림을 보면, 시작점에 따라 다른 지점에서 종료되는 것을 알 수 있다.오른쪽 지점은 local minimum으로, 극솟값에 해당한다. 그러나, 우리가 찾고자 하는 것은 진정한 최소값(global minimum)이므로, local mimimum에 빠지지 않도록 주의해야 한다. 이를 피하기 위한 방법도 추후에 배우게 될 것이다.  Gradie..