Life4AI

Cost Function - Cost Function for Logistic Regression 비용 함수(cost function)는 특정 파라미터 집합이 훈련 데이터에 얼마나 잘 맞는지 측정하는 방법을 제공한다. 따라서 더 나은 파라미터를 선택할 수 있습니다.  이제, 제곱 오차 비용 함수(squared error cost)가 로지스틱 회귀 분석에 적합하지 않은 이유와 로지스틱 회귀에 더 적합한 비용 함수에 대해 알아보겠다.  로지스틱 회귀 모델을 위한 훈련 세트는 다음과 같다.  이는 이진 분류 작업이므로 대상 레이블 \(y\) 0 또는 1 값을 가진다.주어진 훈련 세트를 사용하여, 우리는 어떻게 파라미터 \(w\)와 \(b\)를 선택할지 고민한다.  선형 회귀에서는 제곱 오차 비용 함수가 널리 사..

Classification - Motivation 출력 변수 \(y\)가 무한한 숫자 범위를 가지는 대신, 몇 가지 가능한 값 중 하나만 가질 수 있는 분류(classification) 문제에 대해 알아보자. 분류 문제에서는 선형 회귀가 적합하지 않다는 것이 밝혀졌고, 이로 인해 로지스틱 회귀라는 알고리즘이 등장했다.  먼저, 분류 문제의 예제를 살펴보자. 예측하려는 변수는 '아니오' 또는 '네'처럼 두 가지 값 중 하나일 수 있다. 이러한 유형의 분류 문제를 이진 분류(binary classification)이라고 한다. 'binary'는 가능한 클래스 또는 범주가 두 개뿐인 것을 의미한다. (여기서 'class'와 'category'라는 용어는 거의 동일한 의미로 사용됨)   두 개의 클래스 또는 범..

Practical Tips for Linear Regression - Feature Scaling Part I Gradient descent를 훨씬 빠르게 수행할 수 있는 feature scaling 기술을 보자.  다중 선형 회귀에서 파라미터 \(w_{1}\), \(w_{2}\)​​, 그리고 \(b\)가 어떻게 예측에 영향을 미치는지 살펴보자. 예를들어, 2000평방피트 크기의 집에 침실 5개가 있고 가격이 50만 달러 또는 50만 달러인 집을 들어 보자. \(w_{1}\)​=50이고 \(w_{2}\)=0.1이고 \(b\)=50일 때,  예측 가격은 10만 달러에 0.5만 달러를 더하고, 여기에 50만 달러를 더한 금액으로 약 1억 달러에 해당한다. 하지만 실제 가격이 50만 달러라 이 값은 너무 크게..

Linear Regression with Mulitple Variables - Mutiple Features 다중 선형 회귀(Multiple linear regression)에 대해서 공부해보자.    Univariate linear regression과 달리, multiple feature은 종속 변수 y를 결정하는독립변수(feature)가 여러 개이다. 이를 간단하게 표현하면, \(n\) =  feature(독립 변수)의 개수\(x^{(i)}\) = \(i\)번째 training example의 모든 features\(x_{j}^{(i)}\) = \(i\)번째 training example의 \(j\)번째 feature임을 뜻한다. Univariate linear regression의 가설과는 달리,..

Gradient Descent 경사하강법(gradient descent)에 대해 공부해보자. Gradient descent를 직역하면 'gradient(기울기)를 타고 내려온다'  정도로 해석할 수 있겠는데,이는 마치 3차원 그래프상에서 임의의 시작점 (\(w,b)\)에서 출발하여 가장 가파르게 경사진 방향으로 내려가 최소값(minimum)에 도달하는 과정이다.  위의 그림을 보면, 시작점에 따라 다른 지점에서 종료되는 것을 알 수 있다.오른쪽 지점은 local minimum으로, 극솟값에 해당한다. 그러나, 우리가 찾고자 하는 것은 진정한 최소값(global minimum)이므로, local mimimum에 빠지지 않도록 주의해야 한다. 이를 피하기 위한 방법도 추후에 배우게 될 것이다.  Gradie..

Linear Regression Model Part 1회귀 모델은 지도학습의 한 종류로, 데이터 세트에 모든 정답이 나와있으며, 숫자를 결과로 예측한다.주택의 크기로 가격을 예측하는 모델이 회귀 모델의 한 예시이다.여기서, 선형 회귀란 쉽게 데이터에 직선을 맞추는 것을 의미한다. 회귀 모델과 대조적으로, 분류 모델(classfication model)은 범주를 예측한다.  집 값 예측을 위한 training set을 가져온다고 할 때,\(x\) = 입력 값의 변수 (독립변수)\(y\) = 출력값의 변수 (종속변수)\(m\) = training examples의 총 개수\((x,y)\) = 하나의 training example\((x^{(i)},y^{(i)})\) = i번째 training exampleL..

머신러닝 알고리즘은 지도학습(Supervised learning)  비지도학습 (Unsupervised learning)Others : 강화학습(Reinforcement learning), 추천 시스템(Recommender systems)으로 구성되어 있다.1. 지도학습(Supervised Learning) 지도학습은 특정 input에 대한 output(올바른 답) 샘플(label)의 데이터 셋이 주어져서 이 정보로부터 input과 output의 관계를 유추하는 것이다. 즉, 기존 정보를 토대로 새로운 input에 대한 output을 추측하는 것이다.  지도학습은 다시 회귀(Regression)와 분류(Classification)로 나뉜다.   1.1 회귀(Regression) 회귀는 예측하고자 하는 타..