Life4AI

로지스틱 회귀의 경사하강법에 대해서 알아보자   로지스틱 회귀의 경사하강법 - 단일 훈련 샘플 다음은 로지스틱 회귀이다. a : 로지스틱 회귀의 출력 값y : 실제 값\( L(a,y) \) : 하나의 샘플에 대한 손실 함수 아래는 로지스틱 회귀를 계산 그래프로 나타낸 것이다.이 예제는 특성이 \(x_{1}\)과 \(x_{2}\) 2개이다. 여기서 구하고자 하는 것은 이 손실 함수의 도함수이다. 역방향으로 가서, \(da\), \(dz\), \(dw_{1}\), \(dw_{2}\), \(db\)를 구해보자.  이렇게 계산하고 나면, 다음과 같이 갱신한다. 도함수를 계산하고, 단일 샘플에 대한 로지스틱 회귀의 경사하강법을 구현하는 방법을 알아보았다. 하지만, 로지스틱 회귀 모델을 훈련시키려면 단일 샘플이 아..

이번에는 미적분과 도함수에 대한 직관을 얻을 수 있게 공부해보자. 미분 (Derivatives)  그림에서 초록색 삼각형 부분을 보면, a를 오른쪽으로 0.001만큼 밀었을 때 f(a)는 0.003만큼 증가한다즉, f가 올라간 정도는 a를 오른쪽으로 민 정도보다 3배 많다.> a=2에서 함수 f(a)의 기울기, 도함수는 3이다. 마찬가지로, a가 5라고 하면 f(a)는 15이다.a를 오른쪽으로 살짝 밀어서 0.001만큼 밀면 f(a)는 15.003이 된다.이번에도 a를 오른쪽으로 0.001만큼 움직이면 f(a)는 그보다 3배가 증가한다. > a=5에서 함수 f(a)의 기울기, 도함수는 3이다. 즉, 도함수(=어떤 함수의 기울기)란 변수 a를 조금만 변화했을 때, 함수 f(a) 가 얼만큼 변하는지는 측정하..

지난 강의에서는 로지스틱 회귀 모델과 단일 훈련 샘플이 얼마나 잘 작동하는 지 측정하는 손실함수, 그리고 매개변수 \(w\)와 \(b\)가 훈련 세트 전체를 얼마나 잘 예측하는지 측정하는 비용함수에 대해서 알아봤다.  이제 경사하강법 알고리즘을 사용해 매개변수 \(w\)와 \(b\)를 훈련 세트에 학습시키는 방법을 알아보자.경사하강법 (Gradient descent)이전 시간의 비용함수가 전체 데이터셋의 예측이 얼마나 잘 평가되었는지 보는 것이라면,경사하강법은 이를 가능케하는 파라미터 \(w\)와 \(b\)를 찾아내는 방법 중 하나이다. 따라서, 매개변수 \(w\)와 \(b\)를 알아내기 위해서는 비용함수 \(J(w, b)\)를 가장 작게 만드는 \(w\)와 \(b\)를 찾아냐 할 것이다.  우선, 비용..