Life4AI

로지스틱 회귀의 경사하강법에 대해서 알아보자   로지스틱 회귀의 경사하강법 - 단일 훈련 샘플 다음은 로지스틱 회귀이다. a : 로지스틱 회귀의 출력 값y : 실제 값\( L(a,y) \) : 하나의 샘플에 대한 손실 함수 아래는 로지스틱 회귀를 계산 그래프로 나타낸 것이다.이 예제는 특성이 \(x_{1}\)과 \(x_{2}\) 2개이다. 여기서 구하고자 하는 것은 이 손실 함수의 도함수이다. 역방향으로 가서, \(da\), \(dz\), \(dw_{1}\), \(dw_{2}\), \(db\)를 구해보자.  이렇게 계산하고 나면, 다음과 같이 갱신한다. 도함수를 계산하고, 단일 샘플에 대한 로지스틱 회귀의 경사하강법을 구현하는 방법을 알아보았다. 하지만, 로지스틱 회귀 모델을 훈련시키려면 단일 샘플이 아..

지난 강의에서는 로지스틱 회귀 모델과 단일 훈련 샘플이 얼마나 잘 작동하는 지 측정하는 손실함수, 그리고 매개변수 \(w\)와 \(b\)가 훈련 세트 전체를 얼마나 잘 예측하는지 측정하는 비용함수에 대해서 알아봤다.  이제 경사하강법 알고리즘을 사용해 매개변수 \(w\)와 \(b\)를 훈련 세트에 학습시키는 방법을 알아보자.경사하강법 (Gradient descent)이전 시간의 비용함수가 전체 데이터셋의 예측이 얼마나 잘 평가되었는지 보는 것이라면,경사하강법은 이를 가능케하는 파라미터 \(w\)와 \(b\)를 찾아내는 방법 중 하나이다. 따라서, 매개변수 \(w\)와 \(b\)를 알아내기 위해서는 비용함수 \(J(w, b)\)를 가장 작게 만드는 \(w\)와 \(b\)를 찾아냐 할 것이다.  우선, 비용..