Hi-람👋 High-람☀️

일반화(generalization) 성능을 높이는 정규화 방법들 Early stopping 매 iteration마다 validation performance를 측정하여, 일정 기간 동안 개선이 없을 시 과적합되기 전에 학습을 조기 종료해주는 기능이다. Ensembling 여러 개의 모델을 학습시키고, 그 예측을 결합하여 최종 예측을 만드는 방법 모델을 결합할 때, regression 문제는 output들의 평균을 사용하고 classification 문제는 softmax activation을 거치기 전 값들의 평균을 사용한다. 또다른 방법으로 regression 문제는 output들의 중앙값을 사용하고 classification 문제는 최빈값을 사용하는 방법이 있다. 모델별로 다른 초기값을 주거나, 데이터..

[1] non-convex 함수에서의 문제와 해결 방법 비선형 함수에서 loss function은 두 가지 함정을 갖는다. (1) local minima 이는 기울기가 0인 지점이며, 어느 방향으로 움직이든 loss가 증가하는 지점이다. 하지만 이 지점은 전체 함수에서 가장 작은 값, 즉 global minimum은 아니다. (2) saddle point 이것 또한 기울기가 0이지만, 어떤 방향에서는 증가하고 다른 방향으로는 감소하는 특징을 가지고 있다. 이런 특성으로 인해 최적화 과정에서 종종 문제가 발생한다. 기울기가 0에 가까워지면서 loss가 업데이트되지 않기 때문이다. saddle point와 같은 문제가 발생했을 때, 확률적 경사 하강법(Stochastic Gradient Descent, SG..