[인공지능] SP09-Regularization

일반화(generalization) 성능을 높이는 정규화 방법들

Early stopping
매 iteration마다 validation performance를 측정하여, 일정 기간 동안 개선이 없을 시 과적합되기 전에 학습을 조기 종료해주는 기능이다.

 

Ensembling
여러 개의 모델을 학습시키고, 그 예측을 결합하여 최종 예측을 만드는 방법

모델을 결합할 때, regression 문제는 output들의 평균을 사용하고 classification 문제는 softmax activation을 거치기 전 값들의 평균을 사용한다. 또다른 방법으로  regression 문제는 output들의 중앙값을 사용하고 classification 문제는 최빈값을 사용하는 방법이 있다.

모델별로 다른 초기값을 주거나, 데이터셋을 re-sampling하거나, 하이퍼 파라미터를 달리하거나, 다른 유형의 모델을 학습시키는 등의 방법으로 모델 간에 차이를 만들 수 있다.

 

Dropout
학습 과정에서, 매 iteration마다 무작위로 특정 비율의 뉴런을 끄는 방법

kink를 유발하는 학습이 덜 된 unit을 발견할 수 있고, 해당 unit을 학습시키므로써 성능을 개선시킬 수 있다.

 

Transfer learning
이미 학습된 모델의 일부를 새로운 모델에 재사용하는 방법

secondary task를 통해 내부적인 개념을 익히고, original task에 적용한다.

내부적 개념을 익혀 모델링을 한 후에 마지막 layer을 삭제하고 한 개 이상의 layer를 추가하여 original task에 맞도록 fine-tuning한다.

 

Multi-task learning
여러 task를 동시에 학습하여, 각 작업에서 얻은 지식을 공유하는 방법

이렇게 동시에 학습을 함으로써 성능이 개선될 수 있다.

 

Self-supervised learning
레이블이 없는 상태에서 스스로 학습할 수 있는 방법

- Generative: 스스로 마스킹하고 맞추기

예를 들어 모델이 스스로 이미지에서 랜덤하게 일부분을 지우고, 모델이 채우도록 하는 것이다.

- Contrastive: 공통점으로 비교하기

예를 들어 서로 이어지는 문장인지 확인한다.

 

Data augmentation
기존의 학습 데이터를 변형하여 새로운 학습 데이터를 형성하는 방법

이를 통해 모델이 데이터의 다양한 변형에 대해 일반화하는 능력을 향상시킬 수 있다. 예를 들어, 동의어나 다른 언어로 번역한 후 다시 번역하였을 때 일치하는 지 확인하는 방법이 있다.