과대적합과 과소적합

과대적합은 모델이 훈련데이터에 너무 잘 맞지만 일반성이 떨어진다는 의미이다.
즉, 시험으로 비유하자면 예상문제에서는 잘 풀었지만 막상 시험에서 예상문제를 약간 변형해서 출제되었다면 제대로 풀지 못한다는 것이다.
과대적합의 해결 방법으로는,

• 훈련 데이터를 더 많이 모음
• 정규화 - 규제(제약 조건), 드롭 아웃 등 다양한 방법을 이용해서 적당한 복장도를 가지는 모델을 자동적으로 찾아주는 기법
• 훈련 데이터 잡음을 줄임(오류 수정과 이상치 제거)

과소적합은 과대적합의 반대로, 모델이 너무 단순해서 데이터의 내재된 구조를 학습하지 못할 때 발생한다.

과소적합의 해결 방법으로는,

• 파라미터가 더 많은 복잡한 모델을 선택
• 모델의 제약을 줄이기(규제 하이퍼파라미터 값 줄이기)
• 조기종료 시점(과대적합이 되기전의 시점) 까지 충분히 학습