과적합 문제 (Overfitting/Underfitting)

1. 정의

• 오버피팅  : 모델의 일반성이 떨어져 모델의 학습 오차가 매우 낮은데 비해 테스트 오차가 비정상적으로 높은 상태 , 
  • 복잡한 학습모델, 일반화 오류, 고분산 저편향
• 언더피팅: 학습 데이터가 불충분하거나 모델이 지나치게 단순하여 모델이 학습 데이터의 패턴을 잡아내지 못하는 상태(Decision Boundary)
  • 단순한 학습모델, 성능부족 학습 오류, 저분산 고편향

 

2. 오버피팅의 발생원인 및 해결방안

가. 발생원인  -  노독복

• 노이즈, 독립변수, 모델 복잡성(차원의 저주-xponentially하게 증가),

나. 해결방안  -   정교차드조

• 정규화, 교차검증, 차원축소(PCA, ICA 등), Drop out, 조기 종료 

 

3. 언더피팅의 발생원인 및 해결방안

가. 발생원인  -  LG

• Less Feature(차원 단순), Gradient Vanishing(기울기 소실)

나. 해결방안  -   파학활

• Find more Features(Traning 더 수행, Plotting), 학습모델 변형(선형회귀, 로지스틱 회귀), 활성함수변경(ReLu 함수)

 

4.  적정적합모델(Genalized-Fitting)