분석 모델 평가 방법

1. 정의

• 데이터마이닝을 통해 생성된 모델의 에러율 예측 및 모델 타당성을 평가하는 검증 방법

 

2. 평가기법 

가. 정확도 기법 (Train-Validation)

• Traing Set, Validation Set, Test Set ( 60% 20% 20% )

 

나. 재 샘플링 기법 (Cross Validation, Bootstrap)

• [cross validation] : 성능 검증용(Validation Set / Test Set)과 학습용(Training Set)을 교차하며 반복 샘플을 모두 학습에 사용하지 않고 일부는 성능 검증에 사용
  • 과적합 방지 ( k-fold )
• [bootstrap] : N개의 Training sample에서 Bootstrap sample을 중복을 허용하여 샘플링(데이터 부족, 모집단 분포 모를 경우)