1. 정의
- 오버피팅 방지 위해 서로 연결된 연결망(layer)에서 0부터 1 사이의 확률로 뉴런을 제거(drop)하는 과대적합 방지 기법
- → 매 학습시 일정확률 p로 뉴런 제거하여 학습후, 추론시에 결과보상하여 추론하는 학습기법
- 특징) 과적합 문제 해결, 모델 간소화
2. 방법 및 효과
가. 방법
- 입력층과 은닉층의 임의 노드 선택 및 제거
- 임의 노드제거 상태에서 학습 수행(feed-forward / back propagation)
- 실제 테스트 시 제거 노드 복원 및 가중치 연산
- 가중치에 확률 p를 곱하여 결과 보상
나. 효과 - 오앙동배 투표
- 특정 셀로 가중치가 높아지는것을 방지 → 편향방지 → 오버피팅 방지
- 다수의 모델로 학습되는 효과(앙상블/voting/랜덤포레스트 같은 효과)
- 동조현상 회피(co adaption): 노드간 불필요한 중복이 생기는 문제 방지
- 기울기 소실(배니싱 그레디언트) 문제 해결 도움
- voting 효과
3. 유형 - 빠르고 에드혹하게 드랍연결
'정보관리기술사 > AI' 카테고리의 다른 글
| RNN(Recurrent Neural Networks/순환 신경망) (0) | 2024.02.06 |
|---|---|
| CNN(Convolutional Neural Network / 합성곱신경망) (0) | 2024.02.05 |
| 과적합 문제 (Overfitting/Underfitting) (0) | 2024.02.05 |
| 기울기 소실 문제(Vanishing Gradient Problem) (0) | 2024.02.05 |
| 경사하강법(gradient descent) (0) | 2024.02.05 |