기울기 소실 문제(Vanishing Gradient Problem)

1. 정의

• 심층신경망의 역전파 알고리즘을 이용한 학습 시 앞쪽의 은닉층으로 오차가 거의 전달되지 않는 현상

 

2. 발생원인 및 해결방안

가. 발생원인

• Layer(층) 깊이 측면 : 복잡한 문제 해결 위한 층 확장 국부해(Local Minimum) 수렴, 최적해 수렴 시 반복 계산 증가
• 활성함수 측면 : Sigmoid 함수의 “Squash” 특성, 역전파 시 최대 미분 값 0.25, 층 반복 시 0 수렴

나. 해결방안  -  효개 메사미음