기울기 소실 문제(Vanishing Gradient Problem) 1. 정의 심층신경망의 역전파 알고리즘을 이용한 학습 시 앞쪽의 은닉층으로 오차가 거의 전달되지 않는 현상 2. 발생원인 및 해결방안 가. 발생원인 Layer(층) 깊이 측면 : 복잡한 문제 해결 위한 층 확장 국부해(Local Minimum) 수렴, 최적해 수렴 시 반복 계산 증가 활성함수 측면 : Sigmoid 함수의 “Squash” 특성, 역전파 시 최대 미분 값 0.25, 층 반복 시 0 수렴 나. 해결방안 - 효개 메사미음 정보관리기술사/AI 2024.02.05
