RNN(Recurrent Neural Networks/순환 신경망)

1. 정의

• Hidden Node가 방향을 가진 엣지로 연결된 순환구조(directed cycle)를 통해 음성, 문자 등 순차적 데이터 학습, 처리를 위한 딥러닝 알고리즘
• 신경망 연결에 순환구조를 넣은것
• 연속된 데이터 상에서 이전 순서의 히든 노드(hidden node)의 값을 저장 이후, 다음 순서의 입력 데이터로 학습할 때 이전에 저장해 놓은 값을 이용

 

2. 개념도

 

3. RNN 기울기 소멸 문제(Vanishing Gradient Problem)

1.  RNN은 하나의 네트워크가 여러 개 복사된 형태를 띄고 있고 각각의 네트워크는 다음단계로 정보를 넘겨줌
2. 시간에 따라 학습이 진행됨에 따라 앞에서 인풋으로 받은 정보가 학습에 미치는 영향이 점검 감소하다가 결국 사라져 버림
3. 은닉층이 깊어질수록 장기 의존성 문제에 의해 학습 효율이 떨어져 LSTM으로 발전