기울기 폭발을 해결하기 위한 클리핑과 관련된 논문(On the difficulty of training Recurrent Neural Networks) 을 확인해봅시다.

PyTorch LSTM 라이브러리 설명을 확인해봅시다.

추가 공부 링크 연결하기

Vanishing Gradient 문제는 꼭 RNN 알고리즘에서만 발생되는 것이 아닙니다. Activation Function 관점에서 Vanishing Gradient 문제를 해결하는 방법을 찾아보시기 바랍니다.