33일 차(2022/08/17)

LSTM(Long Short-Term Memory) 아키텍처

  RNN 아키텍처를 사용하면 토큰 사이의 거리가 먼 경우에 연속적인 정보가 잘 전달되지 않을 수 있습니다. LSTM은 RNN과 달리 두 개의 상태 정보를 저장하고 처리합니다. 두 상태 정보를 각각 장기 기억(Cell State), 단기 기억(Hidden State)이라 부릅니다.

  LSTM에서는 여러 게이트들이 있습니다.

• Forget Gate: 어떤 정보를 잊게 만들지 결정하는 레이어로 오래된 정보 중 필요 없는 정보는 잊게 됩니다.
• Input Gate: 새 정보를 장기 기억에 반영하는 역할로 새롭게 특정 정보를 기억하게 만듭니다.
• Cell State는 Forget Gate와 Input Gate에 의해 갱신됩니다.
• Output Gate는 Cell State와 현재 데이터를 이용해 단기 기억을 갱신합니다.

RNN(위)과 LSTM(아래): https://m.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS6074576268