정리 노트

이 포스트는 국민대학교 소프트웨어학부 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! LSTM은 RNN에 대한 기초적인 지식을 요구하기 때문에 RNN에 관련한 글을 읽고 이 글을 읽으시는 것을 추천드립니다. 제가 저번에 썼던 글을 읽으셔도 괜찮습니다. 2022.12.12 - [개념 정리/머신러닝 & 딥러닝 & A.I] - RNN(Recurrent Neural Network) LSTM을 사용하는 이유 저희에게 아주 긴 문장을 RNN의 입력으로 넣는다고 합시다. 예를 들어 "글쓴이는, 어제는 친구와 PC방을 다녀왔고, 그저께는 마트에 가서 라면을 사 오고, 그 전날은 대학교 친구들과 함께 밤을 새우면서 과제를 같이 했..

언어 모델 문장(시퀀스)에 확률을 부여하는 모델로 특정 상황에서의 적절한 문장이나 단어를 예측할 수 있습니다. ex) P(난 널 사랑해 | I love you) > P(난 널 싫어해 | I love you) P(먹었다 | 나는 밥을) > P(싸웠다 | 나는 밥을) 하나의 문장(W)은 여러 단어들(w)로 구성된다. P(W) = P(w1, w2, w3, ..., wn) (n은 자연수) 그래서 이를 결합 확률로 표현할 수 있고 연쇄 법칙을 적용할 수 있습니다. 연쇄 법칙 P(w1, w2, w3, ..., wn) = P(w1) * P(w2 | w1) * P(w3 | w1, w2), ..., P(wn | w1, w2, ..., w(n-1)) (n은 자연수) ex) P(친구와 친하게 지낸다) = P(친구와, 친하게..

LSTM(Long Short-Term Memory) 아키텍처 RNN 아키텍처를 사용하면 토큰 사이의 거리가 먼 경우에 연속적인 정보가 잘 전달되지 않을 수 있습니다. LSTM은 RNN과 달리 두 개의 상태 정보를 저장하고 처리합니다. 두 상태 정보를 각각 장기 기억(Cell State), 단기 기억(Hidden State)이라 부릅니다. LSTM에서는 여러 게이트들이 있습니다. Forget Gate: 어떤 정보를 잊게 만들지 결정하는 레이어로 오래된 정보 중 필요 없는 정보는 잊게 됩니다. Input Gate: 새 정보를 장기 기억에 반영하는 역할로 새롭게 특정 정보를 기억하게 만듭니다. Cell State는 Forget Gate와 Input Gate에 의해 갱신됩니다. Output Gate는 Cell ..