목록개념 정리/머신러닝 & 딥러닝 & A.I (12)

정리 노트

LSTM(Long Short Term Memory)

이 포스트는 국민대학교 소프트웨어학부 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! LSTM은 RNN에 대한 기초적인 지식을 요구하기 때문에 RNN에 관련한 글을 읽고 이 글을 읽으시는 것을 추천드립니다. 제가 저번에 썼던 글을 읽으셔도 괜찮습니다. 2022.12.12 - [개념 정리/머신러닝 & 딥러닝 & A.I] - RNN(Recurrent Neural Network) LSTM을 사용하는 이유 저희에게 아주 긴 문장을 RNN의 입력으로 넣는다고 합시다. 예를 들어 "글쓴이는, 어제는 친구와 PC방을 다녀왔고, 그저께는 마트에 가서 라면을 사 오고, 그 전날은 대학교 친구들과 함께 밤을 새우면서 과제를 같이 했..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 12. 13. 01:42
RNN(Recurrent Neural Network)

이 포스트는 국민대학교 소프트웨어학부 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! RNN은 CNN이나 GAN과 다르게 순차 데이터(시간성 데이터)를 처리하는데 특화된 딥러닝 모델의 구조입니다. 순차 데이터는 동적이며 보통은 길이가 가변적입니다. 예를 들어 음성 신호, 주식 시세, 심전도 신호 등이 시간성 데이터라 할 수 있습니다. 순차 데이터를 표현하는 방법은 제가 저번에 적었던 글을 참고하셔도 됩니다. 2022.08.15 - [[TIL]국민대X프로그래머스 여름방학 인공지능 과정] - 31일 차(2022/08/15) RNN(순환 신경망)의 3가지 필수 기능 순환 신경망에서는 기본적으로 3가지의 필수 기능들을 갖..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 12. 12. 23:20
GAN

이 글은 국민대학교 소프트웨어학부 '컴퓨터 비전' 강의를 듣고 요약하는 글입니다. 실제로 원하시는 정보가 여기에 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적 매우 환영합니다! 이번 글에서는 GAN 모델이 무엇인지에 대해 적어보겠습니다. GAN(Generative Adversarial Networks) GAN은 쉽게 말해 '생성 모델'입니다. 기본적인 DNN이나 CNN 구조에서는 입력을 특정 레이블로 분류하는데 목적을 둔 분별 모델(discriminative model)입니다. 즉, 입력으로 주어지는 이미지(X)가 어떤 레이블(Y)인지 예측해야 하므로 P(Y | X)를 추정하는 것이 목적입니다. 분별 모델은 P(X), 이미지들이 어떠한 분포를 가지고 있는지에 대해서는 예측할 수 없습니다. 그래서..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 12. 11. 23:45
확률적 경사 하강법의 변형들

이 포스트는 국민대학교 소프트웨어학부 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! 2022.10.20 - [개념 정리/머신러닝 & 딥러닝 & A.I] - 확률적 경사 하강(SGD) 확률적 경사 하강(SGD) 이 포스트는 국민대학교 소프트웨어학부 '컴퓨터 비전' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 질문과 오류 지적은 매우 환영합니다! G study-note-99.tistory.com 이번 글에서는 확률적 경사 하강법의 변형들을 살펴보겠습니다. 확률적 경사 하강법에 대한 내용은 제가 전에 적었던 글을 읽고 오시면 조금이나마 감을 잡으실 수 있을 것입니다...
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 12. 10. 15:35
배치 정규화(Batch Normalization)

이 포스트는 국민대학교 소프트웨어학부 '컴퓨터 비전' 강의와 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! 딥러닝 모델을 구현하거나 모델의 구조를 본 적이 있는 사람들은 Batch Normalization을 사용한 모델들을 몇 번 보셨을 것입니다. 예를 들어 ResNet이라 하는 CNN 구조를 따르는 모델이 있습니다. Pytorch에서 제공하는 resnet 모델의 구조를 살펴보면 'BatchNorm2d'를 통해 배치 정규화를 적용했음을 확인할 수 있습니다. 이번 글을 통해 배치 정규화가 왜 등장했고, 배치 정규화가 무엇인지에 대해 알아보려 합니다. 배치 정규화를 하는 이유 이 이유를 알기 위해서는 2가지 개념에 ..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 12. 4. 16:23
Computational Graph(연산 그래프)

이 포스트는 국민대학교 소프트웨어학부 '컴퓨터 비전' 강의와 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! 딥 러닝 모델에서 진행되는 역전파 단계에서는 chain rule에 의해 얽혀 있는 수많은 파라미터들에 대한 편미분이 진행됩니다. 이 편미분들을 하나하나 손으로 계산하는 건 불가능합니다. 여기에서 나오는 아이디어가 computational graph입니다. 연산 그래프란 무엇인가? 연산 그래프는 forward 연산이 진행되는 과정을 그래프로 표현한 것입니다. 예를 들어 아래와 같이 computational graph를 그려볼 수 있습니다. 이런 식으로 그래프를 그리면 각 동그라미(노드)들을 하나의 모듈처럼 다..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 11. 25. 17:46
규제(Regularize)

이 포스트는 국민대학교 소프트웨어학부 '컴퓨터 비전' 강의와 '인공지능' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 오류 지적은 매우 환영합니다! 모델을 학습시킬 때 항상 overfitting(과적합)에 대해 생각해야 합니다. Overfitting 현상을 막는 방법은 여러 가지가 있고, 이 글에서는 규제에 대해 얘기하려 합니다. 규제 기법들도 여러 가지가 존재합니다. 가중치 벌칙(L1 norm, L2 norm 사용) Dropout 조기 멈춤(Early stopping) 데이터 확대: 매우 큰 훈련 집합을 사용(데이터 수집은 비용이 많이 듦) -> 가지고 있는 데이터를 인위적으로 변형 앙상블 기법: 여러 가지 모델들을 사용하는 방법 Regularizer..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 11. 25. 01:40
확률적 경사 하강(SGD)

이 포스트는 국민대학교 소프트웨어학부 '컴퓨터 비전' 강의를 듣고 요약하는 포스트입니다. 원하시는 정보가 없을 수도 있습니다. 이 점 유의 바랍니다. 질문과 오류 지적은 매우 환영합니다! Gradient Descent(경사 하강) 손실 함수를 MSE Loss(오차 제곱의 평균), f라고 하고, 변경해야 할 값을 w라고 할 때 $$ w = w - \alpha * \frac{\partial f} {\partial w} $$의 식을 통해서 고쳐 나갑니다. MSE 손실 함수(아래 식에서의 'f')는 dataset의 모든 값들을 보고 오차를 계산합니다. $$ f(w) = \frac{1} {N} \sum_{i = 1}^{n} g^{(i)}(y(x^{(i)}, w), t^{(i)}) \quad \text{(} x^{..
개념 정리/머신러닝 & 딥러닝 & A.I 2022. 10. 20. 18:51
이전 Prev 1 2 Next 다음