Transformer 공부에 도움이 되는 자료들

Announcement: New Book by Luis Serrano! Grokking Machine Learning. bit.ly/grokkingML 40% discount code: serranoyt A friendly explanation of how computers predict and generate sequences, based on Recurrent Neural Networks. For a brush up on Neural Networks, check out this video: https://www.youtube.com/watch?v=BR9h47Jtqyw 0:00 A friendly introduction to Recurrent Neural Networks 1:38 A friendly introduction to Deep Learning and Neural Networks 2:11 Vectors 5:22 Perfect Roommate 7:13 Simple Neural Network 7:54 Simple (Recurrent) Neural Network 10:03 Cooking Schedule 11:47 More Complicated RNN 12:06 Food 13:31 Weather 14:38 Add 16:02 Merge 20:53 Start with random weights 21:05 Use Gradient Descent 21:41 New Error Function

*그림은 밑바닥부터 시작하는 딥러닝2를 참고했습니다* http://www.yes24.com/Product/Goods/72173703 밑바닥부터 시작하는 딥러닝 2 - YES24 직접 구현하면서 배우는 본격 딥러닝 입문서 이번에는 순환 신경망과 자연어 처리다! 이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데 www.yes24.com [목차] 1. 정의 2. 알고리즘 2.1 순전파 2.2 역전파 3. 기울기 소실 문제 1. 정의 RNN(Recurrent Neural Network)로, 은닉층에서 나온 결과값이 다시 은닉층으로 돌아가 새로운 입력값과 연산을 수행하는 순환구조입니다. 완전연결층(Fully Connected Layer), CNN(Convol..

오늘은 LSTM에 대해서 알아봅시다. '밑바닥부터 시작하는 딥러닝2' 책을 공부한 내용으로 설명했습니다. http://www.yes24.com/Product/Goods/72173703 밑바닥부터 시작하는 딥러닝 2 - YES24 직접 구현하면서 배우는 본격 딥러닝 입문서 이번에는 순환 신경망과 자연어 처리다! 이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데 www.yes24.com 목차는 아래와 같습니다. 1. LSTM 이란? 2. LSTM 대략적인 설명 3. LSTM 구현 1. LSTM 이란? LSTM은 RNN의 기울기 소실 문제를 방지하는 신경망입니다. RNN의 Hidden Layer에 기억 셀, Input/Output/Forget Gate를 ..

GRU(Gated Recurrent Unit) 셀은 2014년에 K. Cho(조경현) 등에 의해 논문에서 제안된 LSTM 셀의 간소화된 버전이라고 할 수 있다.주요 특징은,1) LSTM의 cell state가 없고 hidden state가 cell state의 역할까지

7장 시퀀스 모델링 부분은 예전에 DL을 공부하고 정리한 파트와 유사함. 2020/12/20 - [DATA/ML & DL] - [Deep Learning 01 ] 순환 신경망(Recurrent Neural Network, RNN) / 순차데이터(Sequential Data) / Vanilla Recurrent Network 2020/12/21 - [DATA/ML & DL] - [Deep Learning 02 ] LSTM ( Long Short - Term Memory ) 2020/12/26 - [DATA/ML & DL] - [Deep Learning 03 ] GRU ( Gated Recurrent Unit ) 7장. 시퀀스 모델링 시퀀스 모델링 ( sequential modeling ) : 시간 개념 또..

이번 실습은 케라스 함수형 API에 대한 이해가 필요합니다. 함수형 API(functional API, https://wikidocs.net/38861 )에 대해서 우선 숙지 후…

최근 10년 동안의 자연어 처리 연구 중에 가장 영향력이 컸던 3가지를 꼽는 서베이에서 여러 연구자들이 꼽았던 연구가 바로 2014년에 발표됐던 sequence-to-sequence (Seq2seq) + Attention 모델입니다 (Sutskever et al., 2014, Cho et al., 2014).