[NLP] RNN(순환 신경망)

저번 장에서는 word2vec에 대해서 살펴보았다. word2vec은 타깃 단어에 대해서 주변 문맥 단어(정보)를 입력하고 이를 단서로 활용하여 타깃을 예측하는 모델이었다. word2vec의 단점은, 주변 문맥 단어를 특정 크기(ex) 2)의 윈도우로 한정 짓기 때문에 큰 맥락 관점에서 문장을 이해하지 못할 수 있다. 반면에 RNN(순환 신경망)은 각 시점(time)에 따라서 은닉 상태(hidden state)를 다음 시점(time)으로 전파함으로써 전체 문맥 정보를 기억한다는 장점을 가진 모델이다. 이제부터 순환신경망을 구현해보자. import numpy as np class RNN: def __init__(self, Wx, Wh, b): self.params = [Wx, Wh, b] self.grad..

2023.02.22