딥러닝과 자연어처리 (DL & NLP)/논문읽기1 [논문읽기] RNN - Recurrent neural network based language model (2010) 논문 링크: https://www.fit.vut.cz/research/group/speech/public/publi/2010/mikolov_interspeech2010_IS100722.pdfAbstractSOTA backoff 언어 모델 대비 혼란도(perplexity)를 약 50% 줄일 수 있다.음성 인식 실험에서 Wall Street Journal task에서 동일 데이터일 때 오류율 18% 감소, NIST RT05 task에서 더 적은 데이터로 오류율 5% 감소했다.모델 훈련시 높은 계산 복잡도를 가진다는 점을 제외하면, RNN은 표준 n-gram 기술에 비해 우수하다.1. IntroductionSequential data Prediction(순차적 데이터 예측)통계적 언어 모델링의 목표는 주어진 .. 2024. 8. 18. 이전 1 다음
