전체 글 (4) 썸네일형 리스트형 [It's Time] 10월 활동 - 2차 정기회의, 잇타 MT (feat. 캐치카페) 보호되어 있는 글입니다. [논문리뷰]Attention_Neural Machine Translation by Jointly Learning to Align and Translate 논문 원본 arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the tra arxiv.org BACKGROUND 규칙 기반 기계 번역(RBMT, ru.. [논문리뷰]LSTM [논문초록 해석] RNN에서 긴 간격의 정보를 저장하려면 역전파가 시간도 오래 걸리고, 기울기 소실 문제가 발생함. 호흐라이터의 1991년 연구를 참고해 LSTM이라고 불리우는 방법을 고안함. LSTM은 특별한 유닛을 통해 1000개 이상의 타임 스탭에서도 안정적으로 오류를 제어할 수 있음. 여러 개의 게이트유닛으로 에러 흐름을 열고 닫도록 학습함. 복잡도는 타임 스텝과 가중치 당 O(1)임. 적절히 가공된 데이터로 실험을 했는데, 기존의 방법과 비교했을 때 더 성공적이며 빠름. LSTM은 또한 기존의 RNN으로 해결할 수 없었던 시간 지연 문제를 해결하였음. 1. RNN (1)RNN 개요 - 1980년대 처음 개념 제안됨 - ANN으로 시계열 문제 해결 어려움 해결 - 내부의 메모리를 이용해 시퀀스 형.. [논문리뷰]Efficient Estimation of Word Representations in Vector Space 논문 본문 링크↓ arxiv.org/abs/1301.3781 단어의 개념 위주로 작성을 하겠습니다. 1. Introduction N-gram모델 단어를 분해하는 방법 중 하나 문자열을 N개의 길이를 기준 단위로 절단하는 방법 통계적 언어 모델(SLM, Statistical Language Model)의 일종 이전에 등장한 모든 단어를 고려하는 것이 아니라 일부 단어만 고려하는 접근 방법을 사용 충분한 데이터를 관측하지 못하면 언어를 정확히 모델링하지 못하는 희소 문제(sparsity problem) 자동 음성 인식 등 많은 작업에서 한계를 갖는다 2. Model Architecture # 계산복잡도 O = E × T × Q O : training epochs의 수 T : training set의 단어 수.. 이전 1 다음
