티스토리

양's data
검색하기

블로그 홈

양's data

yaaang.tistory.com/m

yaaang 님의 블로그입니다.

구독자
0
방명록 방문하기

주요 글 목록

  • [논문리뷰]Attention_Neural Machine Translation by Jointly Learning to Align and Translate 논문 원본 arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the tra arxiv.org BACKGROUND 규칙 기반 기계 번역(RBMT, ru.. 공감수 0 댓글수 0 2021. 4. 8.
  • [논문리뷰]LSTM [논문초록 해석] RNN에서 긴 간격의 정보를 저장하려면 역전파가 시간도 오래 걸리고, 기울기 소실 문제가 발생함. 호흐라이터의 1991년 연구를 참고해 LSTM이라고 불리우는 방법을 고안함. LSTM은 특별한 유닛을 통해 1000개 이상의 타임 스탭에서도 안정적으로 오류를 제어할 수 있음. 여러 개의 게이트유닛으로 에러 흐름을 열고 닫도록 학습함. 복잡도는 타임 스텝과 가중치 당 O(1)임. 적절히 가공된 데이터로 실험을 했는데, 기존의 방법과 비교했을 때 더 성공적이며 빠름. LSTM은 또한 기존의 RNN으로 해결할 수 없었던 시간 지연 문제를 해결하였음. 1. RNN (1)RNN 개요 - 1980년대 처음 개념 제안됨 - ANN으로 시계열 문제 해결 어려움 해결 - 내부의 메모리를 이용해 시퀀스 형.. 공감수 1 댓글수 0 2021. 4. 1.
  • [논문리뷰]Efficient Estimation of Word Representations in Vector Space 논문 본문 링크↓ arxiv.org/abs/1301.3781 단어의 개념 위주로 작성을 하겠습니다. 1. Introduction N-gram모델 단어를 분해하는 방법 중 하나 문자열을 N개의 길이를 기준 단위로 절단하는 방법 통계적 언어 모델(SLM, Statistical Language Model)의 일종 이전에 등장한 모든 단어를 고려하는 것이 아니라 일부 단어만 고려하는 접근 방법을 사용 충분한 데이터를 관측하지 못하면 언어를 정확히 모델링하지 못하는 희소 문제(sparsity problem) 자동 음성 인식 등 많은 작업에서 한계를 갖는다 2. Model Architecture # 계산복잡도 O = E × T × Q O : training epochs의 수 T : training set의 단어 수.. 공감수 0 댓글수 0 2021. 3. 18.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.