목록self-attention (1)

바이오 대표

[ 논문 ] Transformer model - "Attention is All You need (NIPS 2017)"

이 논문은 자연어 처리 (Natural language processing, NLP)와 같이 연속적인 데이터 (sequential data) 분석에 최신 고성능 GPT, BERT 와 같은 모델들의 기반이되는 Attention만을 이용한 Transformer Model을 소개하는 논문이다. 과거에 사용했던 RNN 이나 CNN layer들을 제거하고 오직 Attention mechanism 만을 이용해서 더 좋은 성능을 얻어냈다. 장점: 입력 시퀀스 전체 정보를 활용 병렬 처리 (parallelizable) 빠름 Model ( Encoders + Decoders ) 여러개의 Encoder 와 Decoder 가 중첩으로 이용 (각 인코더 디코더의 input, output 의 dimension , 차원의 크기는..
논문 2021. 6. 22. 11:50
이전 Prev 1 Next 다음