자연어 처리

[2월에 읽은 논문들] Transformer, Bahdanau Attention, Comparison of PTLM, etc

Hanwool Albert 2022. 2. 27. 16:45

한동안 텍스트북과 인터넷 강의로만 자연어 처리 기술을 보다보니 중요한 걸 잊어가는 것 같아서

 

2월 3주차부터 주당 논문 2개 읽기 실천을 시작하였다.

 

원래대로라면 각 논문들을 읽고 요약같은걸 남겨야 제대로된 테크 블로그지만

 

삶이 팍팍하여 아카이빙 용도로 어떤 논문을 읽었는지 남겨두려고 한다.

 

일단 과거에 읽어보았던 논문들을 다시 보는것부터 논문 읽기를 시작하였다.

 

1) Attention is all you need

 

Attention is all you need

Transformer 기반으로 된 다양한 거대 모델이 NLP 뿐만 아니라 CV에서도 무쌍을 찍고 있는 요즘, 그 모태가 되는 논문을 다시 읽어보았다.

 

Transformer model architecture

Transformer는 Machine Translation에서 Attention만을 이용하여 효과적으로 RNN을 제거하였다. RNN을 제거함으로써 학습 속도를 향상시키고 퍼포먼스 역시 증가시키는 결과를 낳았다. Transformer는 Self-Attention을 품은 Multi-head Attention을 활용하여 Input Embedding을 여러 각도에서 조망하고, 효과적인 Encoding을 실시한다. Positional Encoding은 RNN요소를 제거했기 때문에, Input Embedding에 순서를 넣어주기 위하여 Sinusodial한 Vector를 더해준다.(Concatenate하는게 낫지 않나, 라고 생각했는데 더 생각해보니 더해주는게 맞았다) 

 

매번 볼 때마다 새로운 요소가 보이는 논문이었다. 

 

2) Neural Machine Translation by jointly learning to align and translate

Bahdanau Attention

  Attention에 대한 내용을 추가적으로 학습하고자 Badanau Attention이 소개된 이 논문을 읽게 되었다. 이는 Neural Machine Translation 분야의 제안 모델로서, 기존에 fixed-length context vector를 이용한 방법이 병목현상(bottleneck)을 일으켜 긴 문장 등을 번역할때 성능이 하락하던 것을 해결하려고 한 논문이다. 이 논문에서는 target word에 대한 부분을 soft-search 하는 architecture를 제안한다. 

 여기서는 공동으로 정렬하고 번역하는 방법을 통해, target word를 생성할 때 마다 source sentence에서 가장 정보가 집중된 포지션들을 soft search한다. 

 이를 위해 encoder에는 양방향(bidirectional RNN)을 사용하였고, decoder에는 source sentence를 search하는 architecture를 사용하였다. 

 

 Transformer 이전의 attention을 이용한 방법론들을 살펴보는 김에 보았다. 

 

3) A comparison of Pre-trained Language Models for Multi-Class Text Classification in the Financial Domain

article

BERT 및 여러 BERT의 파생 pretrained 모델들이 Financial Domain에서 Multi-class Text Classification에 얼마나 성능을 보이는지 비교한 논문이다. 사용된 모델에는 BERT, DistilBERT, RoBERTa, XLNet, XLM, FinBERT가 있다. 단순히 성능을 비교한 논문이었기 때문에 큰 내용은 없었지만, Domain-Specific한 Model인 FinBERT가 financial Domain의 분류 작업에서 다른 BERT 파생모델에 비해 나은 성능을 보이지 않았다는 것이 조금 놀라웠다. 

 

 

 

 

 

사용중인 태블릿 pc에 논문은 잔뜩 다운받아놨으면서 끝까지 읽는 논문은 고작 이 세개밖에 없다니

 

이런 자신에게 부끄러움을 느끼며

 

3월달에는 더욱 정진해야겠다.