알버트의 이상한 연구소

BERT + RoBERTa Brief Introduction to BERT and RoBERTa BERT Abstract & Introduction BERT는 Bidirectional Encoder Representations from Transformers의 줄임말로 Transformer의 Encoder architecture를 활용한 모델이다. BERT는 양방향으로 unlabeled된 data를 학습하였으며, BERT는 단순히 additional한 one output layer를 추가함으로써 쉽게 fine-tuning할 수 있는 모델이다. Pre-trained LM을 활용하는 전략은 현재 두가지가 있는데, 바로 feature-based와 fine-tuning이라고 할 수 있다. feature-base..

한동안 텍스트북과 인터넷 강의로만 자연어 처리 기술을 보다보니 중요한 걸 잊어가는 것 같아서 2월 3주차부터 주당 논문 2개 읽기 실천을 시작하였다. 원래대로라면 각 논문들을 읽고 요약같은걸 남겨야 제대로된 테크 블로그지만 삶이 팍팍하여 아카이빙 용도로 어떤 논문을 읽었는지 남겨두려고 한다. 일단 과거에 읽어보았던 논문들을 다시 보는것부터 논문 읽기를 시작하였다. 1) Attention is all you need Transformer 기반으로 된 다양한 거대 모델이 NLP 뿐만 아니라 CV에서도 무쌍을 찍고 있는 요즘, 그 모태가 되는 논문을 다시 읽어보았다. Transformer는 Machine Translation에서 Attention만을 이용하여 효과적으로 RNN을 제거하였다. RNN을 제거함으로..