2022/03 2

[3월 상반기에 읽은 논문들] Deep Learning for sentiment analysis, Financial Text Data Analytics Framework, etc

주당 논문 2개 이상 읽기를 여전히 실천중이다. 3월 첫째 주에 읽은 BERT와 RoBERTa는 논문 요약을 게시하였기 때문에 이 포스트에서 제외하였다. 1) Deep Learning for Sentiment Analysis : A Survey Fin-NLP 분야의 논문들은 대부분 토픽모델링(LDA)과 감성 분석을 이용한 논문들이 많다. 감성분석의 기본적인 내용들은 알고 있었지만, 다양한 감성분석의 기본과 여러 기술들을 파악하기 위해서 해당 survey paper를 읽게 되었다. 2020년에 나온 논문이지만 Transformer 기반 모델들에 대해서는 자세히 다루고 있지는 않다. 하지만 감성분석을 위한 딥러닝 및 워드 임베딩에 대한 개념도 다루고 있고 다양한 감성분석의 sub-field도 다루고 있어서 ..

자연어 처리 2022.03.17

[논문 요약] BERT + RoBERTa 같이 보기

BERT + RoBERTa Brief Introduction to BERT and RoBERTa BERT Abstract & Introduction BERT는 Bidirectional Encoder Representations from Transformers의 줄임말로 Transformer의 Encoder architecture를 활용한 모델이다. BERT는 양방향으로 unlabeled된 data를 학습하였으며, BERT는 단순히 additional한 one output layer를 추가함으로써 쉽게 fine-tuning할 수 있는 모델이다. Pre-trained LM을 활용하는 전략은 현재 두가지가 있는데, 바로 feature-based와 fine-tuning이라고 할 수 있다. feature-base..

자연어 처리 2022.03.06