알버트의 이상한 연구소

3월 하반기에는 논문을 작성하느라 논문을 참 많이 읽은 것 같다. 그중에서 논문에서 내가 사용한 방법론과 연관된 논문 세개만 뽑아서 리뷰아닌 리뷰?를 해보고자 한다. 1. Extractive Financial Narrative Summarisation using sentenceBERT-Based Clustering Introduction Financial Narrative Summarisation Shared Task for 2021 출품작 London Stock Exchange에 상장된 기업들의 Annual Report에 대한 automatic summarisation Annual Report는 First Section- Narrative(Textual Information and reviews by ..

BERT + RoBERTa Brief Introduction to BERT and RoBERTa BERT Abstract & Introduction BERT는 Bidirectional Encoder Representations from Transformers의 줄임말로 Transformer의 Encoder architecture를 활용한 모델이다. BERT는 양방향으로 unlabeled된 data를 학습하였으며, BERT는 단순히 additional한 one output layer를 추가함으로써 쉽게 fine-tuning할 수 있는 모델이다. Pre-trained LM을 활용하는 전략은 현재 두가지가 있는데, 바로 feature-based와 fine-tuning이라고 할 수 있다. feature-base..