nlp 4

[A Short Survey Of NAVER AI NLP] 초기의 네이버 클로바 NLP 논문 읽기! (1) 2017년

안녕하세요 알버트의 이상한 연구소 블로그를 운영하는 이한울(알버트)이라고 합니다. 네이버는 2022년 현재 이견없이 대한민국 최고이자 아시아 탑클래스의 AI 연구실적을 보여주고 있습니다. CVPR, ICLR, EMNLP뿐만 아니라 NAACL에서도 많은 논문들이 채택되고 있죠! NLP를 공부하는 저도 항상 네이버의 뛰어난 연구성과를 보며 '나는 언제쯤 저런 연구들을 해볼 수 있을까?' 하는 생각들을 품었습니다. 그러던 도중, '과연 네이버의 AI는 어떻게 성장해왔을까?' 라는 의문이 들어 과거의 네이버 AI 논문들을 한번 다 읽어볼까? 라는 무식한 방법을 생각해냈습니다. 그리고 읽으며 포스트를 쓰기 시작했습니다. [A Short Survey Of NAVER AI NLP] 네이버 클로바에서 출판한 논문들을 ..

이상한 연구실 2022.06.03

[3월 상반기에 읽은 논문들] Deep Learning for sentiment analysis, Financial Text Data Analytics Framework, etc

주당 논문 2개 이상 읽기를 여전히 실천중이다. 3월 첫째 주에 읽은 BERT와 RoBERTa는 논문 요약을 게시하였기 때문에 이 포스트에서 제외하였다. 1) Deep Learning for Sentiment Analysis : A Survey Fin-NLP 분야의 논문들은 대부분 토픽모델링(LDA)과 감성 분석을 이용한 논문들이 많다. 감성분석의 기본적인 내용들은 알고 있었지만, 다양한 감성분석의 기본과 여러 기술들을 파악하기 위해서 해당 survey paper를 읽게 되었다. 2020년에 나온 논문이지만 Transformer 기반 모델들에 대해서는 자세히 다루고 있지는 않다. 하지만 감성분석을 위한 딥러닝 및 워드 임베딩에 대한 개념도 다루고 있고 다양한 감성분석의 sub-field도 다루고 있어서 ..

자연어 처리 2022.03.17

[논문 요약] BERT + RoBERTa 같이 보기

BERT + RoBERTa Brief Introduction to BERT and RoBERTa BERT Abstract & Introduction BERT는 Bidirectional Encoder Representations from Transformers의 줄임말로 Transformer의 Encoder architecture를 활용한 모델이다. BERT는 양방향으로 unlabeled된 data를 학습하였으며, BERT는 단순히 additional한 one output layer를 추가함으로써 쉽게 fine-tuning할 수 있는 모델이다. Pre-trained LM을 활용하는 전략은 현재 두가지가 있는데, 바로 feature-based와 fine-tuning이라고 할 수 있다. feature-base..

자연어 처리 2022.03.06

[2월에 읽은 논문들] Transformer, Bahdanau Attention, Comparison of PTLM, etc

한동안 텍스트북과 인터넷 강의로만 자연어 처리 기술을 보다보니 중요한 걸 잊어가는 것 같아서 2월 3주차부터 주당 논문 2개 읽기 실천을 시작하였다. 원래대로라면 각 논문들을 읽고 요약같은걸 남겨야 제대로된 테크 블로그지만 삶이 팍팍하여 아카이빙 용도로 어떤 논문을 읽었는지 남겨두려고 한다. 일단 과거에 읽어보았던 논문들을 다시 보는것부터 논문 읽기를 시작하였다. 1) Attention is all you need Transformer 기반으로 된 다양한 거대 모델이 NLP 뿐만 아니라 CV에서도 무쌍을 찍고 있는 요즘, 그 모태가 되는 논문을 다시 읽어보았다. Transformer는 Machine Translation에서 Attention만을 이용하여 효과적으로 RNN을 제거하였다. RNN을 제거함으로..

자연어 처리 2022.02.27