201810 GOOGLE BERT
범용 모델 아키텍처 + 범용 학습데이터 (머신리소스 투자)
1) 모델 아키텍처 : 범용 딥러닝 모듈 아키텍처인 Transformer를 사용
* 구글이 2017년에 발표
2) 학습 데이터 : 범용 코퍼스를 사용
* pre-training에 사용한 데이터는 BooksCorpus (800M 단어)와 English Wikipedia (2,500M 단어)
https://medium.com/ai-networkkr/최첨단-인공지능-솔루션들-1-구글-bert-인간보다-언어를-더-잘-이해하는-ai-모델-9704ebc016c4
