AITIMES_NLP

201810 GOOGLE BERT

 

범용 모델 아키텍처 + 범용 학습데이터 (머신리소스 투자)

1) 모델 아키텍처 : 범용 딥러닝 모듈 아키텍처인 Transformer를 사용

 * 구글이 2017년에 발표 

2) 학습 데이터 :  범용 코퍼스를 사용

 * pre-training에 사용한 데이터는 BooksCorpus (800M 단어)와 English Wikipedia (2,500M 단어)

https://medium.com/ai-networkkr/최첨단-인공지능-솔루션들-1-구글-bert-인간보다-언어를-더-잘-이해하는-ai-모델-9704ebc016c4