bert 썸네일형 리스트형 [E-13] Bert 들어가며¶ BERT 논문 오늘은 BERT 모델 구조를 살펴보고, Pretrained Model을 활용하여 한국형 SQuAD인 KorQuAD task를 수행하는 모델을 학습해보자. 이 과정을 통해 Contextual Word Embedding의 개념과 자연어처리 분야의 최근 트렌드인 전이 학습 활용 방법까지 숙지해보자. 전제 조건 Keras를 활용한 모델 구성 및 학습 진행 방법을 숙지하고 있다. LSTM의 개념을 이해하고 모델 구성에 활용할 수 있다. Transformer 모델 구조와 Attention의 개념에 대해 이해하고 있다. 학습 목표 Transformer Encoder로 이루어진 BERT의 모델 구조를 이해한다. Pretrained embedding 접근 방식에 대해 이해한다. Pretraine.. 더보기 이전 1 다음