<aside> 💫 ctrl+alt+t를 누르면 한 번에 여닫기를 할 수 있습니다.

개인적으로 정리하고 있던 자료와 합치다 보니, 다소 내용이 많은 점 참고 부탁 드립니다. 그리고 화이트 모드로 보는 것을 권장드립니다.

</aside>

<aside> 📢 < 목차 >

</aside>

0. 요약

전반적으로 이런 내용을 다뤄요

1. BERT의 기본 컨셉

1-1. BERT란

1-2. BERT's Usefulness

2. BERT의 동작 방식 및 구조

2-1. BERT의 이름 알아보기

2-2. 동작 방식

2-3. 구조

3. BERT의 사전 학습

3-1. BERT의 입력 표현

3-2. 사전 학습 전략

3-3. 사전 학습 절차

4. 하위 단어 토큰화 알고리즘

4-1. 하위 단어 토큰화를 하는 이유

4-2. 바이트 쌍 인코딩(BPE)

4-3. 바이트 수준 바이트 쌍 인코딩(BBPE)

4-4. 워드 피스

5. Code Review

Transformer(직접 구현)

BERT

6. 논문 리뷰

<aside> 💡 앞의 1~5까지 내용을 보시고 아래 내용을 보시면 아래 논문을 이해하기 쉬울 것 같습니다.

</aside>

BERT: Pre-training of Deep Bidirectional Transformers for Language...

1. Introduction (서론)

2. Related Work (관련 연구)

3. BERT (모델 설명)

4**. Experimental Results (실험 결과)**

5**. Ablation Studies (성능 분석)**

6**. Conclusion (결론)**

7. 추후 방향성

• 추가 정리 목표

8. 참고 링크

• 리스트

9. BERT 이전에 참고할 만한 논문

• 리스트

10. BERT 이후 관련 논문

• 파생 모델 1
• 파생 모델 2(지식 증류 기반)

11. 한국어 관련 LLM 모음

• 한국어 Task할 때 참고하면 좋아요
• 금융권 한국어 BERT 기반 LM 모델

12. 리뷰 후기

<aside> 💡 평소 NLP에 관심이 많아 BERT를 자주 마주치곤 했는데, 이번 기회에 자세하게 리뷰를 하면서 다시금 깊게 이해할 수 있어 좋은 경험이었습니다. 그리고 평소 전이 학습 된 모델을 주로 가져와서 쓰다 보니, 놓치는 점이 많았던 것 같았는데 이번 기회로 BERT 계열 모델들을 꾸준히 정리해보고자 합니다.

</aside>