트랜스포머 가계도

• 트랜스포머 모델은 기본적으로 인코더-디코더 구조를 기반으로 하지만
• 인코더와 디코더를 각각 떼어내어 '독립적' 으로 사용할 수도 있다!
• 3가지 구조
  • 인코더 모델
  • 디코더 모델
  • 인코더-디코더 모델

과연 어떤 특징을 가지고 있을까?

---

• 인코더와 디코더가 출력하는 값은 결국 각 토큰에 대한 hidden state (은닉 벡터) 다.
• 위 3구조의 출력형태가 같기 때문에 , 특정 작업(task)에 따라 적절한 구조를 선택할수 있게 되었다.

 

---

인코더 활용

• 타임스텝 마다 하나의 토큰을 생성하는 역할.
• 따라서, 어떤 작업이 시퀀스 데이터를 입력받아 '하나의 결괏값'을 출력해야 한다면 이 작업은 디코더로 적합하지 않다.
• 그러나, 이러한 작업은 인코더의 출력위에 밀집층과 같은 분류를 위한 층을 배치하여 해결해볼수 있다
• 활용예
  • 개체명인식 (NER) -> 인코더를 활용한 분류문제로 다룰수 있다.
  • 인코더는 두 텍스드의 유사도 측정하는 작업 (STS: Semantic Textual Similarity) 에도 사용 가능.

 

---

인코더-디코더 활용.

• '요약', '번역', 'QA챗봇' 과 같은 전형적인 sequence-to-sequence 작업에 사용.