Deep Learning & Machine Learning/HuggingFace & Transformer2023. 11. 11. 15:10Transformer 개념 정리 - Attention is all you need
Transformer 개념에 대해 정리한 글입니다. 2023. 11. 11 최초작성 시퀀스 데이터(sequence data) 시퀀스 데이터는 “나는 고양이가 좋다”처럼 순서가 있는 단어의 나열이나 하루의 온도 같은 순서가 있는 수치의 나열 등을 의미합니다. 본 글에서는 시퀀스 데이터를 단어의 나열로 구성된 문장 또는 문장으로 구성된 텍스트를 의미한다고 가정하겠습니다. 시퀀스 변환(sequence transduction) 모델 시퀀스 변환 모델은 시퀀스 데이터를 입력으로 사용하여 다른 형태의 시퀀스 데이터를 출력하는 모델을 의미합니다. 예를 들어 영어 문장 "Hello, how are you?”을 입력으로 사용하여 한국어 문장 "안녕하세요, 어떻게 지내세요?”를 출력하는 것입니다. 또는 문서를 짧은 글로 ..