문장의 유사도를 비교시 사용할 수 있는 Sentence Transformers 사용 방법을 다룹니다. 다음 문서를 기반으로 작성했습니다. Quickstart https://www.sbert.net/docs/quickstart.html#comparing-sentence-similarities 2024. 3. 2 최초작성 다음처럼 sentence-transformers 패키지를 설치해야 합니다. pip install sentence-transformers 테스트 해볼떄 기본 파이썬 환경과 독립적으로 패키지를 설치할 수 있는 Miniconda 사용을 추천합니다. Visual Studio Code와 Miniconda를 사용한 Python 개발 환경 만들기( Windows, Ubuntu) https://webna..

허깅페이스의 다음 문서를 정리했습니다. transformers 라이브러리를 사용하여 LLM을 사용하는 모든 것을 다루지는 않습니다. 좀 더 상세한 문서를 보기 전에 보면 좋을듯합니다. 원문에 있던 모델 파인튜닝하고 저장하는 방법은 제외했습니다. Quick tour https://huggingface.co/docs/transformers/quicktour 문서버전 V4.37.2 2024. 3. 1 최초작성 Transformer 라이브러리를 사용하면 다양한 작업을 다루는 사전학습된 대규모 언어 모델(Large Language Models, LLM)를 쉽게 다뤄볼 수 있습니다. 허깅페이스 허브( https://huggingface.co/models )에 공개된 다양한 작업의 사전학습된 모델을 로드하여 추론해볼..

transformers 라이브러리의 model.generate 사용시 발생한 에러입니다. 이 메시지가 나온 상태에서 멈춰서 진행이 되지 않았습니다. 모델은 젬마(gemma)를 사용했습니다. This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (8192). Depending on the model, you may observe exceptions, performance degradation, or nothing at all. Deepl을 사용하여 번역해봤습니다. 현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(8192)를 초과한다는 알림입니다. 모델에..

코랩 colab에서 transformers 라이브러리로 LLM 학습시 checkpoint 사용하는 방법을 정리해봤습니다. 2024. 2. 26 최초작성 2024. 2. 27 LLM(Large Language Models)에 대한 파인 튜닝, LoRA, QLoRA을 최근 코랩에서 진행하다보니 그동안 신경안쓰던 체크포인트를 사용할 일이 생겼습니다. 코랩에서 학습을 진행하다보면 런타임 연결이 끊어져서 학습이 중단되는 경우가 종종 발생하기 때문입니다. 모델을 학습하는 중간 결과물인 체크포인트를 저장하면 학습이 중단되었을 경우 이어서 학습을 진행할 수 있더군요. transformers 라이브러리를 사용할시에는 TrainingArguments에서 체크포인트에 대한 설정을 다음처럼 할 수 있습니다. transform..

Transformer 개념에 대해 정리한 글입니다. 2023. 11. 11 최초작성 시퀀스 데이터(sequence data) 시퀀스 데이터는 “나는 고양이가 좋다”처럼 순서가 있는 단어의 나열이나 하루의 온도 같은 순서가 있는 수치의 나열 등을 의미합니다. 본 글에서는 시퀀스 데이터를 단어의 나열로 구성된 문장 또는 문장으로 구성된 텍스트를 의미한다고 가정하겠습니다. 시퀀스 변환(sequence transduction) 모델 시퀀스 변환 모델은 시퀀스 데이터를 입력으로 사용하여 다른 형태의 시퀀스 데이터를 출력하는 모델을 의미합니다. 예를 들어 영어 문장 "Hello, how are you?”을 입력으로 사용하여 한국어 문장 "안녕하세요, 어떻게 지내세요?”를 출력하는 것입니다. 또는 문서를 짧은 글로 ..