transformers 라이브러리의 model.generate 사용시 발생한 에러입니다. 이 메시지가 나온 상태에서 멈춰서 진행이 되지 않았습니다. 모델은 젬마(gemma)를 사용했습니다.
This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (8192). Depending on the model, you may observe exceptions, performance degradation, or nothing at all.
Deepl을 사용하여 번역해봤습니다.
현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(8192)를 초과한다는 알림입니다. 모델에 따라 예외, 성능 저하 또는 아무것도 발생하지 않을 수 있습니다.
모델에 따라서는 무시해도 된다는 의미인데.. gemma의 경우엔 멈췄네요.
2024. 2. 29 최초작성
구글링해도 마땅한 자료가 없더라구요.
그나마 찾은 자료도 무시해도 된다며 문제없다는 얘기만 하네요.
https://huggingface.co/namespace-Pt/activation-beacon-llama2-7b-chat
NOTE: It's okay to see warnings like This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (4096). Depending on the model, you may observe exceptions, performance degradation, or nothing at all. Just ignore it.
참고: 현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(4096)를 초과합니다(이것은 친절한 알림입니다)와 같은 경고가 표시되어도 괜찮습니다. 모델에 따라 예외, 성능 저하 또는 아무것도 표시되지 않을 수도 있습니다. 그냥 무시하세요.
메시지를 곰곰히 생각해보니 모델에서 사전 정의된 최대 길이를 초과한 텍스트가 생성되어 문제가 발생했다는 생각이 들었습니다.
model.generate의 경우 입력으로 사용된 프롬프트에 결과값이 추가되어 출력되기 때문에 입력으로 사용된 프롬프트가 길어지면 문제가 생기는 것으로 예상했습니다.
다행히 입력으로 사용된 프롬프트의 길이를 줄여주니 문제가 해결되었습니다.
'Deep Learning & Machine Learning > HuggingFace & Transformer' 카테고리의 다른 글
| Sentence Transformers 사용방법 (2) | 2025.01.05 |
|---|---|
| LLM 모델을 다루는 Transformers 라이브러리 간단히 살펴보기 (0) | 2024.03.01 |
| colab에서 transformers 라이브러리로 LLM 학습시 checkpoint 사용하기 (0) | 2024.02.27 |
| Transformer 개념 정리 - Attention is all you need (0) | 2023.11.11 |
시간날때마다 틈틈이 이것저것 해보며 블로그에 글을 남깁니다.
블로그의 문서는 종종 최신 버전으로 업데이트됩니다.
여유 시간이 날때 진행하는 거라 언제 진행될지는 알 수 없습니다.
영화,책, 생각등을 올리는 블로그도 운영하고 있습니다.
https://freewriting2024.tistory.com
제가 쓴 책도 한번 검토해보세요 ^^
