the current text generation call will exceed the model's predefined maximum length 해결방법

transformers 라이브러리의 model.generate 사용시 발생한 에러입니다. 이 메시지가 나온 상태에서 멈춰서 진행이 되지 않았습니다. 모델은 젬마(gemma)를 사용했습니다.

 

This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (8192). Depending on the model, you may observe exceptions, performance degradation, or nothing at all.

 

Deepl을 사용하여 번역해봤습니다.

 

현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(8192)를 초과한다는 알림입니다. 모델에 따라 예외, 성능 저하 또는 아무것도 발생하지 않을 수 있습니다.

 

모델에 따라서는 무시해도 된다는 의미인데.. gemma의 경우엔 멈췄네요.

2024. 2. 29 최초작성

구글링해도 마땅한 자료가 없더라구요. 

그나마 찾은 자료도 무시해도 된다며 문제없다는 얘기만 하네요.

 

https://huggingface.co/namespace-Pt/activation-beacon-llama2-7b-chat 

 

NOTE: It's okay to see warnings like This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (4096). Depending on the model, you may observe exceptions, performance degradation, or nothing at all. Just ignore it.

참고: 현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(4096)를 초과합니다(이것은 친절한 알림입니다)와 같은 경고가 표시되어도 괜찮습니다. 모델에 따라 예외, 성능 저하 또는 아무것도 표시되지 않을 수도 있습니다. 그냥 무시하세요.

메시지를 곰곰히 생각해보니 모델에서 사전 정의된 최대 길이를 초과한 텍스트가 생성되어 문제가 발생했다는 생각이 들었습니다. 

model.generate의 경우 입력으로 사용된 프롬프트에 결과값이 추가되어 출력되기 때문에 입력으로 사용된 프롬프트가 길어지면 문제가 생기는 것으로 예상했습니다. 

다행히 입력으로 사용된 프롬프트의 길이를 줄여주니 문제가 해결되었습니다.