코랩을 사용해본 후기입니다. 2022. 11. 10 최초작성2024. 2. 172024. 6. 19 변경된 하드웨어 반영. 일부 사용률도 변경됨2024. 10. 5 런팟 포스트 링크 추가글 작성 시점에서(2024. 6. 18) Colab 요금제 입니다. Colab Pro를 구독하지 않고 필요할때마다 충전해서 사용하는 Pay As You Go를 사용하고 있습니다. 이 글을 처음 작성할때에는(2022. 11. 10) Colab Pro를 구독했었습니다. 코랩 프로의 경우엔 매달 9.99달러가 지불되며 컴퓨팅 단위 100개를 받습니다. 신용카드를 등록한 후, 컴퓨팅 단위 100개를 구입할 수 있습니다. 사용가능한 하드웨어 가속기 종류는 다음과 같습니다. 성능은 A100 GPU > L4 GPU > T4..
코랩 colab에서 transformers 라이브러리로 LLM 학습시 checkpoint 사용하는 방법을 정리해봤습니다. 2024. 2. 26 최초작성 2024. 2. 27 LLM(Large Language Models)에 대한 파인 튜닝, LoRA, QLoRA을 최근 코랩에서 진행하다보니 그동안 신경안쓰던 체크포인트를 사용할 일이 생겼습니다. 코랩에서 학습을 진행하다보면 런타임 연결이 끊어져서 학습이 중단되는 경우가 종종 발생하기 때문입니다. 모델을 학습하는 중간 결과물인 체크포인트를 저장하면 학습이 중단되었을 경우 이어서 학습을 진행할 수 있더군요. transformers 라이브러리를 사용할시에는 TrainingArguments에서 체크포인트에 대한 설정을 다음처럼 할 수 있습니다. transform..
gemma 모델은 4가지가 공개되었으며 AutoModelForCausalLM와 AutoTokenizer를 사용해서 사용가능했습니다. 예제 코드는 모델 페이지에 있습니다. 7B base model https://huggingface.co/google/gemma-7b 2B base model https://huggingface.co/google/gemma-2b 7B instruct model https://huggingface.co/google/gemma-7b-it 2B instruct model https://huggingface.co/google/gemma-2b-it 2024. 2. 22 최초작성 2024. 2. 23 수정 2024. 2. 27 코랩에서 허깅페이스를 사용하여 gemma를 사용할 경우 허깅..
Ubuntu에서 문제 없는데 코랩 Colab에서 아래와 같은 메시지가 보였습니다. The model 'OptimizedModule' is not supported for text-generation. Supported models are ['BartForCausalLM', 'BertLMHeadModel', 'BertGenerationDecoder', 'BigBirdForCausalLM', 'BigBirdPegasusForCausalLM', 'BioGptForCausalLM', 'BlenderbotForCausalLM', 'BlenderbotSmallForCausalLM', 'BloomForCausalLM', 'CamembertForCausalLM', 'LlamaForCausalLM', 'CodeGenFo..
코랩 Colab에서 패키지 설치할 때 다음 에러 발생시 해결하는 방법입니다. NotImplementedError: A UTF-8 locale is required. Got ANSI_X3.4-1968 최초작성 2024. 2. 19 다음처럼 pip 앞에 두줄을 추가로 코드셀에 적으면 패키지를 문제없이 설치할 수 있습니다. import locale locale.getpreferredencoding = lambda: "UTF-8" !pip install transformers==4.28.1 참고 https://github.com/googlecolab/colabtools/issues/3409
코랩에서 구글 드라이브에 마운트하는 방법을 다룹니다. 2022. 12. 8 최초작성 다음 코드를 사용하여 구글 드라이브를 마운트합니다. from google.colab import drive drive.mount('/content/drive') 코랩에서 실행하면 다음 메시지창이 보입니다. Google Drive에 연결을 클릭합니다. 계정을 선택합니다. 허용을 클릭합니다. 마운트 되었다는 메시지가 보입니다. 다음 코드를 실행하면 구글 드라이브에 있는 파일과 폴더가 보입니다. !ls /content/drive/MyDrive/ 다음 코드를 실행하면 구글 드라이브에 존재하는 코랩을 위한 폴더에 포함된 파일과 폴더가 보입니다. !ls /content/drive/MyDrive/Colab\ Notebooks 구글 드..