Tensorflow Dataset의 일부만 사용하는 예제입니다. 2021. 12. 6 - 최초작성 2021. 12. 8 - 최종작성 import tensorflow_datasets as tfds # tensorflow dataset 'minst'의 train과 test를 각각 전체를 사용합니다. ds = tfds.load('mnist', split=['train', 'test']) print(len(ds[0]), len(ds[1])) # tensorflow dataset 'minst'의 train과 test를 각각 10%씩 사용합니다. ds = tfds.load('mnist', split=['train[:10%]', 'test[:10%]']) print(len(ds[0]), len(ds[1])) # te..

Tensorflow 학습 코드를 두개 동시에 실행하는 경우 model.fit에서 다음과 같은 에러가 나서 나중에 실행한 코드는 중단됩니다. tensorflow.python.framework.errors_impl.InternalError: Attempting to perform BLAS operation using StreamExecutor without BLAS support 2021. 12. 1 최초작성 다음 링크에서 가져온 다음 코드를 추가하면 Tensorflow 학습 코드 두개를 동시에 실행해도 에러가 나지 않습니다. 하지만 GPU 메모리 크기에 따라 실행에 문제가 생길 수 있습니다. https://github.com/tensorflow/tensorflow/issues/11812 import ten..

모델에 데이터를 공급하는 방식 중 하나인 tf.data.Dataset.from_generator를 살펴봅니다. 데이터가 너무 커서 메모리에 모두 로드할 수 없는 경우 데이터를 한번에 모두 읽어오는 대신에 디스크에서 데이터를 배치(batch) 단위로 로드하도록 할 수 있습니다. 2021. 11. 19 최초작성 tf.data.Dataset.from_generator 우선 모델이 필요로 하는 데이터를 생성하는 generator 함수가 필요합니다. 이 함수는 return 문 대신에 yield 문을 사용합니다. 여기에서 데이터셋은 28 x 28 크기의 이미지와 10개의 클래스 중 하나임을 나타내는 정수 쌍으로 구성된 1000개의 데이터라고 가정합니다. generator 함수에서 다음처럼 가상의 데이터를 생성하여 ..

텐서플로우 콜백함수 ModelCheckpoint, ReduceLROnPlateau, EarlyStopping를 다루고 있습니다. 2021. 11. 17 최초작성 ModelCheckpoint 모델 또는 가중치를 저장할 때 사용되는 콜백함수입니다. www.tensorflow.org/api_docs/python/tf/keras/callbacks/ModelCheckpoint 인자 설명 filepath 모델 파일을 저장할 경로를 입력합니다. 충돌이 나지 않도록 하기 위해 다른 콜백 함수에서 여기에서 지정한 경로를 사용하면 안됩니다. monitor 콜백함수에서 모델을 저장할때 기준이 되는 값을 지정합니다. loss, val_loss, accuracy, val_accuracy등을 지정할 수 있습니다. 보통 Model..

tfds build시 발생한 AssertionError: Unrecognized instruction format (또는 Unrecognized split format ) 원인과 해결방법입니다. 2021. 11. 12 최초작성 File "/home/webnautes/miniconda3/envs/tensorflow/lib/python3.7/site-packages/tensorflow_datasets/core/tfrecords_reader.py", line 519, in _str_to_relative_instruction raise AssertionError('Unrecognized instruction format: %s' % spec) AssertionError: Unrecognized instructi..

Tensorflow 모듈을 사용할 경우 사용자가 출력하지 않은 추가 정보들이 많이 출력됩니다. 특히 CUDA를 Tensorflow 모듈에서 사용하는 경우 더 많이 출력됩니다. 2021. 9. 14 최초작성 다음 링크에서 소개하는 방법 중 하나를 적용하면 이 디버깅 정보 메시지를 안보이게 할 수 있습니다. https://stackoverflow.com/questions/35911252/disable-tensorflow-debugging-information 예를 들어 다음처럼 tensorflow 모듈만 임포트했는데도 CUDA 관련 메시지가 추가로 출력됩니다. C:\Users\webnautes>python Python 3.7.7 (tags/v3.7.7:d7c567b08f, Mar 10 2020, 10:41:..

Tensorflow Dataset의 window 메소드 사용법을 파악해보려고 테스트해 본 내용입니다. 2021. 9. 14 - 최초작성 range 메소드를 사용하여 0 ~ 9 까지 값을 갖는 Dataset을 생성합니다. as_numpy_iterator 메소드는 Dataset의 모든 요소를 numpy로 변환하는 iterator를 리턴하는데 이것을 리스트에 담아서 출력할 수 있습니다. import tensorflow as tf ds = tf.data.Dataset.range(10) print(list(ds.as_numpy_iterator())) [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 첫번째 window 예제 window 메소드는 원본 Dataset의 요소를 3개씩 묶어서 서브 Dataset을..

구글에서 검색해봐도 해결방법이 보이지 않았던 에러입니다. 원인이 여러가지 일 수 있겠지만 Keras의 LSTM 레이어에 activation='relu'를 추가해놓았다면 제거해주면 해결됩니다. WARNING:tensorflow:Layer lstm will not use cuDNN kernels since it doesn't meet the criteria. It will use a generic GPU kernel as fallback when running on GPU.

이미지 분류를 하려고 하는데 model.fit 부분에서 다음과 같은 에러가 발생했습니다. tensorflow/core/framework/op_kernel.cc:1755] Unknown: OSError: cannot identify image file 2021. 6. 7 최초작성 2021. 8. 21 마지막 업데이트 코드 문제인거 같아서 살펴보았는데 문제될 소지가 없어서 데이터셋을 점검해보았습니다. 0 바이트 이미지와 읽을 수 없는 파일이 있었지요. kagglecatsanddogs_3367a\PetImages\Cat 10404.jpg 읽을수 없는 파일 666.jpg 0바이트 kagglecatsanddogs_3367a\PetImages\Dog 11702.jpg 0바이트 사용한 데이터셋 링크와 파일 이름은 다..

Mediapipe의 Hello_World 예제 사용방법을 소개합니다. 2021. 7. 24 최초작성 Mediapipe를 Ubuntu에 설치하는 방법을 먼저 진행하세요. MediaPipe를 Ubuntu에 설치하는 방법 https://webnautes.tistory.com/1404 다음 위치에 Hello World 예제가 존재합니다. webnautes@webnautes-PC:~/mediapipe$ pwd /home/webnautes/mediapipe webnautes@webnautes-PC:~/mediapipe$ find . | grep hello_world.cc ./mediapipe/examples/desktop/hello_world/hello_world.cc 해당 파일을 열어 출력할 문자를 안녕하세요로 ..