tensorflow dataset을 크기 10인 batch로 나눈 다음 각 batch에 대해 크기 3 window를 적용한 예제입니다. 2021. 12. 11 최초작성 import tensorflow as tf import numpy as np ds= tf.data.Dataset.range(120) size = len(ds) print('size', size) print('\n\n') num_of_samples = len(ds) window_size = 3 stride_size = 1 for i,sample in enumerate(ds.batch(10)): print(sample.numpy()) print() dataset = tf.data.Dataset.from_tensor_slices(sample) ..

모델에 데이터를 공급하는 방식 중 하나인 tf.data.Dataset.from_generator를 살펴봅니다. 데이터가 너무 커서 메모리에 모두 로드할 수 없는 경우 데이터를 한번에 모두 읽어오는 대신에 디스크에서 데이터를 배치(batch) 단위로 로드하도록 할 수 있습니다. 2021. 11. 19 최초작성 tf.data.Dataset.from_generator 우선 모델이 필요로 하는 데이터를 생성하는 generator 함수가 필요합니다. 이 함수는 return 문 대신에 yield 문을 사용합니다. 여기에서 데이터셋은 28 x 28 크기의 이미지와 10개의 클래스 중 하나임을 나타내는 정수 쌍으로 구성된 1000개의 데이터라고 가정합니다. generator 함수에서 다음처럼 가상의 데이터를 생성하여 ..