tensorflow dataset에서 batch 단위로 window 적용하기

tensorflow dataset을 크기 10인 batch로 나눈 다음 각 batch에 대해 크기 3 window를 적용한 예제입니다. 

 

 

2021. 12. 11  최초작성

 

import tensorflow as tf
import numpy as np


ds= tf.data.Dataset.range(120)
size = len(ds)

print('size', size)
print('\n\n')

num_of_samples = len(ds)
window_size = 3
stride_size = 1

for i,sample in enumerate(ds.batch(10)):

    print(sample.numpy())
    print()

    dataset = tf.data.Dataset.from_tensor_slices(sample)

    for s in dataset\
        .window(size=window_size, shift=1, stride=stride_size, drop_remainder=True)\
        .flat_map(lambda w: w.batch(window_size)):

        print(s.numpy())

    print('--'*25)

 

 

실행결과입니다.

 

 

size 120



[0 1 2 3 4 5 6 7 8 9]

[0 1 2]
[1 2 3]
[2 3 4]
[3 4 5]
[4 5 6]
[5 6 7]
[6 7 8]
[7 8 9]
--------------------------------------------------
[10 11 12 13 14 15 16 17 18 19]

[10 11 12]
[11 12 13]
[12 13 14]
[13 14 15]
[14 15 16]
[15 16 17]
[16 17 18]
[17 18 19]
--------------------------------------------------
[20 21 22 23 24 25 26 27 28 29]

[20 21 22]
[21 22 23]
[22 23 24]
[23 24 25]
[24 25 26]
[25 26 27]
[26 27 28]
[27 28 29]
--------------------------------------------------
[30 31 32 33 34 35 36 37 38 39]

[30 31 32]
[31 32 33]
[32 33 34]
[33 34 35]
[34 35 36]
[35 36 37]
[36 37 38]
[37 38 39]
--------------------------------------------------
[40 41 42 43 44 45 46 47 48 49]

[40 41 42]
[41 42 43]
[42 43 44]
[43 44 45]
[44 45 46]
[45 46 47]
[46 47 48]
[47 48 49]
--------------------------------------------------
[50 51 52 53 54 55 56 57 58 59]

[50 51 52]
[51 52 53]
[52 53 54]
[53 54 55]
[54 55 56]
[55 56 57]
[56 57 58]
[57 58 59]
--------------------------------------------------
[60 61 62 63 64 65 66 67 68 69]

[60 61 62]
[61 62 63]
[62 63 64]
[63 64 65]
[64 65 66]
[65 66 67]
[66 67 68]
[67 68 69]
--------------------------------------------------
[70 71 72 73 74 75 76 77 78 79]

[70 71 72]
[71 72 73]
[72 73 74]
[73 74 75]
[74 75 76]
[75 76 77]
[76 77 78]
[77 78 79]
--------------------------------------------------
[80 81 82 83 84 85 86 87 88 89]

[80 81 82]
[81 82 83]
[82 83 84]
[83 84 85]
[84 85 86]
[85 86 87]
[86 87 88]
[87 88 89]
--------------------------------------------------
[90 91 92 93 94 95 96 97 98 99]

[90 91 92]
[91 92 93]
[92 93 94]
[93 94 95]
[94 95 96]
[95 96 97]
[96 97 98]
[97 98 99]
--------------------------------------------------
[100 101 102 103 104 105 106 107 108 109]

[100 101 102]
[101 102 103]
[102 103 104]
[103 104 105]
[104 105 106]
[105 106 107]
[106 107 108]
[107 108 109]
--------------------------------------------------
[110 111 112 113 114 115 116 117 118 119]

[110 111 112]
[111 112 113]
[112 113 114]
[113 114 115]
[114 115 116]
[115 116 117]
[116 117 118]
[117 118 119]
--------------------------------------------------