代码之家 › 专栏 › 技术社区 › robertspierre

TensorFlow cache()和Prefict()做什么?

prefetch tensorflow-datasets dataset caching tensorflow

robertspierre · 技术社区 · 5 年前

我在跟踪TensorFlow的 Image Segmentation 辅导的。其中有以下几行:

train_dataset = train.cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE).repeat()
train_dataset = train_dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)

cache() 功能如何?这个 official documentation

缓存此数据集中的元素。

这是什么意思 prefetch() 功能如何?这个 official documentation

创建从该数据集中预取元素的数据集。

0 回复 | 直到 5 年前

Tensorflow Warrior 5 年前

这个 tf.data.Dataset.cache 转换可以在内存或本地存储中缓存数据集。这将避免在每个历元期间执行某些操作(如打开文件和读取数据)。下一个历元将重用缓存转换缓存的数据。

cache 在张量流中 here .

Prefetch 重叠训练步骤的预处理和模型执行。当模型执行训练步骤s时,输入管道读取步骤s+1的数据。这样做可以将步长时间减少到训练和提取数据所需时间的最大值(而不是总和)。

prefetch 在张量流中 here

推荐文章

Arthur Filipe da Silva · 如何将数据集转换为存在/不存在矩阵?[副本]

3 年前

Bilal Sedef · 如何快速组合特定列上的多个csv文件?

3 年前

welby · JS计数

3 年前

Bennet Weber · 有没有办法用python找到一个单词的反义词(意思相反的单词)?你知道数据集或nlp工具包吗?

3 年前

user191762 · 同时使用两个不同的数据帧

3 年前

odbhut.shei.chhele · 如何解决错误:RuntimeError:收到0项ancdata

3 年前

Ron Inbar · 如何在WinForms中绑定多对多关系?

7 年前

yihang hwang · 如何使用c将参数传递到数据集进行查询#

7 年前

user8795229 · Python 3在尝试使用numpy打印数据集时显示UnicodeDecodeError

7 年前

Abhishek Agnihotri · R中的svm文件处理

7 年前