Tensorflow GPU内存分配影响模型精度

我在Keras2.2.2,Tensorflow 1.10.0,Ubuntu18,GTX1080Ti中有一个神经网络。我使用a)所有GPU内存和b)大约一半(0.47)内存训练模型。我在这些案例中得到了截然不同的结果。完全记忆-好结果。半记忆-坏。我重复了这些测试,结果是一致的。模型代码太复杂,无法在此显示,但我想知道这是否是已知的一般效果。我用以下代码设置内存分配:

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.47
session = tf.Session(config=config)
K.set_session(session)

批大小在运行时在代码中计算,不受GPU内存分配的影响。