如何调试model.fit()中的Tensorflow分段错误?

Keras MINST example 我的环境是Linux系统上的Anaconda。

Using TensorFlow backend.
Device mapping:
/job:localhost/replica:0/task:0/device:GPU:0 -> device: 0, name: GeForce RTX 2080, pci bus id: 0000:01:00.0, compute capability: 7.5
x_train shape: (60000, 28, 28, 1)
60000 train samples
10000 test samples
Train on 60000 samples, validate on 10000 samples
Epoch 1/12
conv2d_1/random_uniform/RandomUniform: (RandomUniform): 
/job:localhost/replica:0/task:0/device:GPU:0
conv2d_1/random_uniform/sub: (Sub): 
/job:localhost/replica:0/task:0/device:GPU:0
conv2d_1/random_uniform/mul: (Mul): 
/job:localhost/replica:0/task:0/device:GPU:0
conv2d_1/random_uniform: (Add): 
/job:localhost/replica:0/task:0/device:GPU:0
[...]

training/Adadelta/Const_31: (Const): /job:localhost/replica:0/task:0/device:GPU:0
training/Adadelta/mul_46/x: (Const): /job:localhost/replica:0/task:0/device:GPU:0
training/Adadelta/mul_47/x: (Const): /job:localhost/replica:0/task:0/device:GPU:0
Segmentation fault (core dumped)

通过阅读,我认为这可能是内存问题,并添加了以下行以防止GPU内存不足:

config = tf.ConfigProto(log_device_placement=True)
config.gpu_options.per_process_gpu_memory_fraction=0.3
K.tensorflow_backend.set_session(tf.Session(config=config))

正在检查 nvidia-smi GPU实际使用的工具( watch -n1 nvidia-smi )我可以从以下输出中确认(在本次运行中 per_process_gpu_memory_fraction

我怀疑CUDA、Keras和Tensorflow之间的版本不兼容是问题所在,但我不知道如何调试这个。

有哪些调试措施可以解决这个问题?还有什么其他问题可能是这个错误的原因?

编辑:我做了进一步的实验,用以下代码替换模型效果很好:

model = keras.Sequential([
    keras.layers.Flatten(input_shape=input_shape),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

然而,一旦我引入一个卷积层,就像这样

model = keras.Sequential([
    keras.layers.Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=input_shape),
#    keras.layers.Flatten(input_shape=input_shape),
    keras.layers.Flatten(),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)

])

然后我又犯了上述错误。

• 条件4.5.11
• python 3.6.6版
• keras gpu 2.2.4
• tensorflow 1.12.0版
• 第7.2.1节
• cudatoolkit 9.2版

编辑:我在一个非水蟒的环境中尝试了同样的代码,它工作得非常完美。我更喜欢使用巨蟒虽然,以避免系统更新打破东西。