代码之家  ›  专栏  ›  技术社区  ›  Guillaume Chevalier

如何在同一台计算机上的不同GPU上并行运行多个TensorFlow实例?

  •  0
  • Guillaume Chevalier  · 技术社区  · 7 年前

    假设我在同一台机器上同时启动以下命令来训练许多TensorFlow模型:

    • python3 launch_training.py --gpu 0
    • python3 launch_training.py --gpu 1
    • python3 launch_training.py --gpu 2
    • python3 launch_training.py --gpu 3
    • python3 launch_training.py --gpu 4
    • python3 launch_training.py --gpu 5
    • python3 launch_training.py --gpu 6
    • python3 launch_training.py --gpu 7

    让我们假装在里面 launch_training.py ,将创建TensorFlow图形和会话,并使用以下上下文: with tf.device('/gpu:0'): 以及 0 被适当的 --gpu 索引参数)。

    这行吗?如果没有,我需要采取哪些步骤来实现这一点?在租GPU之前我想知道这个。

    1 回复  |  直到 7 年前
        1
  •  0
  •   Colonder    7 年前

    您必须使用指定的GPU设备 with tf.device('gpu:N') 在哪里? N 是设备索引。阅读 https://www.tensorflow.org/programmers_guide/using_gpu https://github.com/carla-simulator/carla/issues/116 第一

    我认为您混淆了在不同的GPU上多次运行相同的脚本,以及使用多个GPU运行一个脚本。在前一种情况下,阅读TensorFlow指南中的“在多个GPU系统上使用单个GPU”一节,对于后一节“使用多个GPU”。