具有映射内存、统一虚拟寻址和统一内存的GPU内存超额订阅

是的,使用映射(即固定的“零拷贝”)方法,数据保留在主机内存中,并按需传输到GPU,但永远不会驻留在GPU内存中(除非GPU代码将其存储在那里)。如果您多次访问,可能需要从主机多次传输。

UVA(统一虚拟寻址,请参阅 here here )或者托管内存(=UM),所以我将把这个例子称为UM,而不是UVA。

使用UM plus CUDA 8.0或更高版本,再加上Pascal或更高版本的GPU,您可以使用UM(“托管”)分配超额订阅GPU内存。然后,这些分配名义上被限制为系统内存的大小(减去对系统内存的任何其他需求)。在这种情况下,CUDA运行时使用请求分页方法在主机和设备内存之间自动来回移动数据。