如何在集群上存储TB大小的C++数组

您有1 TB的数据和11 TB的总内存。因此,将所有数据存储在集群上是没有问题的,只是如何存储的问题。

您可以将它打包到尽可能少的节点上,即6个节点。或者你可以把它分散到所有60个节点上。哪种方法更好取决于许多因素,包括使用这些数据的访问模式、集群的成本模型(无论使用多少节点,都是免费的吗?),等等。

您需要确定特定集群上每个任务可用的最大内存是多少。这是由集群管理员配置的。例如,某些集群可能会平均分配内存,因此每个节点中的192 GB RAM可能仅在为节点上的core运行一个任务时可用,而不是在每个节点运行一个任务时可用。您还没有告诉我们有多少个核心,显然我们也不知道您的集群的使用策略是什么。

C++问题的答案是:是的,你可以在C++中存储1个TB vector 或 array 或 list 或 map