代码之家 › 专栏 › 技术社区 › Michael Anderson

对于大量数据,是否有替代AtomicReferenceArray的方法?

java

Michael Anderson · 技术社区 · 10 年前

我有大量数据存储在 AtomicReferenceArray<X> ,并同时从大量线程进行处理。

每个元素都很小,我已经到了一个地步,我将拥有更多 Integer.MAX_VALUE 条目。不幸地 List java中的数组限于 整数.MAX_VALUE (或更少)值。现在,我有足够的内存来在内存中保持更大的结构——在64b虚拟机中,机器有大约250GB的内存。

有替代品吗 原子参考数组<X> 用longs索引的?(否则,我将不得不创建自己的包装,以存储几个较小的 AtomicReferenceArray 并将长访问映射到较小的int访问。)

1 回复 | 直到 10 年前

Peter Lawrey 10 年前

听起来是时候使用本机内存了。拥有超过40亿个对象将导致GC暂停时间。但是,如果使用本机内存,则可以在几乎不影响堆的情况下执行此操作。您还可以使用内存映射文件来支持更快的重启和JVM之间的数据共享。

不确定您的具体需求是什么,但有许多开源数据结构可以做到这一点; HugeArray , Chronicle Queue 和 Chronicle Map 您可以创建一个1 TB的阵列,但几乎不使用堆,也没有GC影响。

BTW对于您创建的每个对象,都有一个8字节的引用和一个16字节的头。通过使用本机内存,您可以为每个对象节省24个字节,例如,4 bn*24是96 GB的内存。

推荐文章

user29759326 · 如何返回递归函数中的最后一个值?

6 月前

malife89 · 将java中的字符串读取为正确的日期格式

7 月前

Tim · 在java中,有没有更快的方法将字节数组写入文件?

7 月前

pebble unit · 如何检查以前缀开头、以后缀结尾的属性(不是属性值)

7 月前

Nuñito Calzada · Spring Boot with JWT:访问此资源需要完全身份验证

7 月前

rudraraj · java中未声明最终变量

7 月前

Bala Ji · 以下BFS的实施效率如何?

7 月前

MineRickStar · 如何在Java中从Windows获取当前选定的应用程序

7 月前

user2649681 · 实时生成音频以写入“SourceDataLine”`

7 月前

davidalayachew · 为什么我的文件有竞争条件,即使我使用了StandardOpenOption。同步?

7 月前