|
|
1
3
mmap() 在*尼克斯,和 CreateFileMapping() on Windows . 以逻辑方式将文件拆分为块,例如32MB。如果需要更改块中的某些内容,请单击mmap(),修改数据,如果需要,可以选择msync(),munmap(),然后移动到下一个块。
重要的是要记住,真正的IO没有那么快。随机存取的性能限制因素是(1)存储器每秒可处理的IOPS数和(2)磁盘寻道数(通常IOPS在数百范围内。通常的寻道延迟是3-5ms。)例如,存储可以读/写50MB/s:一秒钟内一个50MB的连续块。但是,如果您尝试修补字节为50MB的文件,那么查找时间只会降低性能。在某种程度上,读多写多是可以的,即使只更新几个字节。 另一个需要注意的限制是操作系统的最大IO操作大小:它取决于存储空间,但大多数操作系统会将超过128K的IO任务拆分。如果它与存储器中的类似限制同步,则该限制可以更改并且是最佳的。 还要记住存储。许多人忘记了存储往往只有一个。我想说的是,除非你有多个存储器,否则开始加载线程对IO没有帮助。即使是单CPU/内核也可以轻松地饱和RAID10,其读IOPS为800,写IOPS为400(但每个存储都有一个专用线程至少在理论上是合理的。) 希望有帮助。这里的其他人经常提到Boost.Asio,我对此没有经验,但值得一看。 另外,坦率地说,我很想听到其他(更多的信息)回答你的问题。我已经在船上呆过好几次了,但还没有机会真正开始工作。欢迎使用与IO优化相关的书籍/链接等(不考虑平台) |
|
|
2
4
看起来您可以通过使用数据结构来解决这个问题。你有三个限制条件:
从本质上讲,B+树是一个二叉搜索树,不同的是节点组是按组进行的。这样,B+树一次只加载一个块,而不必为每个节点四处搜索。它还保留了一些信息,以便知道在搜索中需要哪个块。 编辑:如果需要按多个项目排序,可以执行以下操作:
|
|
|
3
1
按索引对新文件进行排序。使用为外部排序而设计的排序算法(虽然我自己没有尝试过,但当我研究类似问题时,STXXL.sourceforge.net中的STXXL库看起来很有前途) 依次遍历A记录文件和排序对列表。读入一大块,在内存中做所有相关的改变,写出大块。再也不要碰记录文件的那个部分(因为您计划进行的更改是按顺序进行的)
|
|
|
4
1
我正在做非常类似的大文件操作,这些新机器非常快,根本不需要很长时间: 在配备3gb ram和32位Vista的cheapo 2.4gHz HP Pavilion上,使用Delphi库例程(与Win API相反)将300万条1008字节的连续记录写入一个新文件需要56秒。
|
|
AstralHex · 矩阵乘法代码工作不正常 1 年前 |
|
|
Fishie · 作为类成员的智能指针是否仍然自动释放?[关闭] 1 年前 |
|
|
Die4Toast · 递归调用成员箭头运算符-> 1 年前 |
|
|
Anka Hanım · 关于结构和动态数组地址的问题 1 年前 |