通过wget获取内存并绕过磁盘写入

见 wget download options :

_-o文件_

_--输出文档=文件_

这些文档将不会写入相应的文件,但所有文档将连接在一起并写入文件。如果文件使用__-_秷,文档将打印到标准输出,禁用链接转换。(使用__./-__稊打印到字面上名为__-_稊的文件。)

如果要将文件读取到Perl程序中,可以调用 wget 使用倒计时。

取决于你 真正地 需要做的是,您可以通过使用 LWP::Simple 的 get .

use LWP::Simple;
my $content = get("http://www.example.com/");
die "Couldn't get it!" unless defined $content;

更新: 我曾经 不知道 您可以使用Perl实现自己的文件系统 Fuse 和 Fuse.pm . 也见 Fuse::InMemory .

如果您a)已经在使用Perl,b)想要下载HTML,c)解析它,我总是建议您 LWP 和 HTML::TreeBuilder .

你是根吗?你可以用一个 tmpfs .

重新编辑:你没有CPU限制,你不需要使用每台机器。你可以使用 xargs -n SOME_NUMBER 要拆分根URL列表,假设有多个。

但是,如果您热衷于共享内存,则可以设置集群memcache,并将其安装到每台具有 memcachefs .

wget <url> -O -

将URL的内容写入标准输出,然后可以在内存中捕获。