代码之家 › 专栏 › 技术社区 › Xolve

获取维基百科的镜像而不实际存储html

web-crawler mediawiki

Xolve · 技术社区 · 15 年前

Wikipedia将所有信息存储在服务器中,页面由PHP呈现。有没有一种方法可以下载和存储维基百科的内容,而不必在网站上爬行。这样我节省了时间和存储空间,以及以后对爬网数据的处理。

另外,我知道这个问题的提法不好,但希望你明白我的意思。

1 回复 | 直到 15 年前

e100 15 年前

是的,您可以下载各种SQL/XML转储。这里有完整的注释: Wikipedia:Database download

推荐文章

Dinosaur · 使用BeautifulSoup点击div标签后抓取html页面

1 年前

Kentaro T. Vadney · Atlassian页面上Kendra Index WebCrawlers的限制设置

2 年前

Claudio · 如何使用Selenium下载PDF文件?

2 年前

R3FL3CT · 如何在Python中将一组网站及其链接转换为有向图?

3 年前

hidde · 页面上的不同内容Apify网络爬行

6 年前

chans.best · StormCrawler和Hortonworks 1.1.0.2.6.4.0-91之间的Commons日志版本冲突

8 年前

Tae · Python3中方法has\u key的替换

8 年前

Jonas Pohlmann · Stormcrawler没有为elasticsearch获取/索引页面

8 年前

Teslaturing · 在python中从结果中获取指定单词后的动态数字并存储在数据库中

8 年前

Vega · 如何从DOM获取所有链接?

8 年前