代码之家 › 专栏 › 技术社区 › jahmax

是否有任何python库来抓取搜索引擎的结果?

web-scraping screen-scraping search-engine python

jahmax · 技术社区 · 14 年前

我正在寻找一个python库从搜索引擎(google,yahoo,bing等)中刮取结果。

有人知道多个搜索引擎有一个吗?

3 回复 | 直到 14 年前

nate c 14 年前

Scrapy 是一个非常酷的刮削框架,但是您将有代码/配置它来为您想要的站点工作。

spyderman4g63 14 年前

写起来并不难。我通常只使用php。查看curl以检索页面,然后是dom对象和domxpath。您可以使用xpath来选择所需结果的部分。

如果安装firebug和firexpath,Xpath非常简单。我现在正在做一个职位检查器。相同的想法,但它返回一个基于关键字的域的位置。

Ihor Patsian Ankit Hota 5 年前

你还能尝试什么:

但是你最终会被阻止,所以最好使用Google支持的API或者其他付费API。

-1

3ppps 9 年前

刮刀,你可以刮掉必应,谷歌,拜达,雅虎 link

推荐文章

vishnu · Elasticsearch相关性-具有相似名称的文档

7 年前

P.K. · 如何在现有mvc页面上实现搜索引擎

8 年前

user3824280 · 搜索引擎无法使用我的分页器[已关闭]

9 年前

xanderflood · 如何在Python中下载谷歌图像搜索结果

9 年前

RTF · 如何在AWS CloudSearch中使用结构化前缀运算符进行通配符搜索

9 年前

cookiesncream · 全文搜索引擎,多列,布尔模式

10 年前

Zahid · 正在wordpress smilies翻译功能中添加更多字符串。。。它对搜索引擎友好吗?

11 年前

Saqib Ali · 为每个最终用户分离solr索引

12 年前