代码之家 › 专栏 › 技术社区 › jahmax

是否有任何python库来抓取搜索引擎的结果?

web-scraping screen-scraping search-engine python

jahmax · 技术社区 · 14 年前

我正在寻找一个python库从搜索引擎(google,yahoo,bing等)中刮取结果。

有人知道多个搜索引擎有一个吗?

3 回复 | 直到 14 年前

nate c 14 年前

Scrapy 是一个非常酷的刮削框架,但是您将有代码/配置它来为您想要的站点工作。

spyderman4g63 14 年前

写起来并不难。我通常只使用php。查看curl以检索页面,然后是dom对象和domxpath。您可以使用xpath来选择所需结果的部分。

如果安装firebug和firexpath,Xpath非常简单。我现在正在做一个职位检查器。相同的想法,但它返回一个基于关键字的域的位置。

Ihor Patsian Ankit Hota 5 年前

你还能尝试什么:

但是你最终会被阻止,所以最好使用Google支持的API或者其他付费API。

-1

3ppps 9 年前

刮刀,你可以刮掉必应,谷歌,拜达,雅虎 link

推荐文章

July · 如何定义数字间隔,然后四舍五入

1 年前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

1 年前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前