代码之家 › 专栏 › 技术社区 › Bemmu

抓取需要用python登录的站点

screen-scraping python

Bemmu · 技术社区 · 16 年前

我在我的网站上使用了几个广告网络,为了了解我赚了多少钱,我每天都需要登录到网站上来计算这些价值。我正在考虑制作一个python脚本,这样我就可以得到一个快速的总计。我知道我需要做一个日志请求来登录,然后存储我返回的cookie,然后在传递这些cookie时获取请求报告页。

在python中复制我手动浏览站点时所做的最方便的方法是什么?

3 回复 | 直到 16 年前

Jeremy Cantrell 16 年前

看看这是否适合你:

http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/

Alex Martelli 16 年前

cookielib 客户端cookie处理,以及 mechanize 以多种方式增强它——包括通过从Internet Explorer缓存中读取cookie来初始化cookie jar的方法(因此,如果您可以手动登录Windows上的每个站点一次,那么您可以使用cookielib或machinize进行将来基于完全相同cookie的登录——当然,直到它们过期为止)。

hoju 16 年前

不是python解决方案,而是考虑使用类似 Chickenfoot .

推荐文章

Flissi Hamed · 从抓取aliexpress到使用chromedp的无头浏览器

1 年前

NoUsername9 · 使用Apify和Puppeter抓取URL

6 年前

Stphn · 使用Python将多个URL中的不同变量刮到一个CSV文件中

8 年前

Alok Mishra · 如何自动点击“内容”按钮

8 年前

Stphn · 使用BeautifulSoup(在其他两个标记之间)从<a>中删除一系列链接

8 年前

sudonym · 内存泄漏在哪里?如何在python中的多处理过程中超时线程?

8 年前

sudonym · 如何使用仅XPath正则表达式模式刮取无ID的网站元素

8 年前

Ike · Python Selenium错误-当webdriver

8 年前

ilyas · 使用网站查询获取数据[已关闭]

8 年前

David Norway · 使用python在网站上清除所有使用过的Javascript

8 年前