代码之家 › 专栏 › 技术社区 › DorkRawk

Heroku友好的Ruby Scraper(带AJAX)?

screen-scraping heroku ruby

DorkRawk · 技术社区 · 13 年前

所以我正在尝试用Ruby编写一个小型的非官方API来从站点中提取数据。我喜欢机械化,但我需要的页面上的所有数据都是由AJAX生成的,所以机械化根本看不到。我可以用什么来用JavaScript渲染页面,以便刮取数据?我觉得 spynner 要不是鲁比会这么做。

我也想和Heroku一起玩,所以我正在寻找可以在那里部署的东西,这会让我远离类似的东西 Watir 。

像这样的东西存在吗?

使现代化

为了清晰起见,我试图从 Fitocracy profile page 。

在查看页面之前,您可能需要一个帐户,但基本上所有的锻炼数据都是通过页面外壳内的JavaScript显示的。

1 回复 | 直到 13 年前

pguardiario 13 年前

ajax请求和非ajax请求是一样的,只是如何发出并不总是显而易见。机械化可以发出浏览器可以发出的任何请求。当然Watir更容易,但如果这是一个API,你应该用正确的方法,使用mechanize。

推荐文章

Flissi Hamed · 从抓取aliexpress到使用chromedp的无头浏览器

1 年前

NoUsername9 · 使用Apify和Puppeter抓取URL

6 年前

Stphn · 使用Python将多个URL中的不同变量刮到一个CSV文件中

8 年前

Alok Mishra · 如何自动点击“内容”按钮

8 年前

Stphn · 使用BeautifulSoup(在其他两个标记之间)从<a>中删除一系列链接

8 年前

sudonym · 内存泄漏在哪里?如何在python中的多处理过程中超时线程?

8 年前

sudonym · 如何使用仅XPath正则表达式模式刮取无ID的网站元素

8 年前

Ike · Python Selenium错误-当webdriver

8 年前

ilyas · 使用网站查询获取数据[已关闭]

8 年前

David Norway · 使用python在网站上清除所有使用过的Javascript

8 年前