代码之家 › 专栏 › 技术社区 › Muhammad Akhtar

屏幕抓取-如何获取基于Ajax的过滤数据

screen screen-scraping asp.net

Muhammad Akhtar · 技术社区 · 15 年前

我正在研究屏幕抓取,在查询字符串中过滤时很容易,但是在基于Ajax的过滤中的问题,

例如 here is an sample URL 当您打开此页面时,输入酒店名称并单击Go,Ajax过滤器工作并相应地显示结果,或者单击下一页,它将显示使用Ajax的下一条记录。

请建议我,如何处理这些问题时,在屏幕刮?

感谢阿洛特

2 回复 | 直到 15 年前

Box 15 年前

您可能想尝试2个Firefox附加组件。它们是“Firebug”和“篡改数据”。

Firebug的“控制台”窗口显示Ajax请求和响应。

然后可以使用php/curl库编写脚本来模拟请求。

Anton 15 年前

像通常对任何链接或表单sumbit执行HTTP请求一样,但使用与Ajax一起使用的URL。有时您可能需要读取javascript源代码来确定如何构建URL。

推荐文章

Flissi Hamed · 从抓取aliexpress到使用chromedp的无头浏览器

11 月前

NoUsername9 · 使用Apify和Puppeter抓取URL

5 年前

Stphn · 使用Python将多个URL中的不同变量刮到一个CSV文件中

7 年前

Alok Mishra · 如何自动点击“内容”按钮

7 年前

Stphn · 使用BeautifulSoup(在其他两个标记之间)从<a>中删除一系列链接

7 年前

sudonym · 内存泄漏在哪里?如何在python中的多处理过程中超时线程?

7 年前

sudonym · 如何使用仅XPath正则表达式模式刮取无ID的网站元素

8 年前

Ike · Python Selenium错误-当webdriver

8 年前

ilyas · 使用网站查询获取数据[已关闭]

8 年前

David Norway · 使用python在网站上清除所有使用过的Javascript

8 年前