代码之家  ›  专栏  ›  技术社区  ›  vicatcu

使用SimpleHTMLDOM+登录?

  •  0
  • vicatcu  · 技术社区  · 16 年前

    我使用simplehtmldom php非常成功地抓取了一些我最喜欢的网页。然而,其中一些页面要求我在得到我真正关心的信息之前先登录。是否有人知道(或如果可能)如何让此库访问需要输入用户名和密码的页面才能访问该页面?我迄今为止所做的一切都始于…

    $html = file_get_html('http://www.google.com/');
    
    2 回复  |  直到 15 年前
        1
  •  2
  •   Charles    16 年前

    很少有站点使用相同的身份验证机制,因此没有 始终通过站点验证的方法。

    你最好的选择是 cURL 让你的刮刀看起来像一个真正的浏览器。这意味着 using cookies (在页面上搜索“cookie”,您可能希望使用cookie文件/jar)并将其存储在某个位置,导航到登录表单,成功提交,然后继续使用该“浏览器”会话执行擦除。

    请确保这些网站不介意被这种方式刮伤。如果被发现,你可能会被禁止从网站,这取决于多少网站所有者不喜欢刮。

        2
  •  0
  •   biancardi    15 年前

    SimpleHTMLDOM的另一个问题是,DOM必须是正确的,因为进入DOM的错误会导致分析器出错,对象将为空。