代码之家  ›  专栏  ›  技术社区  ›  eft

如何从专有CMS迁移资源?

  •  0
  • eft  · 技术社区  · 17 年前

    我需要从使用活动服务器页面的专有CMS迁移我们的网站。是否有工具或技术可以帮助从现有网站下载资源?我想我在找一个工具,可以爬到整个网站上。

    另一个挑战是,该站点使用SSL,并使用基于表单的身份验证进行保护。我有必要的证书,我可以抓取cookie来验证会话,但我不确定从这里到哪里去,如果现有的工具可以帮助我,我不想重新发明轮子。

    编辑-我正在使用Windows操作系统

    4 回复  |  直到 17 年前
        1
  •  3
  •   JensenDied    17 年前

    wget可能是您使用的一个好工具

    wget --load-cookies cookies.txt --mirror --page-requisites http://example.com/
    

    添加——转换链接,如果你想让它更适合本地存档,而不是你可以在某处重新上传的东西。

    wget的Windows版本可从sourceforge.net上的gnuwin32项目获得。 http://gnuwin32.sourceforge.net/packages/wget.htm

        2
  •  1
  •   Lance Kidwell    17 年前
    wget --http-user:username --http-pass:password -r http://yoursite.com 
    

    这将获取整个站点(递归)。如果你在Windows上,你会想要安装Cygwin或者类似的东西来使用它,尽管我相信有Windows版本/wget克隆版本可以下载。

        3
  •  1
  •   zoul    17 年前

    如果你认识Perl,你可能会喜欢 WWW::Mechanize . 取决于您试图实现的自动化程度 wget 在某些情况下可能会很好。

        4
  •  1
  •   Matthew Flaschen    17 年前

    你有很多选择。要考虑的一件事是身份验证有多复杂。此外 wget ,你可以看看 curl (一个非常强大的选项,具有多种不同语言的绑定),python的 urllib , Apache HttpClient , WWW-Mechanize 等。