代码之家  ›  专栏  ›  技术社区  ›  xoxo

我的蜘蛛服务一直意外停止?

  •  1
  • xoxo  · 技术社区  · 17 年前

    我有一个服务,拖网我们的网站,以获得大量的数据。在5个不同的线程上获取数据并将其放入数据库大约需要3天时间(猜测是因为它还没有完全运行!)。如果WebClient.DownloadData失败,则该错误将记录在数据库中并被忽略,但在昨天凌晨3点左右,在大约2000个失败的web请求之后,服务停止。它们返回远程服务器521异常或操作超时。我也有一个意外的异常捕捉到它,但它没有进入那里!我已经尝试修复这个错误好几个星期了,但是要让错误发生是一个漫长的过程!有人知道为什么会这样吗?

    2 回复  |  直到 17 年前
        1
  •  0
  •   The Archetypal Paul    17 年前

    我想你需要给我们更多的细节和一些代码片段,

    我认为,根据您的描述,您有两个问题-一个是web请求开始失败,出现521个错误,另一个是服务停止。

        2
  •  0
  •   William Edmondson    17 年前