代码之家 › 专栏 › 技术社区 › P.Postrique

从.exe文件运行爬行器

py2exe exe scrapy python

P.Postrique · 技术社区 · 8 年前

我不知道是否已经有关于同一主题的问题了。我的英语不够好,无法理解我在网上看到的所有主题 stackoverflow.com

因此,如果我问一个已经在某处得到回答的问题,我很抱歉:在编写我的爬行器之后,是否可能从exe文件启动它,而不是从 scrapy crawl xxx py2exe 但它似乎是为了我的蜘蛛的输出。我不明白。

我希望我已经足够清楚了(法语在我脑海里还不清楚,用英语翻译真的很难)。

3 回复 | 直到 8 年前

Community Mohan Dere 6 年前

要运行python脚本,您需要在机器上提供python解释器。

因此,如果要分发python脚本(爬行器),需要确保用户设置了正确的python环境。

我

当你与技术人员打交道时,这通常不是问题,只要告诉他们需要 install python 3.5 pip .他们甚至可能自己解决。

二、

如果您与非技术用户打交道,您不希望要求他们使用命令行或必须安装所有依赖项,从而使他们的生活变得艰难。

独立的 your script 这个 python interpreter 和必需的 additional modules .

PyInstaller- http://www.pyinstaller.org/ (这可能是最简单的选择)
Py2exe- http://www.py2exe.org/

P.Postrique 8 年前

How do I package a Scrapy script into a standalone application?

感谢提供的帮助 @juwi !! 我认为这对我来说是更容易的方式。。。

Ahmed Ellaban 5 年前

if __name__=='__main__': 避免两次运行和错误

这里有另一种可能,可以将爬行器作为独立脚本或可执行文件运行

    import scrapy
    from scrapy.crawler import CrawlerProcess
    
    class MySpider(scrapy.Spider):
        # Your spider definition
    if __name__=='__main__':
        process = CrawlerProcess({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
          })
    
        process.crawl(MySpider)
        process.start() # the script will block here until the crawling is finished

https://doc.scrapy.org/en/1.0/topics/practices.html