代码之家 › 专栏 › 技术社区 › Stavros Korokithakis

在Python中打开URL并获取X字节的最佳方法是什么?

sockets url http python

3

Stavros Korokithakis · 技术社区 · 16 年前

我想让一个机器人每小时获取一个网址,但如果该网站的运营商是恶意的,他可以让他的服务器发送给我一个1 GB的文件。有没有一个好的方法来限制下载,比方说,100 KB,并停止后,限制?

我可以想象从零开始编写自己的连接处理程序,但是如果可能的话,我想使用urllib2,只是以某种方式指定限制。

1 回复 | 直到 16 年前

1

7

KushalP 16 年前

这可能就是你想要的:

import urllib

def download(url, bytes = 1024):
    """Copy the contents of a file from a given URL
    to a local file.
    """
    webFile = urllib.urlopen(url)
    localFile = open(url.split('/')[-1], 'w')
    localFile.write(webFile.read(bytes))
    webFile.close()
    localFile.close()