python 如何下载详解

要在Python中下载文件，可以使用多种方法，如使用requests库、urllib模块、wget库等。推荐使用requests库，因为它简单易用、功能强大、支持HTTP协议的各种特性。下面将详细介绍如何使用requests库进行文件下载。

一、使用 REQUESTS 库下载文件

requests库是Python中用于发送HTTP请求的强大工具。使用它可以轻松下载文件。

安装与导入requests库

在使用requests库之前，需要确保它已安装在Python环境中。可以使用以下命令安装：

pip install requests

安装完成后，可以在Python脚本中导入该库：

import requests

使用requests.get方法下载文件

requests.get方法用于发送HTTP GET请求，获取文件内容。可以通过URL来指定要下载的文件。

url = "http://example.com/file.txt"
response = requests.get(url)

保存下载的内容到本地文件

下载完成后，可以将文件内容保存到本地。可以使用Python的文件操作来实现：

with open("downloaded_file.txt", "wb") as file:
    file.write(response.content)

这里使用了wb模式打开文件，以确保文件以二进制形式写入。

二、使用 URLLIB 库下载文件

urllib是Python内置的库，可以用于处理URL和下载文件。

导入urllib.request模块

import urllib.request

使用urlretrieve方法下载文件

urllib.request.urlretrieve方法可以用于直接下载文件并保存到本地。

url = "http://example.com/file.txt"
urllib.request.urlretrieve(url, "downloaded_file.txt")

三、使用 WGET 库下载文件

wget库提供了类似于Linux系统中wget命令的功能，可以方便地下载文件。

安装与导入wget库

首先需要安装wget库：

pip install wget

然后在Python脚本中导入它：

import wget

使用wget.download方法下载文件

wget.download方法可以直接下载文件并保存到本地。

url = "http://example.com/file.txt"
wget.download(url, "downloaded_file.txt")

四、处理大文件下载

下载大文件时，可以使用流下载模式，避免占用过多内存。

使用requests库流下载大文件

在requests.get方法中设置stream=True，然后逐块读取和写入文件。

url = "http://example.com/largefile.zip"
with requests.get(url, stream=True) as response:
    response.raise_for_status()
    with open("largefile.zip", "wb") as file:
        for chunk in response.iter_content(chunk_size=8192):
            file.write(chunk)

使用urllib库流下载大文件

同样可以使用urllib.request的urlopen方法实现流下载。

import urllib.request
url = "http://example.com/largefile.zip"
with urllib.request.urlopen(url) as response:
    with open("largefile.zip", "wb") as file:
        while True:
            chunk = response.read(8192)
            if not chunk:
                break
            file.write(chunk)

五、处理下载中的异常与错误

在下载文件时，可能会遇到网络问题、文件不存在或权限问题等异常。需要妥善处理这些错误。

处理requests库中的异常

使用try-except块来捕获和处理异常。

try:
    response = requests.get(url)
    response.raise_for_status()
except requests.exceptions.HTTPError as http_err:
    print(f"HTTP error occurred: {http_err}")
except Exception as err:
    print(f"Other error occurred: {err}")

处理urllib库中的异常

同样可以使用try-except块处理urllib中的异常。

try:
    urllib.request.urlretrieve(url, "downloaded_file.txt")
except urllib.error.HTTPError as http_err:
    print(f"HTTP error occurred: {http_err}")
except urllib.error.URLError as url_err:
    print(f"URL error occurred: {url_err}")
except Exception as err:
    print(f"Other error occurred: {err}")

六、下载时的进度显示

在下载大型文件时，显示下载进度可以提高用户体验。

使用tqdm库显示进度条

tqdm库可以用来显示循环进度条，结合流下载，可以显示下载进度。

from tqdm import tqdm
url = "http://example.com/largefile.zip"
response = requests.get(url, stream=True)
total_size = int(response.headers.get('content-length', 0))
block_size = 1024
tqdm_bar = tqdm(total=total_size, unit='iB', unit_scale=True)
with open("largefile.zip", "wb") as file:
    for data in response.iter_content(block_size):
        tqdm_bar.update(len(data))
        file.write(data)
tqdm_bar.close()

手动实现简单的进度显示

可以通过计算已下载字节数与总字节数的比例，手动实现简单的进度显示。

url = "http://example.com/largefile.zip"
response = requests.get(url, stream=True)
total_size = int(response.headers.get('content-length', 0))
downloaded_size = 0
with open("largefile.zip", "wb") as file:
    for chunk in response.iter_content(chunk_size=8192):
        file.write(chunk)
        downloaded_size += len(chunk)
        done = int(50 * downloaded_size / total_size)
        print(f"\r[{'#' * done}{'.' * (50-done)}] {downloaded_size}/{total_size} bytes", end='')