python如何去网上下载文件

Python下载文件的方式包括：使用requests库、使用urllib库、使用wget库。其中，使用requests库是最常用的一种方法，因为它简单易用且功能强大。下面将详细介绍如何使用requests库下载文件。

一、使用requests库

requests库是一个非常流行的HTTP库，它使得HTTP请求变得非常简单。下载文件时，只需发送一个GET请求，然后将响应内容保存到文件中即可。

1、安装requests库

在使用requests库之前，需要先安装它。可以使用pip命令进行安装：

pip install requests

2、使用requests库下载文件

以下是一个使用requests库下载文件的示例：

import requests
def download_file(url, local_filename):
    # 发送GET请求
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        # 打开本地文件
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192):
                # 分块写入文件
                f.write(chunk)
示例用法
download_file('https://example.com/file.zip', 'file.zip')

在这个示例中，requests.get(url, stream=True)发送了一个GET请求，并启用了流模式（streaming mode）。然后，使用iter_content(chunk_size=8192)方法以8192字节为单位分块读取响应内容，并将其写入本地文件。

二、使用urllib库

urllib库是Python标准库的一部分，可以用于处理URL和进行网络请求。虽然它比requests库稍微复杂一些，但依然是一个强大的工具。

1、导入urllib库

urllib库包含了多个子模块，下载文件时主要使用urllib.request模块。

import urllib.request

2、使用urllib库下载文件

以下是一个使用urllib库下载文件的示例：

import urllib.request
def download_file(url, local_filename):
    # 发送请求并保存文件
    urllib.request.urlretrieve(url, local_filename)
示例用法
download_file('https://example.com/file.zip', 'file.zip')

在这个示例中，urllib.request.urlretrieve(url, local_filename)方法发送了一个GET请求，并将响应内容直接保存到指定的本地文件中。

三、使用wget库

wget库是一个命令行工具的Python封装版本，专门用于下载文件。它提供了一个简单的接口，可以轻松下载文件。

1、安装wget库

在使用wget库之前，需要先安装它。可以使用pip命令进行安装：

pip install wget

2、使用wget库下载文件

以下是一个使用wget库下载文件的示例：

import wget
def download_file(url, local_filename):
    # 下载文件并保存
    wget.download(url, local_filename)
示例用法
download_file('https://example.com/file.zip', 'file.zip')

在这个示例中，wget.download(url, local_filename)方法发送了一个GET请求，并将响应内容直接保存到指定的本地文件中。

四、处理大文件下载

当下载大文件时，将整个文件内容一次性读入内存可能会导致内存不足的问题。为了避免这种情况，可以使用分块读取的方式。requests库已经提供了分块读取的功能，而对于urllib库和wget库，可以手动实现分块读取。

1、使用requests库分块读取大文件

以下是一个使用requests库分块读取大文件的示例：

import requests
def download_large_file(url, local_filename):
    # 发送GET请求
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        # 打开本地文件
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192):
                # 分块写入文件
                f.write(chunk)
示例用法
download_large_file('https://example.com/largefile.zip', 'largefile.zip')

2、使用urllib库分块读取大文件

以下是一个使用urllib库分块读取大文件的示例：

import urllib.request
def download_large_file(url, local_filename):
    # 打开URL
    with urllib.request.urlopen(url) as response:
        # 打开本地文件
        with open(local_filename, 'wb') as f:
            chunk_size = 8192
            while True:
                # 分块读取数据
                chunk = response.read(chunk_size)
                if not chunk:
                    break
                # 分块写入文件
                f.write(chunk)
示例用法
download_large_file('https://example.com/largefile.zip', 'largefile.zip')

五、处理异常

在下载文件时，可能会遇到各种异常情况，例如网络连接错误、HTTP错误等。为了提高代码的鲁棒性，需要对这些异常进行处理。

1、处理requests库中的异常

requests库提供了一些内置异常，可以用来处理各种错误情况。例如，可以使用requests.exceptions.RequestException来捕获所有可能的异常。

import requests
def download_file(url, local_filename):
    try:
        # 发送GET请求
        with requests.get(url, stream=True) as r:
            r.raise_for_status()
            # 打开本地文件
            with open(local_filename, 'wb') as f:
                for chunk in r.iter_content(chunk_size=8192):
                    # 分块写入文件
                    f.write(chunk)
    except requests.exceptions.RequestException as e:
        print(f"Error downloading file: {e}")
示例用法
download_file('https://example.com/file.zip', 'file.zip')

2、处理urllib库中的异常

urllib库也提供了一些内置异常，例如urllib.error.URLError和urllib.error.HTTPError。可以使用这些异常来捕获各种错误情况。

import urllib.request
import urllib.error
def download_file(url, local_filename):
    try:
        # 发送请求并保存文件
        urllib.request.urlretrieve(url, local_filename)
    except urllib.error.URLError as e:
        print(f"Error downloading file: {e}")
示例用法
download_file('https://example.com/file.zip', 'file.zip')

六、总结

Python提供了多种下载文件的方式，包括使用requests库、urllib库和wget库。requests库是最常用的方式，因为它简单易用且功能强大。对于大文件下载，可以使用分块读取的方式，以避免内存不足的问题。此外，在下载文件时，需要处理各种可能的异常情况，以提高代码的鲁棒性。通过以上介绍和示例，相信你已经能够掌握如何使用Python下载文件，并根据具体情况选择合适的方法。