如何用python自动下载

一、如何用Python自动下载文件

用Python自动下载文件是一项非常有用的技能，通过使用requests库、urllib库、selenium库和BeautifulSoup库，可以轻松实现文件的自动下载。其中，requests库因其简单易用而广泛应用于处理HTTP请求；urllib库是Python内置的模块，功能强大且不需要额外安装；selenium库适用于需要模拟浏览器行为的情况；而BeautifulSoup库则常用于解析HTML文档。在这些工具中，requests库是最为简单和直接的方式，适用于大多数需要通过URL下载文件的场景。

requests库的使用方法非常简单，只需调用requests.get()方法即可获取目标文件的内容，并通过Python的文件操作将其写入本地。首先，导入requests模块，然后通过requests.get()方法获取文件的内容。接下来，通过with open()函数以二进制写入模式打开一个本地文件，并将获取到的内容写入该文件中。这样，文件就可以成功下载到本地。requests库的优势在于其简便性和效率，能够快速实现大多数文件的下载任务。

二、使用REQUESTS库进行自动下载

requests库是一个Python中用于发送HTTP请求的第三方库，能够方便地处理GET和POST请求。它的语法简单，功能强大，非常适合用于自动下载文件。

1. 安装和导入requests库

   在使用requests库之前，需要确保该库已经安装。可以通过以下命令进行安装：

   pip install requests
   
   

   然后在Python脚本中导入该库：

   import requests
   
   

2. 发送GET请求并下载文件

   使用requests库下载文件的过程如下：

   url = 'https://example.com/file.zip'  # 目标文件的URL
   
   response = requests.get(url)  # 发送GET请求
   with open('file.zip', 'wb') as file:  # 以二进制写入模式打开文件
       file.write(response.content)  # 将响应内容写入文件
   

   在上面的代码中，首先指定要下载文件的URL，然后使用requests.get()方法发送GET请求。接着，通过with open()函数打开一个本地文件，并将响应内容写入该文件。完成后，目标文件将会下载到本地。

3. 处理大文件下载

   对于较大的文件，建议使用流式下载方式，以避免占用过多的内存。可以通过将requests.get()方法的stream参数设置为True来实现：

   url = 'https://example.com/largefile.zip'
   
   response = requests.get(url, stream=True)
   with open('largefile.zip', 'wb') as file:
       for chunk in response.iter_content(chunk_size=8192):
           file.write(chunk)
   

   这里，iter_content()方法用于分块读取响应内容，确保内存的使用效率。

三、使用URLLIB库进行自动下载

urllib库是Python的标准库之一，不需要额外安装，可以直接用于处理URL请求。

1. 导入urllib库

   在使用urllib库前，需要在Python脚本中导入该库：

   from urllib import request
   
   

2. 下载文件

   使用urllib库下载文件的方法如下：

   url = 'https://example.com/file.zip'
   
   request.urlretrieve(url, 'file.zip')
   

   通过request.urlretrieve()方法，指定目标文件的URL和本地保存的文件名，即可实现文件的下载。

3. 处理下载进度

   如果需要查看下载进度，可以定义一个回调函数并传递给urlretrieve()方法：

   def reporthook(block_num, block_size, total_size):
   
       downloaded = block_num * block_size
       progress = downloaded / total_size * 100
       print(f'Downloaded {progress:.2f}%')
   request.urlretrieve(url, 'file.zip', reporthook=reporthook)
   

   该回调函数会在每次下载块时调用，输出当前的下载进度。

四、使用SELENIUM进行自动下载

selenium库适用于需要模拟用户浏览器操作的场景，尤其是在下载需要登录的网站或动态页面上的文件时。

1. 安装和配置Selenium

   首先，需要安装selenium库和浏览器驱动。例如，对于Chrome浏览器，可以通过以下命令安装：

   pip install selenium
   
   

   然后下载对应版本的ChromeDriver，并将其路径添加到系统环境变量中。

2. 编写Selenium脚本

   使用Selenium模拟浏览器操作，下载文件的基本步骤如下：

   from selenium import webdriver
   
   from selenium.webdriver.common.by import By
   from selenium.webdriver.common.keys import Keys
   初始化Chrome浏览器
   driver = webdriver.Chrome()
   打开目标网页
   driver.get('https://example.com/login')
   模拟用户登录操作
   username = driver.find_element(By.ID, 'username')
   password = driver.find_element(By.ID, 'password')
   username.send_keys('your_username')
   password.send_keys('your_password')
   password.send_keys(Keys.RETURN)
   进入下载页面并点击下载链接
   driver.get('https://example.com/download')
   download_link = driver.find_element(By.LINK_TEXT, 'Download File')
   download_link.click()
   关闭浏览器
   driver.quit()
   

   在该示例中，首先初始化Chrome浏览器，打开目标网页，并模拟用户登录操作。然后进入下载页面并点击下载链接。下载完成后关闭浏览器。

3. 设置下载目录

   可以通过配置Chrome浏览器的首选项来设置下载目录，以确保文件下载到指定位置：

   options = webdriver.ChromeOptions()
   
   prefs = {'download.default_directory': '/path/to/download/directory'}
   options.add_experimental_option('prefs', prefs)
   driver = webdriver.Chrome(chrome_options=options)
   

   通过设置download.default_directory选项，可以指定默认的下载目录。

五、使用BEAUTIFULSOUP解析网页并下载

BeautifulSoup库常用于解析HTML文档，适合在需要从网页提取信息并下载文件的场景中使用。

1. 安装和导入BeautifulSoup库

   在使用BeautifulSoup库之前，需要确保该库已经安装：

   pip install beautifulsoup4
   
   

   然后在Python脚本中导入相关模块：

   from bs4 import BeautifulSoup
   
   import requests
   

2. 解析网页并提取下载链接

   使用BeautifulSoup解析网页，并提取需要下载的文件链接：

   url = 'https://example.com/files'
   
   response = requests.get(url)
   soup = BeautifulSoup(response.text, 'html.parser')
   download_links = []
   for link in soup.find_all('a'):
       href = link.get('href')
       if href.endswith('.zip'):  # 筛选出以.zip结尾的链接
           download_links.append(href)
   

   在该示例中，通过requests库获取网页内容，并使用BeautifulSoup解析HTML文档。然后通过find_all()方法找到所有的标签，并提取其中以.zip结尾的链接。

3. 下载提取的文件

   遍历提取到的下载链接，并使用requests库下载文件：

   for link in download_links:
   
       file_url = f'https://example.com{link}'
       response = requests.get(file_url)
       file_name = link.split('/')[-1]
       with open(file_name, 'wb') as file:
           file.write(response.content)
   

   通过拼接完整的文件URL，使用requests.get()方法获取文件内容，并将其写入本地文件。

import requests

url = 'http://example.com/file.zip'
response = requests.get(url)

with open('file.zip', 'wb') as f:
    f.write(response.content)

import requests
from tqdm import tqdm

url = 'http://example.com/file.zip'
response = requests.get(url, stream=True)

total_size = int(response.headers.get('content-length', 0))
block_size = 1024  # 每次下载的块大小
with open('file.zip', 'wb') as f:
    for data in tqdm(response.iter_content(block_size), total=total_size // block_size, unit='KB'):
        f.write(data)

import schedule
import time

def download_file():
    url = 'http://example.com/file.zip'
    response = requests.get(url)
    with open('file.zip', 'wb') as f:
        f.write(response.content)

schedule.every().day.at("10:30").do(download_file)

while True:
    schedule.run_pending()
    time.sleep(1)