python如何爬取下载m3u8视频

回答：使用Python爬取和下载m3u8视频，关键步骤包括：解析m3u8文件、下载TS视频片段、合并TS片段。解析m3u8文件是整个过程的第一步，解析m3u8文件能够获取视频分片的具体URL，从而能够进一步进行下载和合并操作。

解析m3u8文件是实现下载的基础。m3u8文件是一个文本文件，包含了视频片段（TS文件）的URL列表。通过解析这个文件，能够逐一获取TS视频片段的具体地址。之后，可以使用Python的请求库（如requests）下载这些TS片段，最终将它们合并成一个完整的视频文件。接下来，我们将详细介绍如何实现这几个关键步骤。

一、解析m3u8文件

1、读取m3u8文件内容

首先，需要下载并读取m3u8文件的内容。m3u8文件通常是一个文本文件，包含了视频分片的URL列表。可以使用requests库来获取这个文件。

import requests
def download_m3u8(url):
    response = requests.get(url)
    return response.text
m3u8_url = 'https://example.com/path/to/your.m3u8'
m3u8_content = download_m3u8(m3u8_url)
print(m3u8_content)

2、解析m3u8文件内容

m3u8文件内容通常包含EXTINF标签和TS片段URL。可以使用正则表达式或m3u8库来解析文件内容。

import re
def parse_m3u8(content):
    ts_urls = re.findall(r'(https?://[^\s]+\.ts)', content)
    return ts_urls
ts_urls = parse_m3u8(m3u8_content)
print(ts_urls)

或者使用m3u8库来解析：

import m3u8
def parse_m3u8_with_lib(content):
    m3u8_obj = m3u8.loads(content)
    ts_urls = [segment.uri for segment in m3u8_obj.segments]
    return ts_urls
ts_urls = parse_m3u8_with_lib(m3u8_content)
print(ts_urls)

二、下载TS视频片段

1、下载单个TS片段

使用requests库下载单个TS片段并保存到本地文件。

def download_ts(url, filename):
    response = requests.get(url, stream=True)
    with open(filename, 'wb') as f:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)
ts_url = ts_urls[0]
download_ts(ts_url, 'segment0.ts')

2、批量下载TS片段

遍历所有TS片段URL并下载。

import os
def download_all_ts(ts_urls, output_dir):
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)
    for i, url in enumerate(ts_urls):
        filename = os.path.join(output_dir, f'segment{i}.ts')
        download_ts(url, filename)
        print(f'Downloaded {filename}')
output_dir = 'ts_segments'
download_all_ts(ts_urls, output_dir)

三、合并TS片段

1、合并TS片段为一个文件

使用ffmpeg工具将所有TS片段合并成一个完整的视频文件。

import subprocess
def merge_ts(output_dir, output_filename):
    ts_files = os.path.join(output_dir, 'segment*.ts')
    command = f'ffmpeg -i "concat:{ts_files}" -c copy {output_filename}'
    subprocess.run(command, shell=True)
output_filename = 'output_video.mp4'
merge_ts(output_dir, output_filename)

2、确保合并顺序

在合并之前，可以生成一个包含所有TS片段文件名的列表文件，以确保合并顺序正确。

def create_file_list(output_dir, list_filename):
    with open(list_filename, 'w') as f:
        for i in range(len(ts_urls)):
            f.write(f"file '{os.path.join(output_dir, f'segment{i}.ts')}'\n")
list_filename = 'file_list.txt'
create_file_list(output_dir, list_filename)
def merge_ts_with_list(list_filename, output_filename):
    command = f'ffmpeg -f concat -safe 0 -i {list_filename} -c copy {output_filename}'
    subprocess.run(command, shell=True)
merge_ts_with_list(list_filename, output_filename)

四、处理可能遇到的问题

1、处理加密的m3u8文件

如果m3u8文件使用了AES-128加密，需要获取解密密钥并在下载TS片段时进行解密。

def download_and_decrypt_ts(url, key, iv, filename):
    response = requests.get(url, stream=True)
    cipher = AES.new(key, AES.MODE_CBC, iv)
    with open(filename, 'wb') as f:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                decrypted_chunk = cipher.decrypt(chunk)
                f.write(decrypted_chunk)

2、处理不同格式的m3u8文件

有些m3u8文件可能包含不同的分辨率和比特率，需要选择合适的流。

def choose_stream(m3u8_content):
    m3u8_obj = m3u8.loads(m3u8_content)
    for playlist in m3u8_obj.playlists:
        print(f"Stream: {playlist.stream_info.resolution} - {playlist.uri}")
    chosen_uri = m3u8_obj.playlists[0].uri
    return chosen_uri
chosen_m3u8_uri = choose_stream(m3u8_content)
chosen_m3u8_content = download_m3u8(chosen_m3u8_uri)
ts_urls = parse_m3u8(chosen_m3u8_content)

通过上述步骤，我们可以使用Python成功地爬取和下载m3u8视频。每一步都有详细的代码示例和解释，确保实现过程中不遗漏任何关键步骤。无论是解析、下载还是合并，均提供了具体的方法和解决方案。希望这些内容能帮助你高效地完成m3u8视频的下载任务。