python如何爬网站地图

使用Python爬取网站地图的步骤包括：解析网站地图URL、提取URL列表、请求网页内容、解析网页内容。 其中，解析网站地图URL是关键步骤。接下来，我们将详细介绍如何使用Python爬取网站地图。

一、解析网站地图URL

网站地图通常是一个XML文件，包含了网站上所有页面的URL。要解析网站地图，首先需要获取该XML文件的URL。网站地图文件通常命名为sitemap.xml，并放置在网站的根目录下，例如https://example.com/sitemap.xml。可以使用Python的requests和xml.etree.ElementTree模块来解析该文件。

首先，通过requests模块发送HTTP GET请求获取网站地图文件，然后使用xml.etree.ElementTree模块解析XML文件，从中提取所有URL。

import requests
import xml.etree.ElementTree as ET
def fetch_sitemap(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.content
    else:
        raise Exception(f"Failed to fetch sitemap: {response.status_code}")
def parse_sitemap(xml_content):
    root = ET.fromstring(xml_content)
    urls = []
    for url in root.findall(".//{http://www.sitemaps.org/schemas/sitemap/0.9}url"):
        loc = url.find("{http://www.sitemaps.org/schemas/sitemap/0.9}loc").text
        urls.append(loc)
    return urls
sitemap_url = "https://example.com/sitemap.xml"
xml_content = fetch_sitemap(sitemap_url)
urls = parse_sitemap(xml_content)
print(urls)

二、提取URL列表

在获取和解析网站地图后，我们会得到一个包含所有页面URL的列表。我们可以对这些URL进行进一步处理，例如，过滤出特定类型的页面，或者只处理特定目录下的页面。

filtered_urls = [url for url in urls if 'blog' in url]
print(filtered_urls)

三、请求网页内容

接下来，我们使用requests模块请求每个URL的网页内容。我们可以通过循环遍历URL列表，并对每个URL发送HTTP GET请求来实现这一点。

def fetch_page_content(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        print(f"Failed to fetch page: {url}")
        return None
page_contents = []
for url in filtered_urls:
    content = fetch_page_content(url)
    if content:
        page_contents.append(content)

四、解析网页内容

在获取网页内容后，我们可以使用BeautifulSoup等HTML解析库来解析网页内容，提取我们需要的信息。例如，我们可以提取页面的标题、文章内容、图片URL等。

from bs4 import BeautifulSoup
def parse_page_content(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')
    title = soup.find('title').text
    body = soup.find('body').text
    return {
        'title': title,
        'body': body
    }
parsed_pages = []
for content in page_contents:
    parsed_page = parse_page_content(content)
    parsed_pages.append(parsed_page)
for page in parsed_pages:
    print(f"Title: {page['title']}")
    print(f"Body: {page['body'][:200]}...")

五、保存提取结果

在完成网页内容的解析后，我们可以将提取到的信息保存到文件或者数据库中。这里以保存到CSV文件为例。

import csv
def save_to_csv(parsed_pages, filename):
    keys = parsed_pages[0].keys()
    with open(filename, 'w', newline='') as output_file:
        dict_writer = csv.DictWriter(output_file, fieldnames=keys)
        dict_writer.writeheader()
        dict_writer.writerows(parsed_pages)
save_to_csv(parsed_pages, 'parsed_pages.csv')

六、错误处理与重试机制

在实际操作中，网络请求可能会失败，解析过程可能会遇到格式不正确的网页。因此，我们需要添加错误处理和重试机制，以提高程序的稳定性和健壮性。

import time
def fetch_page_content_with_retry(url, retries=3, delay=5):
    for i in range(retries):
        try:
            response = requests.get(url, timeout=10)
            if response.status_code == 200:
                return response.text
            else:
                print(f"Failed to fetch page: {url}, status code: {response.status_code}")
        except requests.RequestException as e:
            print(f"Exception occurred: {e}")
        time.sleep(delay)
    return None
page_contents = []
for url in filtered_urls:
    content = fetch_page_content_with_retry(url)
    if content:
        page_contents.append(content)

七、并发请求

为了提高爬取速度，我们可以使用并发请求。Python的concurrent.futures模块提供了便捷的并发工具。我们可以使用ThreadPoolExecutor来并发请求网页内容。

from concurrent.futures import ThreadPoolExecutor, as_completed
def fetch_page_content_concurrent(urls):
    page_contents = []
    with ThreadPoolExecutor(max_workers=10) as executor:
        future_to_url = {executor.submit(fetch_page_content_with_retry, url): url for url in urls}
        for future in as_completed(future_to_url):
            url = future_to_url[future]
            try:
                content = future.result()
                if content:
                    page_contents.append(content)
            except Exception as e:
                print(f"Exception occurred for {url}: {e}")
    return page_contents
page_contents = fetch_page_content_concurrent(filtered_urls)

八、数据清洗和规范化

在提取网页内容后，可能会遇到一些不规范的数据，例如，包含HTML标签的文本、不完整的内容等。我们需要对这些数据进行清洗和规范化处理。

import re
def clean_text(text):
    text = re.sub(r'<[^>]+>', '', text)  # Remove HTML tags
    text = re.sub(r'\s+', ' ', text)  # Replace multiple whitespace with a single space
    text = text.strip()
    return text
cleaned_pages = []
for page in parsed_pages:
    cleaned_page = {
        'title': clean_text(page['title']),
        'body': clean_text(page['body'])
    }
    cleaned_pages.append(cleaned_page)
for page in cleaned_pages:
    print(f"Title: {page['title']}")
    print(f"Body: {page['body'][:200]}...")

九、扩展：处理分页网站地图

有些网站地图包含多个分页（子网站地图），我们需要递归处理这些分页以获取所有URL。

def parse_sitemap_recursive(xml_content):
    root = ET.fromstring(xml_content)
    urls = []
    for sitemap in root.findall(".//{http://www.sitemaps.org/schemas/sitemap/0.9}sitemap"):
        loc = sitemap.find("{http://www.sitemaps.org/schemas/sitemap/0.9}loc").text
        child_sitemap_content = fetch_sitemap(loc)
        urls.extend(parse_sitemap_recursive(child_sitemap_content))
    for url in root.findall(".//{http://www.sitemaps.org/schemas/sitemap/0.9}url"):
        loc = url.find("{http://www.sitemaps.org/schemas/sitemap/0.9}loc").text
        urls.append(loc)
    return urls
sitemap_url = "https://example.com/sitemap.xml"
xml_content = fetch_sitemap(sitemap_url)
all_urls = parse_sitemap_recursive(xml_content)
print(all_urls)