如何用python制作爬虫表格

用Python制作爬虫表格的步骤包括使用网络爬虫抓取数据、解析数据并存储到表格中。 其中，可以使用的库包括requests或urllib进行HTTP请求、BeautifulSoup或lxml进行HTML解析、pandas进行数据存储和表格操作。下面将详细描述如何实现这些步骤，并提供示例代码。

一、安装所需库

首先，确保你已经安装了以下库：

pip install requests pip install beautifulsoup4 pip install lxml pip install pandas

二、发送HTTP请求

使用requests库发送HTTP请求获取网页内容。以抓取一个示例网站的数据为例：

import requests
url = 'http://example.com'
response = requests.get(url)
if response.status_code == 200:
    page_content = response.content
else:
    print("Failed to retrieve the webpage.")

三、解析网页内容

使用BeautifulSoup或lxml库解析网页内容，提取所需数据。假设我们需要抓取网页中的表格数据：

from bs4 import BeautifulSoup
soup = BeautifulSoup(page_content, 'lxml')
table = soup.find('table')
rows = table.find_all('tr')

四、提取数据并存储

提取表格中的数据，并使用pandas库将其存储为DataFrame，最后保存为Excel文件或CSV文件。

import pandas as pd
data = []
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])  # Get rid of empty values
Create DataFrame
df = pd.DataFrame(data)
Save to Excel
df.to_excel('output.xlsx', index=False)
Or save to CSV
df.to_csv('output.csv', index=False)

五、代码示例

以下是一个完整的示例代码，将上述步骤组合在一起实现一个简单的爬虫并存储数据到表格中：

import requests
from bs4 import BeautifulSoup
import pandas as pd
Step 1: Send HTTP request
url = 'http://example.com'
response = requests.get(url)
Check if the request was successful
if response.status_code == 200:
    page_content = response.content
else:
    print("Failed to retrieve the webpage.")
    exit()
Step 2: Parse the webpage content
soup = BeautifulSoup(page_content, 'lxml')
table = soup.find('table')
rows = table.find_all('tr')
Step 3: Extract data from the table
data = []
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])  # Get rid of empty values
Step 4: Store data in a DataFrame
df = pd.DataFrame(data)
Step 5: Save DataFrame to Excel
df.to_excel('output.xlsx', index=False)
Or save to CSV
df.to_csv('output.csv', index=False)

六、处理不同类型的数据

在实际应用中，网页的数据结构可能不同，可能需要处理嵌套的表格、分页的数据、或动态加载的数据。下面分别介绍如何处理这些情况。

1、处理嵌套的表格

有时，表格可能嵌套在其他HTML元素中，需进一步定位表格元素：

# Example: Table nested in a div with class 'data-table'
table = soup.find('div', class_='data-table').find('table')
rows = table.find_all('tr')

2、处理分页的数据

如果数据分页展示，可以模拟多次HTTP请求并合并数据：

import time
data = []
base_url = 'http://example.com/page='
for page in range(1, 6):  # Assume there are 5 pages
    url = f'{base_url}{page}'
    response = requests.get(url)
    if response.status_code == 200:
        page_content = response.content
        soup = BeautifulSoup(page_content, 'lxml')
        table = soup.find('table')
        rows = table.find_all('tr')
        for row in rows:
            cols = row.find_all('td')
            cols = [ele.text.strip() for ele in cols]
            data.append([ele for ele in cols if ele])
        # Sleep to avoid being blocked by the server
        time.sleep(1)
    else:
        print(f"Failed to retrieve page {page}")
        break
Create DataFrame and save
df = pd.DataFrame(data)
df.to_excel('output_paged.xlsx', index=False)

3、处理动态加载的数据

对于动态加载的数据，使用selenium库模拟浏览器操作：

pip install selenium

from selenium import webdriver
from selenium.webdriver.common.by import By
import pandas as pd
import time
Set up the WebDriver (assuming Chrome)
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
Navigate to the webpage
driver.get('http://example.com')
Allow time for the page to load
time.sleep(5)
Extract the table after the page has loaded
table = driver.find_element(By.TAG_NAME, 'table')
rows = table.find_elements(By.TAG_NAME, 'tr')
data = []
for row in rows:
    cols = row.find_elements(By.TAG_NAME, 'td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])
Close the browser
driver.quit()
Create DataFrame and save
df = pd.DataFrame(data)
df.to_excel('output_dynamic.xlsx', index=False)

七、处理数据异常和清洗

在实际应用中，抓取的数据可能包含异常值或需要清洗。以下是一些常用的数据清洗方法：

1、处理缺失值

使用pandas库的fillna方法填充缺失值：

df.fillna('N/A', inplace=True)

2、去除重复值

使用drop_duplicates方法去除重复的行：

df.drop_duplicates(inplace=True)

3、数据类型转换

如果需要将某列的数据类型转换，例如将字符串转换为日期：

df['date_column'] = pd.to_datetime(df['date_column'])

八、总结

使用Python制作爬虫表格涉及多个步骤，包括发送HTTP请求、解析网页内容、提取数据并存储到表格中。在实际应用中，可能需要处理不同类型的数据结构、分页数据、以及动态加载的数据。通过合理使用requests、BeautifulSoup、pandas和selenium等库，可以高效地完成这些任务。希望本文提供的详细步骤和示例代码能够帮助你更好地理解和实现Python爬虫表格的制作。