如何将python爬下来的数据存入CSV

在Python中爬取数据并将其存储到CSV文件中，可以通过使用库如requests、BeautifulSoup和pandas来实现。核心步骤包括：发送HTTP请求、解析网页内容、提取所需数据、创建DataFrame对象、将数据写入CSV文件。下面将详细描述如何实现这一过程，并提供相关代码示例。

一、发送HTTP请求

在进行数据爬取之前，首先需要发送HTTP请求以获取网页内容。常用的库是requests。

import requests
url = 'http://example.com'
response = requests.get(url)
if response.status_code == 200:
    content = response.content
else:
    print(f'Failed to retrieve the page. Status code: {response.status_code}')

二、解析网页内容

获取网页内容后，需要使用解析库如BeautifulSoup来解析HTML文档，并提取所需的数据。

from bs4 import BeautifulSoup
soup = BeautifulSoup(content, 'html.parser')

三、提取所需数据

根据网页的结构，提取你所需的数据。例如，提取表格数据或指定标签中的内容。

data = []
table = soup.find('table', {'id': 'data-table'})
rows = table.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append(cols)

四、创建DataFrame对象

使用pandas库将提取的数据转换成DataFrame对象，以便进一步处理和存储。

import pandas as pd
df = pd.DataFrame(data, columns=['Column1', 'Column2', 'Column3'])

五、将数据写入CSV文件

最后，将DataFrame对象中的数据写入CSV文件。

df.to_csv('output.csv', index=False)

详细实现步骤

一、发送HTTP请求

在使用requests库发送HTTP请求时，确保检查响应的状态码，以确保请求成功。以下是一个更详细的示例：

import requests
def fetch_webpage(url):
    try:
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功
        return response.content
    except requests.exceptions.HTTPError as http_err:
        print(f'HTTP error occurred: {http_err}')
    except Exception as err:
        print(f'Other error occurred: {err}')
url = 'http://example.com'
content = fetch_webpage(url)

二、解析网页内容

使用BeautifulSoup解析网页内容时，可以根据不同的需求选择不同的解析器。最常用的是html.parser和lxml。

from bs4 import BeautifulSoup
def parse_html(content):
    soup = BeautifulSoup(content, 'html.parser')
    return soup
soup = parse_html(content)

三、提取所需数据

提取数据时，需要根据具体的网页结构，使用不同的BeautifulSoup方法，如find、find_all、select等。例如，提取表格数据：

def extract_table_data(soup, table_id):
    data = []
    table = soup.find('table', {'id': table_id})
    if not table:
        print(f'No table found with id {table_id}')
        return data
    headers = [header.text.strip() for header in table.find_all('th')]
    rows = table.find_all('tr')[1:]  # 跳过表头
    for row in rows:
        cols = row.find_all('td')
        cols = [ele.text.strip() for ele in cols]
        data.append(cols)
    return headers, data
headers, data = extract_table_data(soup, 'data-table')

四、创建DataFrame对象

使用pandas库将数据转换成DataFrame对象，可以更方便地进行数据处理和分析。

import pandas as pd
def create_dataframe(headers, data):
    df = pd.DataFrame(data, columns=headers)
    return df
df = create_dataframe(headers, data)

五、将数据写入CSV文件

将DataFrame对象中的数据写入CSV文件时，可以设置各种参数，如是否包含索引、编码格式等。

def save_to_csv(df, filename):
    try:
        df.to_csv(filename, index=False, encoding='utf-8')
        print(f'Data saved to {filename}')
    except Exception as e:
        print(f'Failed to save data to CSV: {e}')
save_to_csv(df, 'output.csv')

代码整合

将上述各个步骤整合到一起，形成一个完整的爬虫程序。

import requests
from bs4 import BeautifulSoup
import pandas as pd
def fetch_webpage(url):
    try:
        response = requests.get(url)
        response.raise_for_status()
        return response.content
    except requests.exceptions.HTTPError as http_err:
        print(f'HTTP error occurred: {http_err}')
    except Exception as err:
        print(f'Other error occurred: {err}')
def parse_html(content):
    soup = BeautifulSoup(content, 'html.parser')
    return soup
def extract_table_data(soup, table_id):
    data = []
    table = soup.find('table', {'id': table_id})
    if not table:
        print(f'No table found with id {table_id}')
        return data
    headers = [header.text.strip() for header in table.find_all('th')]
    rows = table.find_all('tr')[1:]  # 跳过表头
    for row in rows:
        cols = row.find_all('td')
        cols = [ele.text.strip() for ele in cols]
        data.append(cols)
    return headers, data
def create_dataframe(headers, data):
    df = pd.DataFrame(data, columns=headers)
    return df
def save_to_csv(df, filename):
    try:
        df.to_csv(filename, index=False, encoding='utf-8')
        print(f'Data saved to {filename}')
    except Exception as e:
        print(f'Failed to save data to CSV: {e}')
def main():
    url = 'http://example.com'
    content = fetch_webpage(url)
    if not content:
        return
    soup = parse_html(content)
    headers, data = extract_table_data(soup, 'data-table')
    if not data:
        return
    df = create_dataframe(headers, data)
    save_to_csv(df, 'output.csv')
if __name__ == '__main__':
    main()

总结

通过以上步骤，我们可以从网页中爬取数据并将其存储到CSV文件中。发送HTTP请求、解析网页内容、提取所需数据、创建DataFrame对象、将数据写入CSV文件是整个过程的核心步骤。每一步都需要根据具体的网页结构和需求进行调整。希望通过本文的详细介绍，您能够掌握如何在Python中实现这一过程。