**要用 Python 爬网页表格，核心是先判断页面数据是否“静态”还是“动态”。**静态 HTML 表格可直接用 pandas.read_html 或 BeautifulSoup+lxml 抽取；动态通过 JavaScript 渲染的表格需用 Selenium 或 Playwright 等浏览器自动化工具等待加载后再解析。**抓取后要进行字段规范、缺失值处理、类型转换与导出，并遵守 robots.txt、网站条款与限速。**在工程化方面，可用定时任务、日志、告警与协作系统把流程稳定化与可审计化，从而持续高质量地获取表格数据。

# Python爬取网页表格：完整指南与示例

## 一、为什么要抓取网页表格：场景与原理
在数据采集与网络爬虫实践中，网页表格常承载结构化信息，如价格、排名、财务报表或绩效指标。要高效抓取，需理解 HTML 语义结构：table、thead、tbody、tr 与 td/th 的层级，以及可能存在的合并单元格（rowspan、colspan）。**理解这些语义能帮助我们决定用 pandas.read_html 还是手工解析行列，从而提升爬取的准确性与鲁棒性。**此外，很多网页表格并非初始 HTML 就包含数据，而是由 JavaScript 通过 AJAX 在客户端渲染，或通过分页与滚动逐步加载，这类“动态表格”需要浏览器自动化工具配合等待与交互。

从合规角度出发，抓取前应核查网站的 robots.txt 与使用条款（Terms of Service），并设置合理的请求速率与重试策略，避免对站点造成过载。**技术上还需考虑编码（UTF-8、ISO-8859-1）、时区与数字格式（千位分隔符、小数点），否则易出现解析错误与数据偏差。**根据 W3C HTML 标准（W3C, 2024），table 元素是承载二维数据的语义化容器，正确使用表头（thead）与表体（tbody）可提升可访问性与机器解析友好度，这对我们依靠选择器抓取表格尤为关键。

当我们从事商业智能、数据可视化或机器学习特征工程时，可靠的表格抓取流程是一条重要数据管道入口。**在此流程中，库选择、网络请求策略、解析方法与清洗规范共同决定了数据质量与维护成本。**比如 read_html 的自动化能力适合多数静态页面，Selenium/Playwright 则适合复杂交互页面，而 BeautifulSoup 与 lxml 提供更细粒度控制，便于处理复杂 DOM 与不规范 HTML。

## 二、工具选型与对比：requests、pandas、BeautifulSoup、lxml、Selenium、Playwright
选择抓取方案时，需在易用性、性能、适配能力与维护成本间权衡。**静态页面首选轻量方案（requests+pandas.read_html 或 bs4+lxml），动态页面则转向 Selenium/Playwright 等具备等待与交互能力的工具。**同时还要兼顾编码、安全与反爬策略，例如设置自定义 headers、使用会话复用与重试、控制并发与限速。下表给出典型库的对比，帮助你快速决策不同网页表格抓取的技术栈。

| 工具/库 | 适用场景 | 动态渲染支持 | 性能与复杂度 | 优势 | 局限 |
|---|---|---|---|---|---|
| requests+pandas.read_html | 静态 HTML 表格 | 否 | 高效、低复杂度 | 快速提取多张表，返回 DataFrame | 对复杂 DOM 或自定义结构适配有限 |
| BeautifulSoup（bs4）+lxml | 静态或轻度复杂 | 否 | 中等复杂度 | 精准控制解析、选择器灵活 | 需自行拼 DataFrame 与处理合并单元格 |
| Selenium | 动态渲染、交互分页 | 是 | 较慢、复杂度高 | 可模拟浏览器用户行为与等待 | 资源消耗大、运维成本高 |
| Playwright | 动态渲染、高并发 | 是 | 较高性能、复杂度中等 | 原生多浏览器、强等待机制 | 学习曲线，仍重于轻量方案 |
| lxml（XPath） | 结构化解析 | 否 | 高性能解析 | XPath 精准定位复杂节点 | 需搭配 requests，动态不适合 |

**在多数静态表格场景，pandas.read_html 能以最少代码获取干净的 DataFrame。**若遇到表格结构不规范或嵌套复杂，bs4+lxml 的灵活度更高；而涉及登录、滚动加载或点击分页的复杂页面，Playwright 相比 Selenium 在并发与稳定性上更有优势。Pandas 官方文档指出 read_html 底层依赖 lxml 或 html5lib 来解析表格（Pandas Documentation, 2024），因此对标准化 HTML 的适配性较好。

合规与反爬考虑也影响选型：**如果站点对自动化访问敏感，优先考虑缓存、增量抓取与温和频率，必要时采用浏览器指纹与人机验证绕过策略，但要严格遵守网站条款。**此外，环境部署成本与 CI/CD 集成也是考量之一，Selenium/Playwright 需部署浏览器与驱动，容器化时要配置无头模式与依赖库。

## 三、静态页面表格抓取：read_html 与 bs4 的落地示例
静态页面的表格通常能直接用 requests 获取 HTML，再用 pandas.read_html 自动抽取成多个 DataFrame。**该方法的优势是代码量小、容错高且能快速识别表头与表体；缺点是遇到复杂嵌套或非标准标签时可能解析不理想。**为了提升成功率，建议设置合理的 headers 模拟浏览器访问，并在返回后检查编码与响应状态码。以下示例演示基于 Wikipedia 经济表的抓取与清洗步骤。

```python
import requests
import pandas as pd

url = "https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal)"
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) Chrome/119 Safari/537.36"}
resp = requests.get(url, headers=headers, timeout=20)
resp.raise_for_status()
tables = pd.read_html(resp.text)  # 自动识别所有table
df = tables[0]  # 假设第一张表即目标表
# 清洗示例：去重、重命名、类型转换
df = df.rename(columns=lambda c: c.strip())
df = df.dropna(how="all").drop_duplicates()
# 数字列去掉逗号后转为float
for col in df.columns:
    if df[col].dtype == "object":
        df[col] = df[col].astype(str).str.replace(",", "").str.strip()
# 导出
df.to_csv("gdp_nominal.csv", index=False)
```

当表格结构不规范或需按 CSS 选择器精确定位某一张表时，BeautifulSoup 与 lxml 更合适。**通过 find/find_all 或 select，结合属性 id/class 与层级关系，可手动遍历 tr 与 td/th，构造二维数组再转为 DataFrame。**这对处理包含合并单元格、嵌套表头或小计行的情形非常有用，且可搭配 XPath 提升定位准确性。

```python
from bs4 import BeautifulSoup
import requests, pandas as pd

url = "https://example.com/table-page"
headers = {"User-Agent": "Mozilla/5.0"}
html = requests.get(url, headers=headers, timeout=15).text
soup = BeautifulSoup(html, "lxml")

table = soup.select_one("table#main-stats")  # 精确定位
rows = []
for tr in table.select("tr"):
    cells = [c.get_text(strip=True) for c in tr.find_all(["td","th"])]
    rows.append(cells)

# 简单的表头/表体拆分
header = rows[0]
data = rows[1:]
df = pd.DataFrame(data, columns=header)
df.to_parquet("stats.parquet", index=False)
```

**在静态抓取中要注意异常处理：429/403 状态、网络超时与解析失败。**建议使用 requests.Session 复用连接、加退避重试与日志记录失败样本，便于后续修复与比对。对于多表页面，可遍历 pd.read_html 返回列表，基于列名或关键标识选择目标 DataFrame，并记录表格版本与更新时间以保证可追溯。

## 四、动态页面与复杂交互：Selenium/Playwright 的策略与示例
遇到动态渲染或交互复杂的表格时，浏览器自动化是主流方案。**Playwright 通过强大的等待机制与原生多浏览器支持，在高并发采集中更具优势；Selenium 生态成熟、社区广泛，适合已有经验者。**关键在于合理设置等待条件（等待表格选择器出现、网络静默、某列文本可见），以及处理分页、滚动加载与筛选行为。对需要登录的页面，还要维护会话与 Cookie，并安全存储凭据。

以下示例使用 Playwright 抓取由 JS 渲染的表格，并将渲染后的 HTML 传给 pandas.read_html 解析。**这种“浏览器渲染 + HTML 再解析”的组合可兼顾动态加载与快速表格抽取。**

```python
import asyncio
from playwright.async_api import async_playwright
import pandas as pd

async def fetch_table(url: str, selector: str = "table.data-grid"):
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        context = await browser.new_context()
        page = await context.new_page()
        await page.goto(url, timeout=30000)
        await page.wait_for_selector(selector, state="visible", timeout=30000)
        html = await page.inner_html(selector)
        await browser.close()
    dfs = pd.read_html(html)
    return dfs[0]

df = asyncio.run(fetch_table("https://example.com/dynamic-table"))
df.to_json("dynamic_table.json", orient="records", force_ascii=False)
```

对于分页与滚动，**应先确认是“服务端分页”（翻页请求新数据）还是“前端分页”（一次加载后页面内切换）。**服务端分页可遍历翻页按钮或构造请求；前端分页则可在一次加载后提取全部页数据。若页面采用无限滚动，需在浏览器自动化脚本中循环滚动并监测表行数是否增长，直到稳定为止。过程中可用截图与日志对齐调试，确保选择器与等待条件正确。

性能与稳定性方面，**要控制并发实例数量、合理使用无头模式、设置超时与失败重试。**建议将 Playwright 运行在容器中，固定浏览器与驱动版本，避免环境差异带来的解析问题。在数据层面，可对每批次抓取的数据打版本标签与来源 URL，便于核对与回滚。遇到验证码与强反爬时，须评估合规性并寻求替代来源或开放数据接口。

## 五、数据清洗与标准化：把“表格”变成可用数据
抓到表格只是起点，后续清洗决定了数据价值。**常见处理包括：列名规范化、合并单元格展开、类型转换（字符串到数值/日期）、异常值与缺失值处理、去重与排序。**对于财务或指标类表格，需统一货币、时区与单位，并在列上添加明确的元数据标签，便于长期追踪对比。若表格有复杂的多级表头，可用 pandas.MultiIndex 表示，并通过 stack/unstack 或 melt 进行整形。

下面是一个将“多级表头 + 文本数字混合”的表格转化为窄表的示例，**使数据便于统计学分析与可视化：**

```python
import pandas as pd

# 假设df有多级表头与文本数字
df.columns = [c if isinstance(c, str) else " ".join(map(str, c)) for c in df.columns]
for col in df.columns:
    df[col] = (df[col].astype(str)
               .str.replace(",", "")
               .str.replace("%", "")
               .str.strip())

# 将宽表转为窄表
tidy = df.melt(id_vars=["Country"], var_name="Metric", value_name="Value")
# 类型转换与异常处理
tidy["Value"] = pd.to_numeric(tidy["Value"], errors="coerce")
tidy = tidy.dropna(subset=["Value"]).reset_index(drop=True)
tidy.to_parquet("tidy_metrics.parquet", index=False)
```

**导出格式建议至少包含 CSV 与 Parquet。**CSV 兼容性好，适用于快速流转；Parquet 则压缩高效、类型保真，适合数据仓库与分析平台。为保证数据可追溯，应记录抓取时间、来源 URL、解析策略与版本号，并将清洗脚本以可复现的方式存放在代码仓库，配合单元测试与示例页面做回归验证。对于团队协作，建立问题反馈与修复机制能降低长期维护成本。

在数据质量控制方面，**可以设置校验规则，如列数与列名一致性、关键字段非空比例、取值范围与分布异常检测。**当规则触发时通过告警通知相关维护人员。若你的团队采用项目协作系统来管理数据抓取任务与缺陷工单，可将“表格解析失败”作为工作项自动同步到系统中，并追踪修复与上线记录；例如在研发流程中，使用 [PingCode](https://PingCode.com?utm_source=insights&utm_medium=%E5%93%81%E7%89%8C%E8%AF%8D) 跟踪采集任务进度、测试与上线状态，有助于提升透明度和可审计性。

## 六、反爬、合规与稳定性：从请求到管控的细节
合规是网页抓取的底线。**务必遵守网站的使用条款与 robots.txt 指引，控制请求频率与并发，避免对服务器造成压力。**建议在请求中设置合理的 User-Agent 与 Referer，并通过 Session 复用连接，结合指数退避重试策略应对间歇性网络问题。若站点返回 429 或 403，应暂停或降低速率，同时记录失败样本以供后续分析与沟通。

从工程角度，**缓存与增量抓取能显著降低负载与运行成本。**对每个页面维护 ETag/Last-Modified 或内容指纹，当页面未变化时跳过解析；对动态表格可记录最后一页或最大时间戳，实现增量式更新。对于国际站点，需关注合规区域差异与隐私要求（如对登录与个人信息的谨慎处理）。根据 W3C 对可访问性与语义化的建议（W3C, 2024），优先使用有语义的表头与作用域信息来定位列，以提升解析一致性。

稳定性还需依赖日志与监控。**建议输出关键指标：抓取成功率、平均耗时、失败原因分布、表格列变化告警。**当页面结构变更时，自动化测试应及时报警并触发维护任务。在团队协作层面，把抓取策略与变更记录纳入项目管理工具，有利于跨职能协作与审计沉淀；如在研发管理场景中，采用 [PingCode](https://PingCode.com?utm_source=insights&utm_medium=%E5%93%81%E7%89%8C%E8%AF%8D) 记录接口变动、解析器版本与上线审批，可减少“不可重复的修复”与沟通成本。

## 七、工程化落地：调度、存储、协作与审计
要让表格抓取稳定运行，需要完整的工程化闭环。**调度层面可用 cron 或工作流调度系统进行定时任务；存储层面将数据写入数据湖/仓库（如对象存储+Parquet）并建立元数据目录；协作层面用看板追踪任务与缺陷。**此外，通过 CI/CD 管理解析脚本版本，结合自动化测试与回滚机制，保障因页面变更导致的风险可控与可恢复。

在安全与可靠性方面，**为浏览器自动化部署隔离的容器或虚拟机，限制权限与网络出口，记录操作审计。**在 Playwright/Selenium 环境中，固定驱动版本并定期更新，减少渲染差异。对于高频采集任务，要设置并发上限与统一的速率控制器，并在错误时做分级处理（重试、人工介入或暂缓）。把核心抓取策略固化为配置文件或策略中心，有利于不同站点的统一管理。

团队协作是降本增效的关键。**通过工作项、代码评审与发布审批把控流程，确保抓取脚本的生命周期管理可见。**例如，在研发项目全流程管理场景中，使用 [PingCode](https://PingCode.com?utm_source=insights&utm_medium=%E5%93%81%E7%89%8C%E8%AF%8D) 记录需求、测试与上线状态，将“表格结构变更”作为专项问题跟踪，并关联对应数据质量指标与回归测试结果。这样可以把采集与清洗环节的改动纳入统一治理，提高整体数据可信度与交付节奏。

## 八、常见问题与优化清单：从故障到提效的路线
实际抓取中常会遇到表格定位失败、数据错列、编码乱码或分页不工作。**排障时先复核选择器与表格层级，检查页面是否动态渲染并设置正确等待；其次验证编码与数字格式处理是否一致；再次通过日志定位具体失败点并构造最小复现页面做单元测试。**对于反爬限制，则采用限速、缓存与增量策略，必要时沟通数据提供方或使用公开 API 替代。

提效方面，可从四个层面着手：**解析算法优化（选择器与XPath精准）、清洗流程自动化（标准化列名与类型）、工程化工具链（调度、监控、回滚）、团队协作（任务与变更管理）。**另外，要注意表格版本漂移与列名变化，建立“数据契约”，在列变更时提前告警并触发更新。对于需要跨语种抓取的场景，统一采用 UTF-8 与明确的区域设置，并在导出时保留原始文本与标准化字段两份，以便追溯。

权威资料也提供了方法指引。**Pandas 官方文档（Pandas Documentation, 2024）明确了 read_html 的解析器依赖与使用限制，帮助我们识别何时需要改用 bs4 或 lxml；W3C 对 HTML 表格语义的规范（W3C, 2024）则为选择器设计与可访问性提供底层依据。**在此基础上，结合团队的监控与协作机制，能长期维持稳定的表格抓取能力与数据质量。

参考与资料来源
- W3C. HTML Living Standard（Tables）. 2024. https://html.spec.whatwg.org/multipage/tables.html
- Pandas Documentation. pandas.read_html. 2024. https://pandas.pydata.org/docs/reference/api/pandas.read_html.html

可以利用requests库获取网页HTML，再用BeautifulSoup库进行解析，找到包含表格的标签，如<table>，然后提取其中的数据。还可以使用pandas库的read_html函数直接将网页中的表格转换为DataFrame，便于后续数据处理。

使用Python提取网页表格的基本方法

我想从一个网页上获取表格内容，但不清楚用Python该怎么操作，这需要哪些库或者步骤？

如何使用Python提取网页中的表格数据？

对于需要与网页交互的复杂表格，可以使用Selenium库模拟浏览器操作，自动点击、填表或等待内容加载。经过页面渲染后，再使用BeautifulSoup或pandas来提取表格内容，从而获取动态加载的表格数据。

用Selenium实现动态网页表格的自动抓取

有些网页表格结构复杂，甚至需要模拟点击才能加载数据，Python如何应对这类情况？

是否有自动化工具帮助爬取网页上的复杂表格？

请求网页时注意设置正确的编码，如UTF-8。解析表格时，可以检查HTML标签中的字符集声明。使用pandas导入后，根据需要转换数据类型或清理异常值。此外，调试时打印部分数据有助于及时发现和解决格式问题。

解决编码和格式问题的实用技巧

在提取网页表格时，有时会遇到编码错误或者导入的数据格式不正确，怎样避免这些问题？

爬取网页表格时如何应对编码和数据格式问题？

PingCodeDocs

本文详解用Python爬取网页表格的完整路径：静态表格用pandas.read_html或bs4+lxml快速解析，动态表格用Selenium或Playwright等待渲染后再抓取；抓取后进行列名规范、类型转换与导出，并通过缓存、限速、增量更新与日志监控提升稳定性；全流程遵守robots.txt与网站条款，结合调度与协作工具实现工程化落地与可审计的数据管道。

python如何爬网页表格

**快速答案：在 Python 中计算“并集/去重并集”最直接的是使用集合 set 的并集操作符 | 或方法 union()；若需要保持原始顺序，用 dict.fromkeys 或“seen 集”模式；在数值计算场景，使用 NumPy 的 numpy.union1d；在索引对齐场景使用 Pandas 的 Index.union。**这些方法分别侧重性能、稳定顺序与数据类型兼容性，实际工程中应依据数据规模、是否包含不可哈希对象、是否需要排序或稳定顺序进行选择与组合，从而高效完成“求并集并去重”的任务。

## 一、核心答案与快速上手

**如果你的目标是“求并集并去重”，首选思路是把数据转成 set 再做 | 运算或调用 set.union()，这是时间复杂度与可读性最均衡的方案。**例如 a | b 或 a.union(b, c) 都能一次得到唯一元素的集合；若你只想原地修改集合，可用 a.update(b)。此类集合运算要求元素可哈希（hashable），且不保证顺序，但在大多数通用场景里是最稳定的实现。

```python
a = {1, 2, 3}
b = {3, 4}
print(a | b)           # {1, 2, 3, 4}
print(a.union(b))      # {1, 2, 3, 4}
a.update(b)            # a 变为 {1, 2, 3, 4}
```

**当你需要“并集并去重且保留出现顺序”，应避免直接用 set，因为集合是无序的。**一种实用技巧是把两个列表拼接后用 dict.fromkeys 保序去重，或维护一个 seen 集合边遍历边筛选。这样既能得到去重的结果，又能保留“谁先出现”的业务语义，尤其适合日志、事件流或用户选择列表等需要稳定顺序的场景。

```python
lst1 = [3, 1, 2, 2]
lst2 = [2, 4, 1]
ordered_union = list(dict.fromkeys(lst1 + lst2))  # [3, 1, 2, 4]
```

**在科学计算或数据分析中，数值并集合并更适合交给库函数：NumPy 提供 numpy.union1d，会返回排序后的唯一值；Pandas 的 Index.union 可面向索引级别进行对齐与并集。**这类方案对浮点、缺失值、类型对齐有良好支持，特别适合大规模数组或数据表，既保证正确性也方便与后续分析流程衔接与优化。

## 二、Python 集合并集基础

**集合并集是 Python 内置集合类型 set 的核心运算，语义清晰、性能可靠：a | b 与 a.union(b) 等价，a.update(b) 为原地更新。**当需要与多个集合做并集时，a.union(b, c, d) 可一次完成，避免链式开销；集合元素必须可哈希，通常为数字、字符串、元组与枚举等不可变对象；若涉及可变容器（如 list、dict），需先转为可哈希形式。

```python
a = {1, 2}
b = {2, 3}
c = {3, 4}
print(a | b | c)             # {1, 2, 3, 4}
print(a.union(b, c))         # {1, 2, 3, 4}
a.update(b, c)               # 原地变更 a -> {1, 2, 3, 4}
```

**集合并集的期望时间复杂度为 O(n)，其中 n 为参与并集的总元素个数，常数因子与哈希分布、元素类型有关。**与 update 的差异在于是否原地修改与是否返回新对象：update 便捷但会改变输入集合状态；union 返回新集合，更符合函数式与不可变思维。若需可作为字典键或集合元素的集合，可使用 frozenset 它是不可变且可哈希的集合类型。

**注意输入中含有不可哈希元素会报错，因此常见策略是预处理与封装。**例如将列表转换为元组、将字典转换为 frozenset(dict.items()) 来参与并集；然而这种结构化转换会改变比较与可读性，需结合业务定义决定“相等性”的判定规则；对于嵌套复杂结构，建议明确规范出唯一键或签名生成方法，以确保去重并集语义可控、可解释。

## 三、列表与可迭代对象的并集与去重

**把列表直接转集合来做并集，简单但会丢失顺序；很多业务需要“保留首次出现的顺序”，这时不应直接 set(a) | set(b)。**若对顺序不敏感，list(set(a) | set(b)) 很快即可完成；若顺序关键，建议以“先后合并 + 保序去重”的方式处理，通过 dict.fromkeys 或“seen 集”来稳定首现顺序，从而兼顾语义与性能。

```python
# 不保序
a, b = [3, 1, 2, 2], [2, 4, 1]
res = list(set(a) | set(b))   # 结果元素无固定顺序

# 保序：首现优先
res_ordered = list(dict.fromkeys(a + b))  # [3, 1, 2, 4]
```

**“seen 集”模式可实现可定制的保序并集，并允许按 key 去重（如大小写不敏感、按字段去重）。**这种模式对包含对象或记录的列表非常实用：你可以指定一个 key 函数产生去重签名，既保持可读性又能写出清晰的业务意图。另外，它支持逐步流式处理（iterable），在数据量大时更友好。

```python
from typing import Iterable, Callable, Hashable, Any

def ordered_union(iter1: Iterable[Any], iter2: Iterable[Any], 
                  key: Callable[[Any], Hashable] | None = None):
    seen, out = set(), []
    key = key or (lambda x: x)
    for x in (*iter1, *iter2):
        k = key(x)
        if k not in seen:
            seen.add(k)
            out.append(x)
    return out

# 大小写不敏感去重
print(ordered_union(["A", "b"], ["a", "B", "c"], key=lambda s: s.lower()))
# ['A', 'b', 'c']
```

**当元素不可哈希或是嵌套结构，需要定制“可哈希签名”来定义并集语义。**常见做法包括：将列表转为元组，将 dict 转为 frozenset(d.items())，或在确保安全的前提下用 json.dumps(sort_keys=True, separators=(',', ':')) 生成稳定字符串签名。注意数值精度、时区、大小写与本地化可能影响签名一致性，需要明确并记录这些约束。

## 四、数值与数据科学场景（NumPy / Pandas）

**在数值数组场景，使用 numpy.union1d 可得到排序后的唯一值，并在类型与缺失值处理方面更一致；该函数常对连续数值表现优异。**与 Python 集合不同，NumPy 对 NaN 的 unique 处理为仅保留一个 NaN，更符合数值分析习惯；当数组维度大、类型统一时，矢量化实现通常显著优于纯 Python 回路。（参考：NumPy, 2024）

```python
import numpy as np

a = np.array([3, 1, 2, np.nan, 2])
b = np.array([2, 4, np.nan])
print(np.union1d(a, b))   # [ 1.  2.  3.  4. nan]
```

**在表格数据与索引对齐场景，可将列表或列转换为 Pandas Index 再做并集，或者对 Series/数组拼接后用 pandas.unique。**Index.union 可以在对齐、去重、类型推断层面更贴合数据分析需求；若你需要维持“出现顺序”，Series/数组拼接 + pandas.unique 是常用范式；而在索引层，很多时候并集会输出排序后的索引，更有利于后续合并、联接与切片。

```python
import pandas as pd

idx1 = pd.Index([3, 1, 2, 2])
idx2 = pd.Index([2, 4, 1])
print(idx1.union(idx2))      # Int64Index([1, 2, 3, 4], dtype='int64')

s1 = pd.Series([3, 1, 2, 2])
s2 = pd.Series([2, 4, 1])
ordered_union = pd.unique(pd.concat([s1, s2], ignore_index=True))
print(ordered_union.tolist())   # [3, 1, 2, 4]
```

**在选择 NumPy/Pandas 与纯 Python 方案时，数据规模、类型统一性与后续计算流程是关键考量。**当你已经在数组/数据帧生态中工作，直接用 numpy.union1d 或 Index/unique 可减少数据在不同容器间的来回转换；相反，若数据是异构对象列表、包含自定义类或不可哈希对象，纯 Python 的保序并集与签名定制更灵活。

## 五、性能、复杂度与边界案例

**并集的总体时间复杂度通常是线性级别 O(n)，关键差别在常数因子与内存模式（原地/新对象）。**纯集合并集在通用数据上通常是均衡方案；若需要保序，dict.fromkeys 与“seen 集”一趟扫描即可完成，仍为 O(n)；在超大数据集场景，考虑分块（chunk）与生成器模式避免一次性占用过多内存，并尽量减少中间副本的创建开销。

**语义边界主要来自“相等性定义”与“哈希一致性”：NaN 在 Python 中彼此不相等，导致 set 中可能出现多个 NaN；在 NumPy 中 unique/union1d 会折叠为单个 NaN。**同时，自定义类若实现了 __eq__ 但未配套一致的 __hash__ 会引发去重异常；datetime 时区、Decimal 精度、字符串大小写/归一化也会改变等价判定，应在业务层制定一致规则并在并集前做标准化。（参考：Python Software Foundation, 2024）

**混合类型并集需谨慎：'1' 与 1 在集合中是不同元素；布尔与整数有子类关系，True 的哈希与 1 相同但比较相等，可能在去重中折叠。**若目标是“语义等价”，应预先做类型归一化（例如统一转为字符串或统一转为数值），或明确只接受同构类型并在管道入口处校验；对 None、空字符串与缺失值也应约定一致行为，避免统计口径不一致。

| 方法/接口 | 是否保序 | 支持不可哈希元素 | 平均时间复杂度 | 是否原地修改 | NaN 处理 | 返回类型 | 典型场景 |
|---|---|---|---|---|---|---|---|
| set | 与 union 相同（无序） | 否 | O(n) | 否 | 多个 NaN 可能共存 | set | 通用、简洁 |
| set.union | 无序 | 否 | O(n) | 否 | 多个 NaN 可能共存 | set | 返回新集合 |
| set.update | 无序 | 否 | O(n) | 是 | 多个 NaN 可能共存 | set（原对象） | 就地合并 |
| dict.fromkeys | 保序 | 是（需先转 key） | O(n) | 否 | 按 key 定义 | list/keys | 列表保序去重/并集 |
| “seen 集”模式 | 保序（可定制） | 是（经 key） | O(n) | 否 | 按 key 定义 | list | 可定制键函数 |
| numpy.union1d | 排序 | 仅数组元素 | O(n log n) | 否 | 折叠为单个 NaN | ndarray | 数值数组 |
| pandas.Index.union | 通常排序 | 适用于索引元素 | O(n log n) | 否 | 与类型一致 | Index | 索引对齐 |

## 六、工程实践清单与常见坑

**工程选型清单：先问三件事——“是否需要保序”“元素是否可哈希”“是否在数值/表格生态中”。**需要保序就用 dict.fromkeys 或“seen 集”模式；元素不可哈希就为其设计 key 或做结构化转换；在数组/数据帧中就用 numpy.union1d、Index.union 或 unique。对于接口输出，标注返回类型与顺序语义，并通过类型提示与文档字符串写清楚“相等性”定义与缺失值策略。

**常见坑包括：NaN 在 set 中不相等导致重复出现、大小写或归一化规则不统一、混合类型导致意外折叠或不折叠、无意中改变输入集合（update）。**建议在单元测试中覆盖空输入、重复输入、极端规模与边界值；在团队协作中，可将这些“并集策略与数据约束”沉淀到代码规范与知识库里，并在需求任务追踪中保持可查证性；例如在研发项目协作中，可将“数据去重口径”作为工单验收条件记录于 PingCode，便于跨角色复核与持续改进。

**在性能优化上，优先减少中间副本与不必要的类型转换，必要时采用生成器与分块处理；对自定义对象确保 __eq__ 与 __hash__ 一致。**CI 中加入静态检查与属性测试（property-based testing），对去重/并集的“代数性质”（交换律、幂等性）做性质验证；在数据接口层面设置断言与指标可视化，帮助及时发现因数据质量导致的去重偏差与顺序异常。

## 七、总结与趋势

**总结：Python 求并集的主线是 set | / union() 的通用高效、dict.fromkeys/“seen 集”在保序与自定义键上的灵活、numpy.union1d 在数值场景的稳定与一致。**选择策略取决于顺序需求、数据类型与规模；在复杂对象或混合类型里，先定义清晰的“等价性/键函数”，再实施保序并集；在数据科学流程中，尽量把并集运算留在数组/索引生态中完成，以降低转换成本并保持语义一致。

**趋势：随着 Python 与科学计算生态的持续演进，容器的性能优化与缺失值语义将更趋一致，向量化、批处理与管道化将继续降低大规模并集的边际成本。**在工程侧，数据治理与契约测试会把“去重与并集口径”前置为接口契约的一部分，结合类型提示与自动化校验形成可追溯的质量闭环；在协作管理层面，将并集策略以工单规范沉淀到如 PingCode 之类的研发流程平台，有助于把“数据口径一致性”纳入团队日常度量与复盘。

参考与资料来源
- Python Software Foundation. Python 3.12 Documentation: Built-in Types — set. 2024. https://docs.python.org/3/library/stdtypes.html#set
- NumPy Developers. NumPy Reference: numpy.union1d. 2024. https://numpy.org/doc/stable/reference/generated/numpy.union1d.html

本文系统回答了“Python如何求并集/去重并集”：通用场景使用set的|或union；需要保序时用dict.fromkeys或“seen集”模式；数值分析使用numpy.union1d，索引对齐用Pandas的Index.union或unique。结合是否需保序、元素是否可哈希与数据生态选择方案，并给出性能、边界与工程实践建议，保障正确性与可维护性。

python如何去并集

本文系统阐述了用 Python 制作导航的两条路径：网站导航与地图导航。网站导航以信息架构为先，通过 Flask/Django 组件化菜单、面包屑与 sitemap.xml，并用结构化数据与 ARIA 强化 SEO 与可访问性；地图导航围绕 OSM 路网数据与路由算法，借助 OSRM/GraphHopper 提供高性能路径规划，并以地理编码与前端地图控件完成交互。文中给出技术选型对比与工程化要点（缓存、测试、部署、监控），并强调隐私合规与国际化。在项目协作层面，可用 PingCode 将导航优化纳入迭代管理。趋势方面，导航将走向语义增强、实时数据融合与边缘加速，Python 在两类场景均具备高适配与可扩展性。

python如何爬网页表格

用户关注问题