**使用 Python 收集子域名的实操路径是：先界定合法的测试范围，再结合被动与主动枚举数据源，利用 HTTP 请求获取证书透明度日志与搜索引擎结果，配合字典爆破与 DNS 解析异步并发，最终通过去重、验证与持久化形成资产台账与自动化流程。**在可落地层面，核心是将 crt.sh、Censys、SecurityTrails 等公开源与 dnspython、httpx、asyncio 等库组合，构建可靠的子域名枚举与验证管线，并在流程中实施限速与合规控制，确保安全、稳定与可维护。

## 一、子域名收集的价值、边界与场景

在攻击面管理与资产盘点中，子域名收集是外部资产发现（Asset Discovery）的基础环节，直接关系到安全测试、监控与漏洞修复的范围识别。**从业务角度看，系统迁移、云原生扩张与第三方集成会不断产生新的子域名，持续枚举能帮助团队维护可信资产清单与审计线索。**以 Python 为主的自动化脚本可在低成本下持续运行，减少人工误差，适合安全团队、DevSecOps 与合规团队协作落地。

合规边界是所有子域名枚举的前提。**仅在授权范围内进行被动或主动枚举，并设置合理的速率限制与数据访问策略，是保障合法性与稳定性的必备条件。**这意味着测试主体需要明确目标主域名、书面授权与测试时间窗口，避免对生产环境造成干扰。Python 脚本中通过限速、重试与错误处理控制网络负载，体现对目标和自身资源的双重保护。

根据 Gartner 对外部攻击面管理（EASM）的定义与行业趋势，组织需要持续盘点所有互联网暴露资产，其中子域名是最常见的可识别标识之一（Gartner, 2024）。**这类实践强调“持续性”与“可操作性”，即不仅要发现，还要验证与分类，并能自动通知相关团队进行修复或归档。**Python 方案可以通过定期任务与数据库存储，形成稳定的资产台账与变更追踪。

在落地场景中，子域名收集服务可用于渗透前的侦察（合法授权）、蓝队资产对账、CDN 与 DNS 配置核查、SSL 证书覆盖检查等。**将被动枚举（证书透明度日志、搜索引擎、威胁情报）与主动枚举（字典爆破、DNS 解析、HTTP 探测）结合，能兼顾广度与精度，提升覆盖率与可验证性。**随后通过去重与状态校验筛选有效子域，为后续安全检测与治理提供可靠输入。

## 二、Python方法与数据源全景：被动与主动的组合

用 Python 收集子域名的思路可以分为被动枚举与主动枚举两大类。**被动枚举依赖公开数据源，如证书透明度（Certificate Transparency, CT）日志站点 crt.sh、资产搜索平台 Censys、搜索引擎结果与历史 DNS 记录；主动枚举则通过字典爆破、排列组合与 DNS 解析并发探测，直接验证可解析的主机名。**在工程实现上，两者需在同一管线中完成去重与验证，避免重复与假阳性。

被动枚举的优势是风险低、速度快、数据覆盖广，适合快速获取候选集合。**例如，crt.sh 的 JSON 输出可直接用 requests 获取；Censys 与 SecurityTrails 提供 API，能查询历史与当前子域映射；搜索引擎（如Google）可通过查询语法搜集索引中的主机名，但需遵守使用条款与限速。**这些源往往包含历史数据，需后续再通过 DNS 解析进行有效性校验与淘汰。

主动枚举的核心是字典与并发。**通过维护高质量的子域字典（如常见服务名、环境名、业务线名），结合 asyncio 与 dnspython/aiodns 的并发解析，可以在短时间内覆盖大量候选；同时需实现通配符检测与重试策略，避免将通配符 DNS 响应误判为真实子域。**主动枚举能发现未被公开数据源记录的新主机，但要严格控制查询速率与目标负载。

在工程实践中，需将数据源与方法进行选择与组合。**一般流程为：被动枚举快速拉全候选 → 主动枚举补充覆盖与校验 → DNS 与 HTTP 层验证有效性 → 存储与告警。**下面以表格对常见方法做定性与定量对比，帮助团队在 Python 项目中进行技术选型与管线设计。

### 方法与数据源对比表

| 方法/数据源 | 类型 | 速度（相对） | 准确性 | 风险/影响 | Python实现难度 | 备注 |
|---|---|---|---|---|---|---|
| crt.sh（CT日志） | 被动 | 高 | 中-高 | 极低 | 低 | 需结果验证；覆盖历史证书 |
| Censys API | 被动 | 中 | 高 | 低 | 中 | 需API密钥；数据结构化 |
| SecurityTrails API | 被动 | 中 | 高 | 低 | 中 | 商业数据源；历史与当前 |
| 搜索引擎语法 | 被动 | 中 | 中 | 低 | 低-中 | 需遵守条款与限速 |
| 字典爆破+DNS | 主动 | 高（并发） | 中-高 | 中 | 中 | 需字典质量与通配符检测 |
| 排列组合生成 | 主动 | 中 | 中 | 中 | 中 | 动态生成候选，需过滤 |
| 反向DNS/证书抓取 | 被动/主动 | 低-中 | 中 | 中 | 中-高 | 依赖目标状况与采集策略 |
| DNS Zone Transfer（AXFR） | 主动 | 高（若开放） | 高 | 中-高 | 中 | 合规前提下测试；多数禁用 |

上述对比显示，被动数据源如 CT 日志与商业 API 提供高效率候选集合，但仍需二次验证；**主动枚举对覆盖率提升明显，尤其适用于新发布或未被索引的子域，但应在授权与限速框架内运行。**Python 提供了良好的网络与并发生态，使组合策略在单一语言下高效实现。

## 三、Python脚本实战：被动枚举（CT日志、搜索、API）

在被动枚举中，证书透明度日志是最实用的切入点。**crt.sh 的查询接口支持以 JSON 输出检索目标域的证书条目，从中提取子域名；随后通过正则与集合去重，得到候选列表。**这种方式只需要 Python requests 与基础字符串处理，安全性高且实现简单，是项目早期快速拉清单的有效方法。

示例：从 crt.sh 拉取子域候选并去重（仅演示核心逻辑）：
```
import requests, re
from urllib.parse import quote

def fetch_crtsh_subdomains(domain):
    url = f"https://crt.sh/?q=%25.{quote(domain)}&output=json"
    r = requests.get(url, timeout=30)
    r.raise_for_status()
    data = r.json()
    names = set()
    for item in data:
        for name in item.get("name_value", "").split("\n"):
            name = name.strip().lower()
            if name.endswith(domain.lower()):
                names.add(name)
    # 过滤通配符与重复
    return {n for n in names if not n.startswith("*.")}

subs = fetch_crtsh_subdomains("example.com")
print(len(subs), list(subs)[:10])
```

除 CT 日志外，资产搜索平台提供结构化接口。**以 Censys 为例，其 API 能按证书与主机索引查询子域映射；SecurityTrails 提供历史与当前 DNS 数据，利于对比变更与补齐缺失。**在 Python 中通过 requests/httpx 进行鉴权调用，并解析返回 JSON，可快速纳入统一管线。注意遵循平台使用政策与速率限制，避免被封禁。

示例：Censys（伪代码，需替换密钥与具体查询语法）：
```
import httpx

API_ID = "YOUR_ID"
API_SECRET = "YOUR_SECRET"

def censys_search_subdomains(domain):
    auth = (API_ID, API_SECRET)
    query = f"name: *.{domain}"
    url = "https://search.censys.io/api/v2/certificates/search"
    payload = {"q": query, "fields": ["names"], "per_page": 100}
    subs = set()
    with httpx.Client(timeout=30) as client:
        r = client.post(url, json=payload, auth=auth)
        r.raise_for_status()
        for item in r.json().get("result", {}).get("hits", []):
            for n in item.get("names", []):
                if n.endswith(domain):
                    subs.add(n.lower())
    return subs
```

搜索引擎语法也是辅助数据源。**通过查询“site:example.com -www.example.com”或特定文件类型与路径关键字，能从索引中提取主机名线索；但这类方法需谨慎处理抓取与条款合规问题，建议仅记录线索并再走 DNS 验证流程。**Python 可用 requests 或以官方 API 调用方式整合，统一输出到候选集合，再进入下一阶段验证。

整合被动枚举时，要做好异常与速率控制。**为每个数据源分别设置超时、重试与退避（如指数退避），并对返回结果进行正则清洗与集合去重；统一以 domain 为后缀校验，剔除跨域与无关数据。**随后通过 DNS 解析进行有效性验证与标注，确保最终资产台账可执行与可信。

## 四、Python脚本实战：主动枚举（字典爆破、并发与通配符校验）

主动枚举的核心工作在于“生成候选”与“快速验证”。**候选通常来自字典（常见服务名如 api、cdn、img、login、dev、stage 等），也可结合业务线名与环境词汇进行排列组合；验证则通过高并发 DNS 解析与通配符检测，筛选真实存在的子域。**在 Python 侧，asyncio 结合 aiodns 或 dnspython 可显著提升解析吞吐。

示例：使用 asyncio + dnspython 并发解析与通配符检测（提炼版）：
```
import asyncio
import random
from dns import resolver, exception

def resolve_a(host, timeout=2.0):
    try:
        res = resolver.Resolver()
        res.lifetime = timeout
        return [str(r.address) for r in res.resolve(host, "A")]
    except exception.DNSException:
        return []

async def check_host(loop, host, sem):
    async with sem:
        return host if resolve_a(host) else None

def detect_wildcard(domain):
    token = f"{random.randint(10**6, 10**7)}"
    test = f"{token}.{domain}"
    return bool(resolve_a(test))

async def brute_subdomains(domain, candidates, concurrency=200):
    sem = asyncio.Semaphore(concurrency)
    wildcard = detect_wildcard(domain)
    tasks = []
    for sub in candidates:
        host = f"{sub.strip()}.{domain}"
        tasks.append(check_host(asyncio.get_event_loop(), host, sem))
    found = set()
    for coro in asyncio.as_completed(tasks):
        r = await coro
        if r:
            if wildcard:
                # 若存在通配符，需进一步以HTTP或多记录策略验证
                found.add(r)  # 简化处理，实际应更严格
            else:
                found.add(r)
    return found

if __name__ == "__main__":
    wordlist = ["www", "api", "dev", "stage", "cdn", "img", "login", "mail"]
    results = asyncio.run(brute_subdomains("example.com", wordlist))
    print(results)
```

并发解析需注意 DNS 服务器选择与缓存策略。**默认系统解析器可能存在限速与地域差异，建议配置可靠的公共解析器、控制并发与超时，并为 NXDOMAIN/Timeout 等典型错误做重试与退避。**另外，对于存在通配符的域名，单次 A 记录解析无法作为有效性判断，需要结合 HTTP HEAD 请求或多记录类型综合判断。

候选生成的质量决定主动枚举的效率。**除通用字典外，可根据目标业务语义扩充，如区域缩写、环境标识（prod、staging）、微服务名、移动端与桌面端前缀等，并使用组合与拼写变体（如 img、image、static、assets）提升覆盖率。**为了防止爆炸式增长，应在脚本中加入长度限制与后缀规则过滤，保持枚举规模可控。

主动枚举的工程优化包括连接池、批次化与限速。**通过分批处理子域候选、动态调整并发（如在错误率升高时降低并发）、对热点字典优先尝试，能在保持目标可用性的前提下提升整体枚举效率。**结构化日志与指标收集也很重要，便于观察成功率、平均延迟与解析错误类型，为后续策略迭代提供数据依据。

## 五、结果清洗、验证与持久化：从“候选”到“可信资产”

子域名收集的难点不在“找到”，而在“确认”。**验证与清洗需要同时考虑 DNS 与 HTTP 层，确保记录真实、可达且与目标相关；同时要处理通配符、CDN、别名（CNAME）与临时性记录导致的误判。**Python 中通过 sets 去重、正则过滤与多通道验证组合，可将候选集转化为高可信资产集。

DNS 验证建议检查多种记录类型。**除了 A/AAAA 外，还可查询 CNAME、NS 与 TXT 以辅助判断，必要时核查 TTL 与权威 DNS 响应差异，识别缓存与暂时性波动。**进一步可使用 HTTP HEAD/GET 请求验证服务端响应，如 2xx/3xx 与证书信息，结合证书域名（SAN）匹配确认主机与域名关系，避免单纯依赖解析结果。

示例：HTTP 层验证与并发控制（缩略版）：
```
import httpx, asyncio

async def check_http(host):
    url = f"https://{host}"
    try:
        async with httpx.AsyncClient(timeout=10, verify=True) as client:
            r = await client.head(url, follow_redirects=True)
            return host if r.status_code < 400 else None
    except Exception:
        return None

async def verify_hosts(hosts, concurrency=100):
    sem = asyncio.Semaphore(concurrency)
    tasks = []
    async def run(host):
        async with sem:
            return await check_http(host)
    for h in hosts:
        tasks.append(run(h))
    confirmed = set()
    for coro in asyncio.as_completed(tasks):
        res = await coro
        if res:
            confirmed.add(res)
    return confirmed
```

持久化与版本化是形成资产台账的关键。**建议将最终验证通过的子域保存到 SQLite/PostgreSQL，并记录来源（如 ct、censys、brute）、验证时间、解析记录与 HTTP 状态；同时以哈希或版本号对比新旧结果，形成增量变更清单。**这样不仅能支撑告警与报表，还能帮助审计与合规证明，符合 CISA 对资产识别与持续监控的实践方向（CISA, 2023）。

数据质量度量应纳入管线。**可设置命中率（验证通过/候选）、重复率、通配符影响比、错误率等指标，并设计阈值触发人工复核或脚本优化迭代。**对高价值子域（如登录、支付、管理入口）应在管线中标记优先级，以便下游安全测试与加固工作流优先处理，提升整体安全治理效率。

## 六、自动化与协作：任务编排、告警与资产治理

从脚本到系统，需要自动化与协作支撑。**可以用 cron、系统服务或 CI/CD（如 GitHub Actions）按固定周期运行枚举管线，结合日志采集与告警发送（邮件、Webhook），将新发现子域与变更结果及时推送到相关团队。**同时，分环境与分业务的多域目标可配置多进程或分布式任务队列，保证吞吐与隔离。

在协作层面，建议将子域清单与验证结果纳入项目协作系统的任务看板与问题工作流。**例如在研发项目管理系统中，将“新发现子域验证”“证书匹配异常”“通配符误判复核”等作为任务模板，关联负责人与截止日期，确保发现到修复的闭环。**在这类场景下，[PingCode](https://PingCode.com?utm_source=insights&utm_medium=%E5%93%81%E7%89%8C%E8%AF%8D) 这类研发项目全流程管理系统可用于把收集到的子域与待办事项、迭代计划关联，降低跨团队沟通成本，并保留追溯记录。

数据落地方面，可设计规范化数据库与报表输出。**建议建立表结构：domains（主域）、subdomains（子域）、validations（验证记录）、sources（来源）、metrics（指标），并以视图或报表呈现最近变更、按来源的命中率与失败原因统计。**对于关键变更（如新出现的敏感子域），自动生成任务并分配到安全与研发联合小组，纳入冲刺或专项修复流程；在这里，[PingCode](https://PingCode.com?utm_source=insights&utm_medium=%E5%93%81%E7%89%8C%E8%AF%8D) 可承载任务状态与评论沟通，促进跨职能协作。

告警与合规是自动化闭环中的重要元素。**对异常模式（如短时间内大量新子域、证书异常、HTTP 状态突然变更）设定阈值与规则，触发通知与人工复核；同时保留授权文件、测试计划与审计日志，确保子域枚举在合法范围内运行。**通过指标看板与日报/周报，安全团队能持续观察攻击面变动，并与云资源、CDN 配置调整保持同步。

为保障可维护性与成本控制，建议将字典与数据源配置化。**通过 YAML/JSON 管理字典、API密钥与限速参数，配合统一日志与错误处理库，实现可移植与可审计的工程结构；在增长阶段逐步引入缓存层与消息队列，支持更多域与更高频率的周期任务。**最终形成自助化的子域发现平台，为后续漏洞监测与治理提供稳定输入。

## 七、合规、风险控制与未来趋势预测

合规原则需要贯穿子域收集的全流程。**仅在授权范围与明确边界内进行枚举，限制请求速率与重试次数，避免对目标环境产生可感知影响；同时加密存储结果并控制访问权限，确保资产台账不被误用。**遵循行业安全建议与治理框架能提升实践的可持续性与审计可信度（CISA, 2023）。

风险控制方面，建议在脚本层加入保护策略。**包括按源限速、DNS 解析并发上限、指数退避重试、错误率阈值报警与通配符严格复核；并对 API 调用失败与异常返回设计兜底逻辑，避免单点依赖。**对子域验证流程设置时间窗与资源配额，防止任务井喷，在高压场景下保持稳定。

展望未来，子域枚举与资产发现将更“持续与智能”。**随着 EASM 的普及与平台化，更多组织会将证书、DNS、HTTP、云资源标签与代码仓库信息联通，形成统一攻击面图谱；AI 驱动的候选生成与异常识别也会提升枚举质量与效率。**根据 Gartner 对外部攻击面管理的趋势观察（Gartner, 2024），自动化与数据融合是下一阶段的主旋律。

技术细节上，DNS over HTTPS（DoH）与加密传输将进一步普及。**这会影响解析策略与并发模型，需要在 Python 端支持多解析路径、合理缓存与回退方案；证书透明度生态也在扩展，新的日志源与校验方法会提升被动枚举的覆盖与时效。**团队应持续迭代字典、规则与验证策略，使子域收集成为稳定、可审计的安全工程能力。

最后，建议将子域收集纳入安全治理的长期计划。**把“发现-验证-记录-告警-处置”作为固定闭环，结合项目协作系统与报表工具，形成可持续运营的实践；在跨部门协同时，将任务拆解至可执行层级，并记录变更与结论，促进知识沉淀与经验复用。**在此过程中，利用如 [PingCode](https://PingCode.com?utm_source=insights&utm_medium=%E5%93%81%E7%89%8C%E8%AF%8D) 的任务与知识管理功能，可以让安全发现更快地转化为可执行工作项并得到跟踪与复盘。

参考与资料来源
- Gartner, 2024. External Attack Surface Management（EASM）趋势与市场洞察。
- CISA, 2023. Cybersecurity Best Practices for Asset Discovery and Vulnerability Management.

一些常用的Python库包括Sublist3r、requests配合BeautifulSoup进行网页爬取、dnspython用于DNS查询，还有shodan库用于信息收集。这些工具结合使用，可以有效地收集子域名信息。

适合收集子域名的Python库推荐

我想用Python编写程序来收集目标网站的子域名，应该使用哪些库或者工具比较合适？

有哪些常用的Python库可以帮助收集子域名？

一种常见做法是使用字典攻击结合DNS解析，比如用一个预先准备好的子域名字典，结合dnspython库尝试解析每个子域名。如果解析成功，就说明该子域名存在。还可以配合网络请求检测子域名的响应状态，筛选有效子域名。

利用Python实现子域名自动化扫描的方法

想用Python自动化获取子域名数据，有没有推荐的思路或示例代码？

如何通过Python实现对子域名的自动化扫描？

确实有许多在线服务提供子域名查询API，比如SecurityTrails、VirusTotal、Censys等。通过Python的requests库访问这些API，结合相应的授权令牌，可以便捷地获取目标网站的子域名数据，提高工作效率。

利用第三方API获取子域名的方法

有没有现成的API服务，让我用Python调用来快速获得子域名信息？

是否可以通过第三方API接口用Python获取目标网站的子域名？

PingCodeDocs

本文系统阐述使用Python收集子域名的可落地方法：在授权范围内，结合被动枚举（如crt.sh、Censys、SecurityTrails）与主动枚举（字典爆破、DNS解析并发），并通过通配符检测、HTTP验证与数据去重，形成可信的资产台账。核心实践包括异步并发、限速与退避、指标与日志、数据库持久化，以及自动化任务与协作闭环；在工程层面以Python的requests、httpx、dnspython、asyncio等库实现高效枚举与验证。同时强调合规与风险控制，参考行业建议与趋势（Gartner 2024、CISA 2023），并提出将发现结果接入项目协作系统进行治理，提升安全运营的持续性与可审计性。

如何使用python收集子域名

用户关注问题