Python 爬取 text 中的数字
使用Python爬取text中的数字非常简单，可以通过正则表达式、字符串方法、列表解析等多种方法来实现。其中，正则表达式是最常用且强大的工具，它能够高效、准确地匹配文本中的数字。接下来，我们将详细介绍如何使用正则表达式在Python中提取text中的数字。
一、正则表达式提取数字
正则表达式是一种强大的工具，用于匹配字符串中的特定模式。Python的 re 模块提供了对正则表达式的支持。我们可以通过 re.findall() 函数来查找所有符合模式的子串。
import re
text = "The price of this book is $19.99 and the ISBN number is 978-3-16-148410-0."
numbers = re.findall(r'\d+\.?\d*', text)
print(numbers) # Output: ['19.99', '978', '3', '16', '148410', '0']
在上面的代码中，正则表达式 \d+\.?\d* 匹配所有的数字，包括整数和小数。 \d+ 匹配一个或多个数字， \.? 匹配一个可能存在的小数点， \d* 匹配小数点后可能存在的数字。
二、字符串方法提取数字
除了正则表达式，Python的字符串方法也可以用来提取数字。这里介绍一种通过遍历字符串并检查每个字符是否为数字的方法。
text = "The temperature is 23 degrees Celsius."
numbers = ''.join([char for char in text if char.isdigit()])
print(numbers) # Output: '23'
在这段代码中，我们使用列表解析来遍历字符串，并使用 char.isdigit() 方法检查每个字符是否是数字。如果是数字，就将其加入结果列表，最后将结果列表连接成一个字符串。
三、结合多种方法提取复杂模式的数字
有时候，我们需要提取的数字可能会比较复杂，包含分隔符、符号等。在这种情况下，可以结合多种方法，如正则表达式和字符串方法，来提取所需的数字。
text = "The file size is 1,024 KB, and it was downloaded at a speed of 2.56 MB/s."
使用正则表达式提取带分隔符的数字
numbers_with_commas = re.findall(r'\d{1,3}(,\d{3})*(\.\d+)?', text)
移除分隔符
numbers = [num.replace(',', '') for num in numbers_with_commas]
print(numbers) # Output: ['1024', '2.56']
在这段代码中，正则表达式 \d{1,3}(,\d{3})*(\.\d+)? 用于匹配带分隔符的数字模式，然后使用字符串方法 replace 移除分隔符。
四、实践案例：从网页中提取数字
在实际应用中，爬取text中的数字通常涉及从网页中提取信息。我们可以使用 requests 和 BeautifulSoup 库来实现这一点。
import requests
from bs4 import BeautifulSoup
import re
url = 'https://example.com/product-page'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
假设数字在特定的HTML标签中
text = soup.find('div', class_='product-price').get_text()
numbers = re.findall(r'\d+\.?\d*', text)
print(numbers)
在这段代码中，我们首先使用 requests 库获取网页内容，然后使用 BeautifulSoup 库解析HTML，并找到包含数字的特定标签中的文本，最后使用正则表达式提取数字。
五、处理特殊场景
有些特殊场景下的数字提取可能需要更复杂的处理，例如处理带有单位的数字、科学计数法表示的数字等。这里介绍几种处理这些特殊场景的方法。
1、提取带有单位的数字
text = "The mass of the object is 5.67 kg."
pattern = re.compile(r'(\d+\.?\d*)\s*(kg|g|mg)')
matches = pattern.findall(text)
numbers_with_units = [{'value': float(match[0]), 'unit': match[1]} for match in matches]
print(numbers_with_units) # Output: [{'value': 5.67, 'unit': 'kg'}]
在这段代码中，正则表达式 (\d+\.?\d*)\s*(kg|g|mg) 匹配带有单位的数字，并将结果转换为字典列表。
2、提取科学计数法表示的数字
text = "The distance to the star is 4.2e13 meters."
pattern = re.compile(r'\d+\.?\d*e[+-]?\d+')
numbers = pattern.findall(text)
print(numbers) # Output: ['4.2e13']
在这段代码中，正则表达式 \d+\.?\d*e[+-]?\d+ 匹配科学计数法表示的数字。
六、总结
爬取text中的数字是Python中一个常见且重要的任务。通过正则表达式、字符串方法、列表解析等多种方法，能够高效、准确地提取数字。正则表达式是最常用且强大的工具，能够处理各种复杂的数字模式；字符串方法和列表解析则提供了简单、直观的解决方案。在实际应用中，结合不同的方法可以应对各种特殊场景，如处理带有单位的数字、科学计数法表示的数字等。通过以上方法和实践案例的介绍，相信你已经能够熟练掌握Python爬取text中的数字的技巧，并能够将其应用到实际项目中去。
相关问答FAQs：
如何使用Python提取文本中的数字？
在Python中，可以使用正则表达式（re模块）来有效提取文本中的数字。正则表达式允许你定义一个模式，匹配文本中的特定字符。以下是一个简单的示例代码，可以提取字符串中的所有数字：
import re
text = "在2023年，Python是最受欢迎的编程语言，使用率达到了45%。"
numbers = re.findall(r'\d+', text)
print(numbers) # 输出：['2023', '45']
这种方法适用于提取整数，如果需要提取小数或带符号的数字，可以调整正则表达式。
在爬取网页数据时，如何确保提取到的数字是有效的？
在爬取网页数据时，提取到的数字可能会受到格式、单位或其他文本的影响。为了确保提取到的数字有效，可以在提取后进行数据验证，例如检查数字的范围、是否为正数等。此外，可以使用类型转换将字符串转换为整数或浮点数，并处理可能的异常情况，以防止程序因数据格式不正确而崩溃。
如何处理包含特殊字符的文本以提取数字？
如果文本中包含特殊字符，如货币符号、百分号或其他符号，可以在提取数字前使用正则表达式进行清理。例如，可以使用re.sub()函数去除这些特殊字符，然后再提取数字。以下是一个示例：
import re
text = "商品价格是$45.99，折扣为10%."
cleaned_text = re.sub(r'[^\d.]', '', text)
numbers = re.findall(r'\d+\.?\d*', cleaned_text)
print(numbers) # 输出：['45.99', '10']
这样可以确保提取到的数字更加准确。
