1. PingCode智库首页
  2. 百科

python如何获取屏幕文字

Edit1 • • 百科

python如何获取屏幕文字

Python 获取屏幕文字的方法包括使用光学字符识别 (OCR) 技术、操作系统的API、专用库等。推荐使用Tesseract OCR、PyAutoGUI、Pytesseract 等。

其中，使用Tesseract OCR 是获取屏幕文字的常见方法，它通过识别图像中的字符来提取文本。 Tesseract 是一个开源的 OCR 引擎，具有较高的识别精度和广泛的语言支持。接下来，我们将详细介绍如何使用 Tesseract OCR 来获取屏幕文字，并探讨其他常用方法和工具。

一、光学字符识别 (OCR)

1、Tesseract OCR

Tesseract OCR 是目前最常用的 OCR 工具之一，支持多种语言和字符集。以下是使用 Tesseract OCR 获取屏幕文字的步骤：

安装 Tesseract

在使用 Tesseract 之前，需要先安装它。可以通过以下命令安装：

  • 在 Windows 上：

    choco install tesseract

  • 在 macOS 上：

    brew install tesseract

  • 在 Linux 上：

    sudo apt-get install tesseract-ocr

安装 Pytesseract

Pytesseract 是 Tesseract 的 Python 封装，可以通过 pip 安装：

pip install pytesseract

安装 Pillow

Pillow 是 Python 的图像处理库，用于处理图像数据，同样通过 pip 安装：

pip install pillow

使用 Tesseract OCR 获取屏幕文字

以下是一个完整的示例代码：

import pytesseract


from PIL import Image


import pyautogui


截屏


screenshot = pyautogui.screenshot()


保存截图到本地文件


screenshot.save("screenshot.png")


打开截图文件


image = Image.open("screenshot.png")


使用 Tesseract OCR 识别图像中的文字


text = pytesseract.image_to_string(image)


print(text)

2、其他 OCR 工具

除了 Tesseract，其他 OCR 工具如 Google Cloud Vision OCR 和 ABBYY FineReader 也可以用于屏幕文字识别。以下是 Google Cloud Vision OCR 的使用示例：

安装 Google Cloud Vision 库

pip install google-cloud-vision

使用 Google Cloud Vision OCR 获取屏幕文字

import os


from google.cloud import vision


from google.cloud.vision import types


import io


设置 Google Cloud 认证文件路径


os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = r'path_to_your_service_account_file.json'


截屏


screenshot = pyautogui.screenshot()


screenshot.save("screenshot.png")


读取截图文件


with io.open("screenshot.png", 'rb') as image_file:


    content = image_file.read()


使用 Google Cloud Vision 识别图像中的文字


client = vision.ImageAnnotatorClient()


image = types.Image(content=content)


response = client.text_detection(image=image)


texts = response.text_annotations


for text in texts:


    print(text.description)

二、操作系统 API

1、Windows

在 Windows 系统上，可以使用 Windows API 来获取屏幕文字。以下是一个使用 pywin32 库的示例：

安装 pywin32

pip install pywin32

使用 Windows API 获取屏幕文字

import win32gui


import win32ui


import win32con


import win32api


from PIL import Image


def capture_screen():


    hwin = win32gui.GetDesktopWindow()


    width = win32api.GetSystemMetrics(win32con.SM_CXSCREEN)


    height = win32api.GetSystemMetrics(win32con.SM_CYSCREEN)


    hwindc = win32gui.GetWindowDC(hwin)


    srcdc = win32ui.CreateDCFromHandle(hwindc)


    memdc = srcdc.CreateCompatibleDC()


    bmp = win32ui.CreateBitmap()


    bmp.CreateCompatibleBitmap(srcdc, width, height)


    memdc.SelectObject(bmp)


    memdc.BitBlt((0, 0), (width, height), srcdc, (0, 0), win32con.SRCCOPY)


    bmp_info = bmp.GetInfo()


    bmp_str = bmp.GetBitmapBits(True)


    img = Image.frombuffer('RGB', (bmp_info['bmWidth'], bmp_info['bmHeight']), bmp_str, 'raw', 'BGRX', 0, 1)


    win32gui.DeleteObject(bmp.GetHandle())


    memdc.DeleteDC()


    srcdc.DeleteDC()


    win32gui.ReleaseDC(hwin, hwindc)


    return img


截屏


screenshot = capture_screen()


保存截图到本地文件


screenshot.save("screenshot.png")

2、macOS

在 macOS 系统上，可以使用 Quartz 库来获取屏幕文字。以下是一个使用 Quartz 和 PIL 库的示例：

安装 Quartz 和 PIL

pip install pyobjc Pillow

使用 Quartz 获取屏幕文字

import Quartz.CoreGraphics as CG


from PIL import Image


def capture_screen():


    screen_id = CG.CGMainDisplayID()


    image = CG.CGDisplayCreateImage(screen_id)


    width = CG.CGImageGetWidth(image)


    height = CG.CGImageGetHeight(image)


    data = CG.CGDataProviderCopyData(CG.CGImageGetDataProvider(image))


    img = Image.frombuffer("RGBA", (width, height), data, "raw", "RGBA", 0, 1)


    return img


截屏


screenshot = capture_screen()


保存截图到本地文件


screenshot.save("screenshot.png")

三、专用库

1、PyAutoGUI

PyAutoGUI 是一个跨平台的 GUI 自动化库，不仅可以用于截屏，还可以模拟鼠标和键盘操作。以下是一个使用 PyAutoGUI 获取屏幕文字的示例：

安装 PyAutoGUI

pip install pyautogui

使用 PyAutoGUI 获取屏幕文字

import pyautogui


import pytesseract


from PIL import Image


截屏


screenshot = pyautogui.screenshot()


保存截图到本地文件


screenshot.save("screenshot.png")


打开截图文件


image = Image.open("screenshot.png")


使用 Tesseract OCR 识别图像中的文字


text = pytesseract.image_to_string(image)


print(text)

2、OpenCV

OpenCV 是一个开源的计算机视觉库，可以用于图像处理和分析。以下是一个使用 OpenCV 获取屏幕文字的示例：

安装 OpenCV

pip install opencv-python

使用 OpenCV 获取屏幕文字

import cv2


import numpy as np


import pyautogui


import pytesseract


截屏


screenshot = pyautogui.screenshot()


转换截图为 numpy 数组


screenshot = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)


保存截图到本地文件


cv2.imwrite("screenshot.png", screenshot)


打开截图文件


image = cv2.imread("screenshot.png")


使用 Tesseract OCR 识别图像中的文字


text = pytesseract.image_to_string(image)


print(text)

四、总结

以上是 Python 获取屏幕文字的几种常见方法，包括使用光学字符识别 (OCR) 技术、操作系统的 API 和专用库等。使用 Tesseract OCR 是获取屏幕文字的常见方法，此外还可以使用 Google Cloud Vision OCR、Windows API、Quartz 库、PyAutoGUI 和 OpenCV 等工具。根据具体需求和应用场景，选择合适的方法和工具来实现屏幕文字的获取。

相关问答FAQs：

1. 如何使用Python获取屏幕上的文字？

要使用Python获取屏幕上的文字，您可以使用Python的图像处理库，如Pyautogui和Pillow。首先，您可以使用Pyautogui库获取屏幕截图，然后使用Pillow库将截图转换为可处理的图像对象。接下来，您可以使用OCR（光学字符识别）技术将图像中的文字提取出来。Python中有一些OCR库可供选择，如Tesseract和pytesseract。您可以使用这些库将图像中的文字转换为字符串并获取屏幕上的文字。

2. 如何利用Python编写一个屏幕文字识别程序？

要编写一个屏幕文字识别程序，您可以使用Python的图像处理库和OCR库。首先，使用Pyautogui库获取屏幕截图。然后，使用Pillow库将截图转换为图像对象。接下来，使用OCR库（如Tesseract和pytesseract）将图像中的文字提取出来。最后，将提取的文字输出或保存到文件中。您还可以添加一些额外的功能，如图像预处理和文字识别的精度调整，以提高程序的准确性和可靠性。

3. 如何在Python中实时获取屏幕上的文字？

要在Python中实时获取屏幕上的文字，您可以使用Python的图像处理库和OCR库。首先，使用Pyautogui库获取屏幕截图。然后，使用Pillow库将截图转换为图像对象。接下来，使用OCR库（如Tesseract和pytesseract）将图像中的文字提取出来。您可以使用循环来实现实时获取屏幕上的文字，每次循环获取最新的屏幕截图并进行文字识别。这样，您可以在程序中实时获取屏幕上的文字并进行后续处理。

原创文章，作者：Edit1，如若转载，请注明出处：https://docs.pingcode.com/baike/752690

赞 (0)
Edit1Edit1
免费注册
电话联系

4008001024

微信咨询
微信咨询
返回顶部