python脚本如何多并发

Python脚本多并发可以通过多线程、多进程、异步IO实现，这几种方法各有优缺点，多线程适合IO密集型任务、多进程适合CPU密集型任务、异步IO适合高并发IO操作。在某些情况下，结合使用这些方法也能提高效率。下面详细描述如何使用多线程的方法来实现多并发。

一、多线程并发

1、多线程概述

多线程是指在一个进程中同时运行多个线程。线程是进程中的一个执行单元，每个线程共享进程的资源，如内存。Python提供了threading模块来支持多线程编程。

2、使用`threading`模块

threading模块提供了一个简单的方式来创建和管理线程。以下是一个基本示例：

import threading
import time
def worker(num):
    """线程的工作函数"""
    print(f'Worker: {num}')
    time.sleep(1)
threads = []
for i in range(5):
    t = threading.Thread(target=worker, args=(i,))
    threads.append(t)
    t.start()
for t in threads:
    t.join()

在上述示例中，我们创建了5个线程，每个线程执行worker函数。t.join()用于等待所有线程完成。

3、线程同步

在多线程编程中，线程同步是一个关键问题。Python提供了多种同步机制，比如锁（Lock）、条件变量（Condition）等。

import threading
lock = threading.Lock()
def safe_worker(num):
    """使用锁来保证线程安全"""
    with lock:
        print(f'Safe Worker: {num}')
threads = []
for i in range(5):
    t = threading.Thread(target=safe_worker, args=(i,))
    threads.append(t)
    t.start()
for t in threads:
    t.join()

在这个示例中，我们使用锁来确保线程在执行safe_worker函数时是安全的。

二、多进程并发

1、多进程概述

多进程是指在操作系统中同时运行多个进程。每个进程有自己独立的内存空间。Python的multiprocessing模块提供了多进程支持。

2、使用`multiprocessing`模块

multiprocessing模块的使用与threading模块类似，但它创建的是进程而非线程。

import multiprocessing
import time
def worker(num):
    """进程的工作函数"""
    print(f'Worker: {num}')
    time.sleep(1)
processes = []
for i in range(5):
    p = multiprocessing.Process(target=worker, args=(i,))
    processes.append(p)
    p.start()
for p in processes:
    p.join()

在这个例子中，创建了5个进程，每个进程执行worker函数。

3、进程间通信

多进程编程中，进程间通信（IPC）是一个重要问题。multiprocessing模块提供了Queue、Pipe等方法。

import multiprocessing
def worker(queue):
    queue.put('Hello from worker')
if __name__ == '__main__':
    queue = multiprocessing.Queue()
    p = multiprocessing.Process(target=worker, args=(queue,))
    p.start()
    print(queue.get())  # 从队列中获取数据
    p.join()

在这个示例中，我们使用Queue来实现进程间通信。

三、异步IO

1、异步IO概述

异步IO是指通过事件驱动的方式来处理IO操作。Python的asyncio模块提供了异步IO支持。

2、使用`asyncio`模块

asyncio模块允许我们编写单线程并发代码。

import asyncio
async def worker(num):
    print(f'Worker: {num}')
    await asyncio.sleep(1)
async def main():
    tasks = [worker(i) for i in range(5)]
    await asyncio.gather(*tasks)
asyncio.run(main())

在这个示例中，我们创建了5个异步任务，每个任务执行worker函数。