Python如何使用多个CPU

Python使用多个CPU的常见方法包括多线程、多进程、以及使用并行计算库（如Dask、Joblib等）。多线程通常用于I/O密集型任务，多进程适用于CPU密集型任务，并行计算库提供了更高层次的抽象和灵活性。在此基础上，Python的全局解释器锁（GIL）是影响多线程并发能力的一个主要障碍，因此多进程通常是实现并行计算的推荐方式。接下来，我们将深入探讨这些方法的实现和应用场景。

一、多线程与多进程

Python的多线程和多进程是实现并行计算的两种基本方式。多线程适合于I/O密集型任务，而多进程更适合于CPU密集型任务。

1. 多线程

多线程在Python中可以通过threading模块实现。虽然多线程可以让程序看起来像是并行运行，但由于GIL的存在，实际的线程执行是串行的。这意味着对于I/O密集型任务，例如文件读写、网络请求，多线程可以提高性能，因为在等待I/O操作完成时，CPU可以处理其他线程的任务。

import threading
def task(id):
    print(f"Task {id} is running")
threads = []
for i in range(5):
    thread = threading.Thread(target=task, args=(i,))
    threads.append(thread)
    thread.start()
for thread in threads:
    thread.join()

上述代码创建了5个线程，每个线程执行一个简单的任务。这种方法在处理I/O密集型任务时非常有效，因为多个线程可以同时等待不同的I/O操作完成。

2. 多进程

对于CPU密集型任务，多进程是更有效的选择。Python的multiprocessing模块提供了一个接口来创建和管理进程。与多线程不同，多进程没有GIL的限制，每个进程都有自己的Python解释器和内存空间，因此可以真正实现并行执行。

import multiprocessing
def task(id):
    print(f"Task {id} is running")
processes = []
for i in range(5):
    process = multiprocessing.Process(target=task, args=(i,))
    processes.append(process)
    process.start()
for process in processes:
    process.join()

在这个例子中，我们创建了5个进程，每个进程独立运行。在多核CPU上，这些进程可以被分配到不同的核心上，从而实现并行计算。

二、并行计算库

除了基本的多线程和多进程，Python还提供了一些高级的并行计算库，如Dask和Joblib，它们提供了更高层次的抽象，使并行计算变得更加简单和高效。

1. Dask

Dask是一个灵活的并行计算库，适用于大数据集和复杂的计算任务。它可以在本地多核计算机上运行，也可以在集群上运行。

import dask
from dask import delayed
import dask.multiprocessing
@delayed
def task(n):
    return n * n
results = [task(i) for i in range(10)]
total = dask.compute(*results, scheduler='processes')
print(total)

在这个例子中，dask.delayed装饰器将函数转换为惰性计算，dask.compute函数用于执行计算，并指定使用多进程调度器。

2. Joblib

Joblib是一个用于并行计算的简单库，主要用于科学计算。它提供了一个简单的接口来并行化循环和调用函数。

from joblib import Parallel, delayed
def task(n):
    return n * n
results = Parallel(n_jobs=2)(delayed(task)(i) for i in range(10))
print(results)

Joblib的Parallel接口允许我们指定并行的任务数n_jobs，使用delayed函数将任务推迟到并行执行时运行。

三、使用异步编程

Python的异步编程模型也可以用于并行计算，尤其是在处理大量I/O操作时。异步编程使用asyncio库实现，这种方法允许我们编写在等待I/O操作时不阻塞的代码。

import asyncio
async def task(id):
    print(f"Task {id} is running")
    await asyncio.sleep(1)
    print(f"Task {id} is complete")
async def main():
    tasks = [task(i) for i in range(5)]
    await asyncio.gather(*tasks)
asyncio.run(main())

在这个例子中，asyncio.gather函数用于并行运行多个异步任务，await关键字用于等待异步操作完成。