python如何同时运行两个文件夹

Python如何同时运行两个文件夹

使用多进程、多线程、子进程模块、结合命令行工具，是实现Python同时运行两个文件夹中的脚本的主要方法。下面我们将详细探讨如何使用多进程和多线程来实现这一功能，并介绍如何通过命令行工具来简化这一过程。

一、多进程

Python的multiprocessing模块提供了一种简单的方式来运行多个进程。多进程能够充分利用多核CPU的优势，从而提高程序的并行执行效率。

1、多进程基础

通过multiprocessing模块，我们可以创建多个进程来同时运行不同的Python脚本。以下是一个简单的示例：

import multiprocessing
import os
def run_script(script_path):
    os.system(f'python {script_path}')
if __name__ == '__main__':
    scripts = ['folder1/script1.py', 'folder2/script2.py']
    processes = []
    for script in scripts:
        p = multiprocessing.Process(target=run_script, args=(script,))
        processes.append(p)
        p.start()
    for p in processes:
        p.join()

在这个示例中，我们创建了两个进程来分别运行不同文件夹中的脚本。使用os.system来执行脚本，并通过multiprocessing.Process来启动进程。

2、多进程间通信

在实际应用中，可能需要多个进程之间进行数据通信。multiprocessing模块提供了多种通信方式，包括Queue、Pipe等。以下是一个使用Queue进行进程间通信的示例：

import multiprocessing
import os
def run_script(script_path, queue):
    os.system(f'python {script_path}')
    queue.put(f'{script_path} finished')
if __name__ == '__main__':
    scripts = ['folder1/script1.py', 'folder2/script2.py']
    queue = multiprocessing.Queue()
    processes = []
    for script in scripts:
        p = multiprocessing.Process(target=run_script, args=(script, queue))
        processes.append(p)
        p.start()
    for p in processes:
        p.join()
    while not queue.empty():
        print(queue.get())

在这个示例中，我们使用multiprocessing.Queue来实现进程间通信，每个进程在脚本执行完毕后向队列中放入一条消息。

二、多线程

多线程是另一种并行执行的方法，但由于Python的Global Interpreter Lock (GIL) 限制，多线程在CPU密集型任务中的效率可能不如多进程。然而，对于I/O密集型任务，多线程仍然是一个不错的选择。

1、多线程基础

使用threading模块可以轻松创建多个线程来同时运行不同的Python脚本。以下是一个简单的示例：

import threading
import os
def run_script(script_path):
    os.system(f'python {script_path}')
if __name__ == '__main__':
    scripts = ['folder1/script1.py', 'folder2/script2.py']
    threads = []
    for script in scripts:
        t = threading.Thread(target=run_script, args=(script,))
        threads.append(t)
        t.start()
    for t in threads:
        t.join()

在这个示例中，我们使用threading.Thread来创建和启动线程，每个线程运行一个Python脚本。

2、线程间通信

类似于多进程，线程间也需要进行通信。可以使用queue.Queue来实现线程间的安全通信。以下是一个使用queue.Queue进行线程间通信的示例：

import threading
import queue
import os
def run_script(script_path, q):
    os.system(f'python {script_path}')
    q.put(f'{script_path} finished')
if __name__ == '__main__':
    scripts = ['folder1/script1.py', 'folder2/script2.py']
    q = queue.Queue()
    threads = []
    for script in scripts:
        t = threading.Thread(target=run_script, args=(script, q))
        threads.append(t)
        t.start()
    for t in threads:
        t.join()
    while not q.empty():
        print(q.get())

在这个示例中，我们使用queue.Queue来进行线程间通信，每个线程在脚本执行完毕后向队列中放入一条消息。

三、子进程模块

subprocess模块提供了更强大的功能来启动和管理子进程。与os.system相比，subprocess模块具有更好的灵活性和控制力。

1、使用subprocess.run

subprocess.run是一个简单易用的函数，可以用来执行外部命令并等待命令完成。以下是一个示例：

import subprocess
scripts = ['folder1/script1.py', 'folder2/script2.py']
for script in scripts:
    subprocess.run(['python', script])

在这个示例中，我们使用subprocess.run来执行每个Python脚本，并等待脚本执行完毕。

2、使用subprocess.Popen

subprocess.Popen提供了更强的功能，可以在不阻塞主线程的情况下启动子进程。以下是一个示例：

import subprocess
scripts = ['folder1/script1.py', 'folder2/script2.py']
processes = []
for script in scripts:
    p = subprocess.Popen(['python', script])
    processes.append(p)
for p in processes:
    p.wait()

在这个示例中，我们使用subprocess.Popen来启动子进程，并通过p.wait()等待子进程完成。