如何连续运行多个python

一、直接使用命令行、编写脚本文件

要连续运行多个Python脚本，最直接的方法是通过命令行，可以在命令行中一次性输入多个Python脚本的执行命令，或者编写一个脚本文件，将这些命令按顺序写入文件中，然后执行该脚本。这种方法简单直观，适合于需要按照固定顺序依次执行的脚本。你可以使用操作系统自带的批处理文件（Windows下的.bat文件，Linux和macOS下的.sh文件）来实现。在文件中按顺序写入Python执行命令，例如：

python script1.py python script2.py python script3.py

这种方法的优势在于简单直接，但缺点是无法根据脚本运行结果进行动态调整。比如，如果脚本2依赖于脚本1的某个输出，且脚本1运行失败，批处理不会自动停止，除非你额外增加判断逻辑。

二、使用Python中的subprocess模块

Python提供了subprocess模块，它可以在一个Python脚本中调用其他Python脚本。相比直接使用命令行，subprocess模块提供了更多的控制选项，可以捕获子进程的输出、错误信息、判断执行是否成功等。你可以通过以下代码实现：

import subprocess
scripts = ['script1.py', 'script2.py', 'script3.py']
for script in scripts:
    result = subprocess.run(['python', script], capture_output=True, text=True)
    if result.returncode != 0:
        print(f"Error running {script}: {result.stderr}")
        break
    print(f"Output of {script}: {result.stdout}")

使用subprocess模块的好处是，你可以根据每个脚本的返回值决定是否继续执行后续脚本，或者根据脚本的输出做出不同的决策。此外，这种方法适用于需要在运行时动态决定执行哪些脚本的场景。

三、使用任务调度工具

在需要定期或在特定条件下运行多个Python脚本的情况下，任务调度工具如Cron（在Linux和macOS上）或Task Scheduler（在Windows上）是非常有用的工具。这些工具允许你设置复杂的计划任务，可以根据时间、日期或事件触发脚本的执行。

在Linux或macOS上，你可以通过编辑crontab文件来设置计划任务。例如，每天凌晨执行一组Python脚本：

0 0 * * * /usr/bin/python3 /path/to/script1.py 0 0 * * * /usr/bin/python3 /path/to/script2.py 0 0 * * * /usr/bin/python3 /path/to/script3.py

在Windows上，你可以使用任务计划程序创建任务，设置触发器和执行动作。这种方法适合于需要长期自动化运行的场景。

四、使用Python的concurrent.futures模块

如果多个Python脚本之间没有依赖关系，可以考虑并行运行它们以节省时间。Python的concurrent.futures模块提供了一个简单的方式来实现并行执行。你可以使用ThreadPoolExecutor或ProcessPoolExecutor来管理并行任务。

from concurrent.futures import ThreadPoolExecutor, as_completed
import subprocess
scripts = ['script1.py', 'script2.py', 'script3.py']
def run_script(script):
    result = subprocess.run(['python', script], capture_output=True, text=True)
    return (script, result)
with ThreadPoolExecutor() as executor:
    futures = {executor.submit(run_script, script): script for script in scripts}
    for future in as_completed(futures):
        script, result = future.result()
        if result.returncode != 0:
            print(f"Error running {script}: {result.stderr}")
        else:
            print(f"Output of {script}: {result.stdout}")

这种方法可以极大提高执行效率，特别是在脚本执行时间较长或需要等待I/O操作的情况下。不过，需要注意的是，Python的GIL（全局解释锁）可能会限制多线程的性能提升，尤其是CPU密集型任务。

五、使用Python的os模块

在某些情况下，使用Python的os模块也可以达到连续运行多个Python脚本的效果。你可以通过os.system()方法调用外部命令，包括Python脚本。

import os
scripts = ['script1.py', 'script2.py', 'script3.py']
for script in scripts:
    exit_code = os.system(f'python {script}')
    if exit_code != 0:
        print(f"Execution failed for {script}")
        break

虽然os.system()比较简单，但它的功能有限，无法捕获子进程的输出和错误信息，现代Python代码通常建议使用subprocess模块替代os.system()。

六、使用第三方库如 invoke 和 fabric

对于更复杂的任务管理和自动化需求，第三方库如invoke和fabric提供了更强大的功能。这些工具允许你定义复杂的任务，并管理任务之间的依赖关系、并发执行等。

invoke是一个基于Python的任务执行工具，类似于Makefile，可以用来组织任务。你可以定义一个tasks.py文件，然后使用invoke命令执行：

from invoke import task
@task
def run_script1(c):
    c.run('python script1.py')
@task
def run_script2(c):
    c.run('python script2.py')
@task
def run_script3(c):
    c.run('python script3.py')
@task(pre=[run_script1, run_script2, run_script3])
def run_all(c):
    pass

fabric是一个更高级的工具，适用于需要在多台服务器上执行任务的场景。它提供了丰富的功能用于远程命令执行和文件传输。

七、使用工作流管理工具如 Airflow

对于非常复杂的任务调度需求，使用像Apache Airflow这样的工作流管理工具是一个好选择。Airflow提供了丰富的调度和监控功能，可以处理具有依赖关系的复杂任务流。

在Airflow中，你可以定义一个DAG（有向无环图），将每个Python脚本设置为一个任务节点，然后定义节点之间的依赖关系。Airflow会根据定义的DAG自动调度和执行任务，并提供详细的日志和监控功能。

八、总结

连续运行多个Python脚本的方法多种多样，选择合适的方法取决于具体需求和场景。对于简单的需求，直接使用命令行或批处理文件即可；对于需要动态决策的场景，subprocess模块是一个不错的选择；而对于复杂的调度需求，任务调度工具和工作流管理工具提供了更强大的功能。在实际使用中，可以根据需求灵活组合使用这些方法，以实现最佳的效果。