airflow如何调用python文件

Airflow调用Python文件的方式主要有以下几种：使用PythonOperator、使用BashOperator、通过DAG中的定制任务实现。其中，最常用的方法是通过PythonOperator直接在Airflow任务中调用Python函数。这种方法可以轻松实现Python代码与Airflow任务的集成。接下来，我将详细介绍如何使用PythonOperator来实现这一过程。

一、PYTHONOPERATOR调用PYTHON文件

PythonOperator是Airflow中用于运行Python函数的一个内置操作符。通过PythonOperator，你可以直接在DAG中调用Python函数。以下是使用PythonOperator调用Python文件的步骤：

1. 安装和配置Airflow

在使用Airflow之前，首先需要确保已正确安装并配置Airflow。可以通过pip安装Airflow，并确保其版本符合项目要求。安装完成后，配置Airflow的相关环境变量和配置文件，以确保其能够正常运行。

2. 创建Python函数

在调用Python文件之前，首先需要编写Python函数。假设你有一个名为example_function.py的文件，其中包含一个名为my_function的函数：

# example_function.py
def my_function():
    print("Hello, this is my function!")

3. 创建DAG和PythonOperator

在Airflow中，DAG（Directed Acyclic Graph）是用于定义任务流的基本单位。你需要创建一个DAG文件，并在其中定义一个PythonOperator来调用你的Python函数。

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
import sys
添加Python文件所在路径到系统路径
sys.path.insert(0, "/path/to/your/python/file")
导入Python文件中的函数
from example_function import my_function
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2023, 10, 1),
    'retries': 1,
}
dag = DAG(
    'example_dag',
    default_args=default_args,
    schedule_interval='@daily',
)
定义PythonOperator
task = PythonOperator(
    task_id='call_my_function',
    python_callable=my_function,
    dag=dag,
)

在上面的代码中，我们首先将Python文件的路径添加到系统路径，然后导入了my_function函数。接着，我们定义了一个DAG，并使用PythonOperator调用了my_function。

4. 部署和执行DAG

将创建的DAG文件放置在Airflow的DAG文件夹中，Airflow会自动检测并加载该DAG。启动Airflow调度器和Web服务器后，可以在Airflow的Web界面中查看并执行DAG任务。

二、BASHOPERATOR调用PYTHON文件

除了使用PythonOperator之外，还可以通过BashOperator在Airflow中调用Python文件。这种方法适用于需要在命令行环境中运行Python脚本的场景。

1. 创建Python脚本

假设你有一个名为example_script.py的Python脚本：

# example_script.py
print("Hello, this is my script!")

2. 创建DAG和BashOperator

在DAG文件中，使用BashOperator来调用Python脚本：

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2023, 10, 1),
    'retries': 1,
}
dag = DAG(
    'example_bash_dag',
    default_args=default_args,
    schedule_interval='@daily',
)
定义BashOperator
task = BashOperator(
    task_id='run_example_script',
    bash_command='python /path/to/your/script/example_script.py',
    dag=dag,
)

在上面的代码中，我们定义了一个BashOperator，并通过bash_command参数调用了Python脚本。

三、通过DAG中的定制任务实现

有时候，你可能需要在Airflow任务中执行更复杂的Python逻辑，这时可以通过在DAG中自定义任务来实现。

1. 创建定制任务

在DAG中，可以通过继承BaseOperator来创建自定义任务。下面是一个简单示例：

from airflow import DAG
from airflow.models import BaseOperator
from datetime import datetime
class MyCustomOperator(BaseOperator):
    def __init__(self, *args, kwargs):
        super(MyCustomOperator, self).__init__(*args, kwargs)
    def execute(self, context):
        print("Executing custom task logic here")
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2023, 10, 1),
    'retries': 1,
}
dag = DAG(
    'custom_operator_dag',
    default_args=default_args,
    schedule_interval='@daily',
)
使用自定义任务
task = MyCustomOperator(
    task_id='custom_task',
    dag=dag,
)