2.airflow参数简介
airflow_home |
/home/airflow/airflow01 |
airflow home,由环境变量$AIRFLOW_HOME决定 |
dags_folder |
/home/airflow/airflow01/dags |
dag python文件目录 |
base_log_folder |
/home/airflow/airflow01/logs |
主日志目录 |
executor |
SequentialExecutor, LocalExecutor, CeleryExecutor |
executor方式,分别为序列、本地、队列 |
sql_alchemy_conn |
sqlite:////home/airflow/airflow01/airflow.db |
数据库连接方式 |
sql_alchemy_pool_size |
5 |
数据库线程池 |
sql_alchemy_pool_recycle |
3600 |
数据库idle连接回收时间 |
parallelism |
32 |
executor的并行度,即同时在一个executor上同时运行的task instance个数 |
dag_concurrency |
16 |
调度器同时可以运行的task instance个数(跟上个参数啥关系?) |
max_active_runs_per_dag |
16 |
不懂~ |
load_examples |
True |
是否载入示例 |
default_impersonation |
|
当不设置task的用户时,以此用户执行 |
security |
|
安全验证类似,如kerberos |
default_owner |
airflow |
operator 绑定的默认用户名 |
default_cpus |
1 |
operators 使用的cpu |
default_ram |
512 |
operators 使用的内存 |
base_url |
http://localhost:8080 |
webserver的URL |
web_server_host |
0.0.0.0 |
webserver的IP |
web_server_port |
8080 |
webserver的端口 |
web_server_ssl_cert |
|
webserver的certificate路径 |
web_server_ssl_key |
|
webserver的key路径 |
web_server_worker_timeout |
120 |
gunicorn webserver和worker的超时时间 |
worker_refresh_batch_size |
1 |
webserver每次检测worker的个数。发现新的worker并杀死旧的worker |
worker_refresh_interval |30 |
webserver检测的时间间隔 |
|
access_logfile |
- |
webserver日志位置,-指标准输出 |
error_logfile |
- |
webserver日志位置,-指标准输出 |
expose_config |
False |
是否在页面上显示配置信息 |
authenticate |
False |
webserver是否开始权限验证 |
filter_by_owner |
False |
通过名称过滤dag,需要开启权限验证。 |
smtp_host |
localhost |
smtp主机 |
smtp_user |
|
smtp上的用户 |
smtp_password |
|
密码 |
smtp_starttls |
True |
使用tls协议 |
smtp_ssl |
False |
使用ssl协议 |
smtp_port |
|
smtp端口 |
smtp_mail_from |
|
发邮件的账户 |
celeryd_concurrency |
16 |
|
broker_url |
sqla+mysql://airflow:[email protected]:3306/airflow |
celery broker url |
celery_result_backend |
db+mysql://airflow:[email protected]:3306/airflow |
celere result |
job_heartbeat_sec |
5 |
Task instances接收外部kill信号(来自cli或者webserver)的时间时隔 |
scheduler_heartbeat_sec |
5 |
scheduler和task之间的心跳间隔(应该是跟executor) |
scheduler_zombie_task_threshold |
300 |
检测僵尸task的时间间隔 |
catchup_by_default |
|
不懂~ |
来源: http://www.bubuko.com/infodetail-2284652.html