Airflow和MoiaControl调度系统功能对比
发布时间：2022-12-02作者：admin浏览次数：
次
Airflow 的痛点
Airflow 的 schedule loop 如上图所示，本质上是对 DAG 的加载解析，将其生成 DAG round 实例执行任务调度。Airflow 2.0 之前的版本是单点 DAG 扫描解析到数据库，这就导致业务增长 Dag 数量较多时，scheduler loop 扫一次 Dag folder 会存在较大延迟（超过扫描频率），甚至扫描时间需要 60-70 秒，严重影响调度性能。
4. 稳定性问题：
Airflow Scheduler Failover Controller 本质还是一个主从模式，standby 节点通过监听 active进程是否存活来判断是否切换，如之前遇到 deadlock 阻塞进程的情况，则会被忽略，进而导致调度故障发生。
考虑到以上几个痛点问题，客户决定对调度系统进行重新选型。
在调研对比过程中，针对下方表格中的各项进行归纳整理。
- 深度二次开发，脱离社区版本，升级成本高；
- Python 技术栈，维护迭代成本高；
- 性能问题：
从稳定性与可用性上来说，MoiaControl 实现了高可靠与高可扩展性；从活跃度上讲，MoiaControl的更新迭代更快，在金融行业有更广泛的应用。
