Airflow和MoiaControl调度系统功能对比
发布时间:2022-12-02作者:admin浏览次数:
Airflow 的痛点
  1. 深度二次开发,脱离社区版本,升级成本高;
  2. Python 技术栈,维护迭代成本高;
  3. 性能问题:
 
 
 
Airflow 的 schedule loop 如上图所示,本质上是对 DAG 的加载解析,将其生成 DAG round 实例执行任务调度。Airflow 2.0 之前的版本是单点 DAG 扫描解析到数据库,这就导致业务增长 Dag 数量较多时,scheduler loop 扫一次 Dag folder 会存在较大延迟(超过扫描频率),甚至扫描时间需要 60-70 秒,严重影响调度性能。
 
4. 稳定性问题:
 
Airflow Scheduler Failover Controller 本质还是一个主从模式,standby 节点通过监听 active进程是否存活来判断是否切换,如之前遇到 deadlock 阻塞进程的情况,则会被忽略,进而导致调度故障发生。

考虑到以上几个痛点问题,客户决定对调度系统进行重新选型。
 
在调研对比过程中,针对下方表格中的各项进行归纳整理。
从稳定性与可用性上来说,MoiaControl 实现了高可靠与高可扩展性;从活跃度上讲,MoiaControl的更新迭代更快,在金融行业有更广泛的应用。


留言
  • 2023-11-06 00:08:35日本超人気スーパーコピーブランド時計激安通販専門店 2023年最高品質時計コピー、国際ブランド腕時計コピー、 業界唯一無二.世界一流の高品質ブランドコピー時計。 人気新作ブランドコピー財布、腕時計、雑貨、小物商店 日本的な人気と信頼を得ています。 激安、安心、安全にお届けします.品数豊富な商品情報HPはこちら!!どしどしご来店ください!!! 商品数も大幅に増え、品質も大自信です(*^v^*) 日本では手に入らない商品も、全て卸売りします。 価格、品質、自信のある商品を取り揃えておりますので、 当
内容: