Moia Control 作为企业级调度监控平台的功能及优势
发布时间:2024-03-19作者:admin浏览次数:

随着大数据时代的到来,人来社会的每分每秒都在产生海量的数据。对于很多企业而言,有着EB 级规模的历史数据,每天有近PB 级的数据增长,同时每天有百万级的数据处理任务在执行。数据井喷式的增长给数据采集、数据处理、数据管理、数据应用、数据质量、数据运维带来了极大的考验。在以上过程中,有个必不可少的环节——数据调度。

什么是数据调度?对于数据调度,我们通常会指是“任务调度”或是“作业调度”。数据的分析及处理一般由很多独立的数据加工任务来完成。在数据处理的过程中,存在着先后顺序的依赖关系。如:若想处理数据B,需要依赖数据A的计算结果。因数据本身的关联和依赖,对应的数据加工任务也存在着关联和依赖关系。为了让这些任务有序高效地进行,我们需要规划这些任务的完成顺序及预计时间。在执行环节中,会存在各种人工带来的问题,如上游任务执行错误,牵一发而动全身;时间预估有误差,导致时间浪费或处理问题时间不足。为应对此类问题,数据调度系统应运而生。

专业调度软件在很多企业已经有了广泛的应用,支撑企业内的各类业务系统的任务调度过程:有的企业把调度软件用在数据仓库的任务管理过程中;有的企业把调度软件用于业务系统的任务流程管理;甚至有些企业在运维工作中也使用了调度软件,例如例行的数据备份、巡检等。

目前的情况是,凡是系统上能够执行的程序,都可以被调度软件所管理和执行,所以调度软件也就在各种各样的应用场景下被广泛应用起来。

专业调度软件以良好的适用性、兼容性和简单方便的易用性,大大简化了技术部门日常对于程序的管理和应用工作。操作人员可以不再登陆到各个系统、服务器、终端中,使用各种各样的操作指令、命令来控制程序的运行,而是简单地在调度软件的可视化页面中以点击的方式向程序发起运行指令,并可实时查看程序的运行状态和运行日志。

除了面向操作人员提供了简便易用的应用体验外,专业调度软件在系统架构层面还提供了高可靠、负载均衡的高可用能力。

通过对程序运行服务器的资源管理和整合,调度引擎可以实时获取服务器的资源信息和可用信息,基于智能调度算法动态分配任务至资源充分的服务器上,对于发生异常或故障的服务器对其进行屏蔽,将运行其上的任务重新分配到可用节点上,充分保障了业务系统在跑批过程的持续性和稳定性。

另外,专业调度软件也为程序提供多实例化的能力,通过传递不同的参数,实现同一套程序处理不同的业务数据。大大节省系统开发的复杂度和工作量。

以银行的日终结算业务为例,调度软件与日终批作业相结合形成以下的应用过程:
银行核心系统日结过程涉及到较多的加工处理流程,其流程包括各类业务系统的数据归集、清算、结息、账务登记、会计报表等过程。调度平台以可视化的流程将所有业务过程关联在一起,形成清晰、流畅的任务流。

此外,很多业务系统的日结过程由业务人员在业务关结时手工触发,存在时间的不确定性。调度平台针对该场景,可以通过 API 接口将日结触发按钮与核心运维监控系统集成,通过该方式,非常便捷地形成了核心日终批作业的调度衔接。

同时,通过调度软件的多实例管理,对整个批处理流程实例化,按照银行营业机构形成对应的实例任务,以营业机构为单位对业务数据进行批量加工处理。


数据中台、数据仓库也是专业调度软件常用到的应用场景,数据中台、数据仓库的批量作业往往按照业务领域或系统范围形成区域性的作业运行流程,而子系统间的作业可并行执行,专业调度软件的可视化流程管理通常都可以非常良好地适用于此类场景。


日常运维工作的流程化、周期性的工作也可以把专业调度软件当做流程控制工具,将系统巡检、备份、归档等程序脚本配置在调度软件中,实现自动化运维,大大减少人工操作的工作量,并降低人工操作的错误率。

而企业级的调度方案面向企业的多业务系统、多种类任务程序,旨在建设一个企业级的统一调度管理与监控平台,为全企业 IT 系统提供集中的、统一的、高效的、稳定的批量作业调度与监控服务。

企业级的专业调度软件具有良好的调度管理能力、易用性和可靠性,在批量任务的管理、运行保障、开发以及运维监控等方面提供较好的帮助:
1. 统一标准、集中管理,治理 IT 环境
2. 智能、高效调度,保障业务目标
3. 便捷开发应用,简便运维,节约成本
4. 金融级的可靠性,保障系统持续稳定
从2000年至今,Moia Control作为先进数通坚持研发二十余年的企业级调度产品,从数据线调度及 ETL 工具阶段发展到今天的企业统一任务调度平台阶段,有着如下优势:
1.20年持续研发投入:公司对产品20年来的持续研发投入,使得产品日趋成熟,不断发展和壮大,保障了产品的生命力。
2.国产自研:Moia Control 是由北京先进数通信息技术股份公司自主研发的国产软件,产品拥有专业的研发、支持及运营团队。
3.五大行的共同选择:五大国有银行,十二家股份制银行的覆盖率达100%。
4.多领域丰富案例:产品覆盖银行、证券、保险等十余个行业,近百家客户成功案例。

其主要功能包括:统一企业作业管理、智能全局调度、多角度运维监控、 高可用集群管理。


除以上功能外,Moia Control还为单点业务系统赋予集群能力,可以将单机任务运行在混搭配置的集群服务器中,由 Moia Control 向服务器集群智能分配所需运行的批量任务。

 

基于 Moia Control 的双层集群架构,无论故障发生在调度服务端还是发生在调度执行端,都可以形成故障切换,避免少数节点故障而导致业务系统无法持续运行。
数据可视化大屏以及丰富的人工干预功能为运维人员实时监测批量任务运行情况并及时处理提供了条件。



可视化大屏


人工干预

 

 

Moia Control 可提高系统运行稳定性,让企业的数据线建设更加完整和规范,减少人工作业的失误,提升 SLA。



留言
内容: