统一高效,源系统变更自适应的全域数据入湖
在数据湖仓中,一是面对数据数量庞大的数据需要入湖,同时应尽可能的适配源系统的调整进行数据入湖仓。所以提出基于元数据驱动,通过引入数据的DDL信息和控制信息(可以是文件可以是库表)的方式,并以此作为入湖程序的参数,以此进行驱动。
高效低成本的数据湖贴源历史存储
模型设计规范、数据标准、数据加工流程、数据加工规范、数据加工模板,统一存储计算,实现高效低成本的数据湖贴源历史存储。
高速的数据湖和数据仓库之间的数据通道
规范数据分层,清晰数据流向,分域加工,数据链路高效运转。
数据统一管理
资产管理规范、元数据管理规范、数据质量跟踪办法。可视化数据资产地图,内外部数据、结构化非结构化数据统一治理,外部数据资产正以GB速度沉淀。