产品介绍

　　数据湖、数据仓库、湖仓一体、数据中台……关注大数据领域的人,近期一定常常被这些关键词刷屏,这无疑反应了当下企业级数据集成服务需求的旺盛。

　　小T观察到,不少企业随着自身业务的不断扩大,各个部门的日常运转需要的数据量和数据类型也随之变多,同时自身也会持续不断产出数据,面对时刻更新的海量数据,企业数据开发团队如果没有做好统一协调管理,那么处在大数据之下的每一个人都会像盲人摸象一样,各自看到的只是大数据的一部分而不是一个整体,导致部门间的协同效率越来越低。

　　因此,在企业整体数字化转型的规划中,数据集成的必要性不言而喻。数据集成顾名思义,指的就是将企业原本分散的各个业务数据系统中的数据进行再集中的过程,它作为各类数据项目的基础,是连接用户原始数据与数据治理、数据分析关键步骤,也是传统数据挖掘分析项目执行中容易出现问题的一道环节。

　　那么从提高整体数据分析项目执行开发效率和开发质量的角度考虑,我们应该如何找到优化数据集成流程的突破口呢?

　　其中最常见的是离线数据同步,其应用场景可以简单概括为:一个数据源对应一个数据目的地。数据目的地可以是个数据仓库,将关系型数据库的数据同步到数据仓库里,就形成了一次数据集成。

　　而实时数据同步可以将源端数据库表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。

　　但无论是那一种数据集成类型,在传统以编码方式实现的数据集成流程中,只要数据量达到一定量级,数据同步效率偏低的问题就会随之出现。这是因为在企业级数据挖掘分析项目中,数据往往存在于各个部门独立的数据系统之中,这些小系统互不连通形成了“数据孤岛”,需要抽调数据时还需要根据具体需求单独抽调技术人员处理,不仅处理成本高,处理时间长,海量数据带来的数据计算压力还常常会使数据迁移过程频繁出现问题,对项目整体数据质量造成影响。

　　针对数据同步效率低的问题,在Tempo DF中,我们通过3个方面的功能设计去帮助企业优化数据同步工作:

　　在企业级海量数据集成和迁移需求的实现过程中,大家一般最为重视的问题就是数据迁移的快速和稳定问题。

　　在数据迁移速度方面,TempoDF产品已验证在集群环境下MySQL至Hive迁移速度可达190000条/s、非结构化文件FTP至HDFS迁移可达150~160M/s。现阶段已落地项目均实现流程稳定运行,能够充分满足企业级数据仓库、数据湖项目的数据迁移需求。

　　要想提高数据同步效率,除了提高数据迁移的速度,我们还可以通过简化合并相关工作任务来加快项目完成时间。

　　Tempo DF中的作业编排能力和调度、运维功能,能够将所有的迁移任务便捷集中进行,粒度可细致到每个结构化/非结构化数据的迁移全部按照实际需求设置。

　　同时支持应用流程发布和管理,方便管理员根据实际情况最大限度提升流程执行效率。当某个同步任务出现问题,仅终止相关业务数据流程,其他迁移任务正常运行。问题修正后可重新补数。让数据迁移更贴合实际业务。

　　由于数据集成类工作常常牵扯到多个业务系统的数据,在传统的处理流程中,涉及到的编码工作量往往非常巨大。而Tempo DF中的设计器工具,可将复杂的数据迁移开发流程简化为拖拽选择式的操作,以低代码的智能操作帮助技术人员节省工作时间,提高工作效率。

　　通过TempoDF的协助,数据开发工程师在处理数据表迁移任务时,无需再进行额外的编码工作,只需要通过在设计器中配置数据来源、数据目标,并快速确认两个异构库之间的数据类型映射,就可以轻松完成任务。同时可配置迁移过程中的数据处理、资源参数、流量参数和脏数据内容。实现结构化、非结构化数据的全量迁移、增量迁移。

　　传统的企业数字化升级改造流程,往往局限于单个业务之中,忽视了企业内部多业务的关联数据,缺乏对数据的深度理解,导致企业明明投入了大量成本,却难以真正发挥数据资产的宝贵价值。

　　因此在数字经济时代,企业如果想要真正实现数字化转型,就必须要重视数据集成的实施,通过连通全域数据,建设提纯加工后的标准数据资产体系,满足不断增长的企业业务对数据的需求。

　　美林数据Tempo DF平台就是这样一款能够提供成熟海量数据集成方案,完成海量数据分析决策第一步的产品。从此开发实施人员不必每日再为底层数据中断异常而焦头烂额,快速实现海量数据高效流转,直接提升项目交付效率、解决企业海量数据集成难题,为用户后续各项数据分析工作打好坚实基础。