产品动态 构建企业数据中台基础设施,企业级大数据操作系统 --滴普数据智能开发套件Deepexi FastData for DaaS

构建企业数据中台基础设施,企业级大数据操作系统–滴普数据智能开发套件Deepexi FastData for DaaS

现代企业最核心的需求就是在复杂的环境中进行决策,从数字化转型的视角看,主要目标是要实现将准确的数据,在及时的时间内,用友好的方式,发送给合适的人,并通过数据赋能支持其做出正确的决策。 但企业如何在真正将企业积累的数据使用起来,赋能业务,还面临着数据孤岛、数据结构不统一、数据质量低、数据管控难、大数据组件杂、数据治理成本高等一系列问题。为实现此目标当前的主要解决方案是建设企业级大数据平台,在平台建设时要满足支持多模态数据管理、保障数据质量、提搞数据服务效率,同时要兼顾降低平台建设成本、降低运维复杂度和便捷的平台移植性等一系列特性。

滴普数据智能开发套件 Deepexi FastData for DaaS是滴普提供的云中立、一站式数据智能平台,致力于帮助企业快速构建大数据能力,利用数据赋能业务,快速提升企业的竞争力。

Deepexi FastData for DaaS 架构图

图片1.png

图片2.png

Deepexi FastData for DaaS为客户提供数据全链路处理的一站式管理平台,能满足大数据相关的各类业务场景,提升数据中台构建效率,解决企业数据存通治用等问题,实现数据运营体系的价值变现,平台贯穿大数据能力应用的整个过程,包括数据汇聚、数据开发、资产管理、数据服务、数据应用等数据全生命周期的完整管理。

产品功能

1.数据开发

1.支持WEB SQL的可视化离线/实时任务开发,将数据处理任务以DAG的形式组织,支持修复重跑,暂停,kill等多种操作方式。支持HiveSQL、SparkSQL、Jar、Spark、Shell、Python、ImpalaShell、Flink(实时)、FlinkSQL(实时)。

2.支持数据的开发与生产环境隔离、多人协同,任务、流程、资源等需要提交到生成环境,必须有专门审核人员进行审核。

3.在运维模块进行统一管理。通过运维看板,可以查看离线、离线流程/任务的运行概览及主要指标统计。在实时运维用于管理运行在生产环境的实时任务:包括启动、停止实时任务、下线实时任、查看任务日志,同时具备基线管理、告警等功能。

2.数据服务

1.具备快速将数据表生成API的能力,通过API快速生成并对外输出,构建OneService数据共享服务,形成企业级API市场和服务管理平台,提高数据开放与贡献效率。

2.API安全,具备API流控、黑白名单访问策略的控制。

3.数据资产

以元数据为基础,实现数据资产的统一管理。通过数据地图来发现、查找、使用数据资产;数据质量来监测、分析、评估资产质量,对过程数据和结果数据进行质量校验,帮助企业及时发现数据质量问题。

4.数据建模

基于业务需求,以设计驱动开发,可以灵活的建立和管理模型,以及将现有数据库逆向得到模型,使企业数据标准化、模型化,帮助实现数据管管理规划化。

5.数据安全

通过布署、租户隔离、权限隔离等多种技术实现数据安全管控,保障用户数据的 安全和价值。

产品优势

1.一站式数据开发,系统覆盖全链路

数据开发在线化、可视化,从开发、调试、发布到监控运维,覆盖数据开发全链路,一站到底,流畅简便。

2.简单易用低门槛,多人协作高效率

集成大数据核心组件,提供智能开发 IDE,通过简单的 SQL 编译即可让企业拥有大数据能力;多人协作管理、开发,大大提高开发效率,有效缩短开发周期。

3.快速规范建模,高效稳定调度

提供规范的数据模型、加工及服务能力,保障建模流程规范可控;用户可自定义数据处理逻辑,作业可实现定时、依赖方式的自动调度,保障作业定时保质产出。

4.兼容开放,丰富的大数据组件

开源生态,支持市面上绝大多数计算引擎,包括Hadoop、Spark、 Flink 等离线和实时计算引擎。支持 MR、Shell 等各类主流的数据开发任务。

5.云中立

兼容打通多种公有云平台,提供一致性的使用体验,保持中立性。

6.弹性轻量,低成本投入

容器化快速部署,按业务需要选择集群数量,最小只需4台虚拟机。

案例分享

1.面临的问题:

某零售行业巨头在自身业务发展过程中,随着业务对数据的要求越来越高,面临以下问题。

1)数据分散:由于历史原因,不同数据团队形成多份数据存储,分散存放在CDH、DW、电商数据库等数据中,孤岛问题严重;

2)数据不规范:不同的数据库间缺少统一规范,指标结算存在一定差异;

3)算力有限:数据仓库采用存储过程进行数据处理,单线程,处理能力存在瓶颈;

4)任务分散:没有统一ETL调度管理工具,运维成本高;

5)业务方数据需求频繁多变,无法很好支撑

2.解决方案

通过滴普数据智能开发套件DaaS提供的提供的一站式大数据应用能力,帮助企业构建属于自己的数据中台,为企业提供数据基础建设和统一的数据服务。通过整合数据、产品和技术,形成强大的共享服务层,支持前台部门的业务发展。

图片3.png

图片4.png

3.成果

1.算力提升

1)生产环境101台服务器以分布式+高可用部署直接提高了底座的健壮性

2)实时数据计算采用Flink SQL等最新技术保证了算力进一步提升

3)流程调度时间缩短50%,重新梳理15个主题,400+表,整体目前数据量在40T

2.响应提升

通过使用DaaS平台,用户可以直接了解当前数据现状,快速定位需求,这种以终为始的响应模式保证响应效率进一步提升。

3.规范化提升:

通过使用DaaS平台作为数据管理抓手进行数据安全管理、数据服务管理等管理动作,数出一孔,有利于保质保量的达成统一数据、统一报表的目标。

4.管理提升:

通过使用DaaS平台作为数据管理抓手进行数据安全管理、数据服务管理等管理动作,有利于保质保量的达成统一数据、统一报表、统一大算的目标。

产品交付方式

滴普数据智能开发套件Deepexi FastData for DaaS目前支持两种方式交付:

  • 可私有化部署
  • SaaS购买

产品适用场景

滴普数据智能开发套件Deepexi FastData for DaaS 适用以下场景:

1.数据中台构建:提供一站式大数据全链路解决方案,为企业提供从统一的存储计算、数据交换、开发、管理能力,并集成任务发布、运维、安全等相关的管控,助力企业构建数据中台。通过将企业各类分散的数据进行汇集融合、加工提炼,围绕企业、消费者、产品构建企业级数据资产体系,并通过平台的数据服务能力,为业务中台赋能,实现业务增值。

2.企业级数据治理:为企业提供灵活易用的大数据治理方案。平台全面覆盖数据处理过程的各个环节,提供数据建模、元数据管理、血缘、生命周期、数据质量、资产中心等功能,通过建模,数据标准的建立,数据质量的监控和流程的优化方便用户对数据 资产进行全方位的管理,保证数据标准可落地、数据开发可管理、数据质量可稽核。

3.工业大数据平台:构建工业大数据平台,解决设备传感器数据量大、时效性高、数据价值利用率低等问题,建立从数据采集到监控的实时处理体系。从数据采集到监控的实时处理体系。

4.金融大数据平台:构建完整数据管理体系,打通数据孤岛融合多模态数据,建立金融风控模型,建立全行统一数据

点击这里了解更多关于DaaS的产品详情。

订阅
及时获得DEEPEXI的最新资讯
订阅
马上开启数字化升级之旅
立即免费试用,或直接与我们的解决方案专家沟通,了解和评估 DEEPEXI 如何帮助您的团队更进一步。
联系我们
专人在线为您服务
联系我们
专属顾问免费为您提供专业服务
建议反馈
您的建议,让我们更进一步
客服微信

客服微信

售前咨询电话

400 8279 010