企业级一站式大数据开发平台理论及实践

前言

• 一站式数据治理：提供数据仓库的构建，多样化抽取任务调度配置，实现业务数据/实时数据抽取清洗，并入库到数据仓库。同时，提供数据仓库数据高效的检索，满足数据的多样化查询需求。

• 数据血缘分析：数据血缘分析是保证数据融合（聚合）质量的关键环节，通过血缘分析实现数据融合处理的可追溯。同时，可分析数据的数据价值。

• 智慧数据目录：数据资产目录提供自定义目录编目、标签系统、资产快速检索，同时支持用户搭建全局知识库，沉淀业务理解。

• 数据可视化：产品将图形语法产品化，用户无需掌握编程，简单拖拉拽即可进行可视化分析

• 数据隐私：针对些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护

微众银行一站式大数据平台建设方案

• 支持海量数据

• 一站式的数据存储和用户体验

• 符合金融级别的可靠性、安全性的要求

• 自主可控

• 低成本

贝壳一站式大数据开发平台实践

爱奇艺一站式数据中台建设

• 生产，也就是我们所说的投递体系

• 数据，也就是统一数仓的体系，是数据的核心

• 大数据平台能力：包括开发、治理、服务

• 开发：数据开发的平台化、可视化，降低开发门槛，提升开发标准化；

• 运维：方便用户管理任务，稳定性和时效性有效监控；

• 质量：提供质量校验，避免质量问题；

• 治理：数据和任务审计，数据血缘监控。