数据中台 | 数据中台基本概念

数字化转型成功的企业，其内部和外部的交互均以数据为基础。 业务的变化快速反馈在数据上，企业能够迅速感知并做出反应，而其决策与考核也是基于客观数据。同时，数据是活的，是流动的，越用越多，越用越有价值。随着数据和业务场景的不断交融，业务场景将逐步实现通过数据自动运转和自动优化，进而推动企业进入数字化和智能化的阶段。

• 传统IT建设方式下，企业的各种信息系统大多是独立采购或者独立建设的，无法做到信息的互联互通，导致企业内部形成多个数据孤岛
• 互联网、移动互联网的发展带来很多新的业务模式，很多企业尝试通过服务号、小程序等模式触达客户、服务客户，新模式是通过新的平台支撑的，产生的数据与传统模式下的数据也无所互通，这进一步加剧了数据孤岛问题
• 分散在各个孤岛的数据无法很好地支撑企业的经营决策，也无法很好地应对快速变化的前端业务

需要一套机制，通过这套机制融合新老模式，整合分散在各个孤岛上的数据，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台

---

数据中台到底是什么

当前有以下几个认识：

• 数据中台是云平台的一部分，同时包括业务中台和技术中台
• 数据中台是数据的共享、整合和深度分析
• 数据中台是“计算平台+算法模型+智能硬件”，不仅有云端，还需要智能设备企业在终端收集线下数据

数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是根据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。数据来自于业务、并反哺业务，不断循环迭代，实现数据可见、可用、可运营。

通过数据中台把数据变为一种服务能力，既能提升管理、决策水平，又能直接支撑企业业务。数据中台不仅仅是技术，也不仅仅是产品，而是一套完整的让数据用起来的机制。既然是“机制”，就需要从企业战略、组织、人才等方面来全方位地规划和配合，而不能仅仅停留在工具和产品层面。

数据中台四个核心能力

数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力，让企业员工、客户、伙伴能够方便地应用数据。

1. 汇聚整合

数据中台需要对数据进行整合完善，提供适用、适配、成熟、完善的一站式大数据平台工具，在简便有效的基础上，实现数据采集、交换等任务配置以及监控管理。

数据中台必须具备数据集成和运营方面的能力，能够接入、转换、写入或缓存企业内外部多种来源的数据，协助不同部门和团队的数据使用者更好地定位数据、理解数据。同时数据安全、灵活可用也是绝大多数企业看中的，他们期望数据中台能协助企业提升数据可用性和易用性，且在系统部署上能支持多种模式

2. 提纯加工

企业需要完整的数据资产体系，围绕着能给业务带来价值的数据资产进行建设，推动业务数据向数据资产的转化。

传统的数字化建设往往局限在单个业务流程中，忽视了多业务的关联数据，缺乏对数据的深度理解。数据中台必须连通全域数据，通过统一的数据标准和质量体系，建设提纯加工后的标准数据资产体系，以满足企业业务对数据的需求。

3. 服务可视化

为了尽快让数据用起来，数据中台必须提供便捷、快速的数据服务能力，让相关人员能够迅速开发数据应用，支持数据资产场景化能力的快速输出，以响应客户的动态需求。

多数企业还期待数据中台可以提供数据化运营平台，帮助企业快速实现数据资产的可视化分析，提供包括实时流数据分析、预测分析、机器学习等更为高级的服务，为企业数据化运营赋能。

4. 价值变现

数据中台通过打通企业数据，提供以前单个部门或者单个业务单元无法提供的数据服务能力，以实现数据的更大价值变现。

企业期待数据中台能提升跨部门的普适性业务价值能力，更好地管理数据应用，将数据洞察变成直接驱动业务行动的核心动能，跨业务场景推荐数据实践。同时，企业对于如何评估业务行动的效果也十分关注，因为没有效果评估就难以得到有效反馈，从而难以迭代更新数据应用，难以持续为客户带来价值。

---

数据中台是一套持续地让企业的数据用起来的机制，要想把数据用起来，4个核心能力都需要不断迭代和提升。从战略上来讲，汇聚整合、提纯加工、服务可视化和价值变现能力是数据中台最核心的竞争力，是企业真正将数据转化为生产力、实现数字化转型和商业创新、永葆竞争力的保障。

数据中台VS业务中台

1. 数据中台和业务中台的区别

业务中台更多偏向于业务流程管控，将业务流程中共性的服务抽象出来，形成通用的服务能力。（CBB组件）

业务中台是抽象业务流程的共性形成通用业务能力，而数据中台则是抽象数据能力的共性形成通用数据服务能力。

• 业务中台不直接面向终端用户，但可以极大提升构建面向终端用户的前台应用的速度和效率
• 数据中台也将极大提升数据开发的效率，降低开发成本，同时可以让整个数据场景更为智能化

2. 数据中台与业务中台的联系

如果同时拥有业务中台和数据中台，则数据中台与业务中台是相辅相成的。业务中台中沉淀的业务数据进入到数据中台进行体系化的加工，再以服务化的方式支撑业务中台上的应用，而这些应用产生的新数据又流转到数据中台，形成循环不息的数据闭环。

既然业务中台和数据中台是相辅相成的，那么建设是否有先后顺序？

• 从数据层面看，业务中台只是数据中台的数据源之一，除此之外，企业还有很多其他的数据来源，比如App，智能硬件等多源数据，可以将这些数据的价值直接赋能于现有业务
• 从服务层面看，数据中台的数据服务也不一定经过业务中台作用于业务，它可以直接作用于上层应用，如个性化推荐
• 从业务中台的角度来看，如果没有数据中台，可以做一些简单的数据处理，如分析和统计等，而通过数据中台赋能则可以使得业务系统拥有“全维度”、“智能化”的能力，比如推荐等，系统将从信息化层面升级到一个智能化层面的系统

数据中台VS数据仓库

数据仓库的主要场景是支持管理决策和业务分析，而数据中台则是将数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环节，不限于决策分析类场景。 数据中台持续不断地将数据进行资产化、价值化并应用到业务，而且关注数据价值的持续运营。

数据中台作为解决企业级数据应用难题的新方案，不是一套软件系统，也不是一个标准化的产品。站在企业的角度，数据中台更多地指向企业的业务场景，即帮助企业沉淀能力，提升业务效率，最终完成数字化转型。因此，数据中台与企业现有信息架构不存在竞争关系，不会导致企业现有系统、功能和应用的重复建设。

• 数据中台在定位上与业务IT系统并不冲突。企业原有的IT系统依旧会根据业务和IT技术迭代不断升级，依旧对企业的生产运营或者经营管理提供支撑
• 数据中台的定位则是在数据领域帮助企业不断沉淀数据能力，两者之间的关系是相互依托、相互赋能、相互促进的。
• 数据中台需要IT系统不断提供数据，而IT系统未来更加需要横向、综合的数据特征来支撑。
• 只有形成了数据中台和IT系统良好的配合关系，才能更好地构建企业整体的IT支撑能力

数据中台架构

数据中台的使命就是持续让数据用起来，它的一个根本性创新就是把“数据资产”作为一个基础要素独立出来，让成为资产的数据作为生产资料融入业务价值创造过程，持续产生价值。

这个价值框架融入企业的运营活动中就能支撑数据中台的组织地位：数据中台必须拥有与企业的设计部门、制造部门、销售部门等同样重要的地位。

数据中台建设方法论体系，需要从组织、保障、准则、内容、步骤5个层面全面考虑，以确保数据中台建设和实施能如期完成。

• 1种战略行动，把用数据中台驱动业务发展定位为企业级战略，全局谋划
• 2项保障条件，通过宣贯统一组织间的数据认知，通过流程加速组织变革
• 3条目标准则，将数据的可见、可用、可运营3个核心准则始终贯穿与中台建设的全过程，保证建设始终位于正确的轨道上
• 4套建设内容，通过技术体系、数据体系、服务体系、运营体系建设保证中台建设的全面性和可持续性
• 5个关键步骤，通过理现状、立架构、建资产、用数据、做运营5个关键行动控制众泰建设关键节点的质量

一、1种战略行动

数据中台要求整个企业共用一个数据技术平台、共建数据体系、共享数据服务能力。

• 现实中企业业务发展不均衡、各种部门墙导致共建和共享非常困难。
• 数据中台不仅是对技术架构的改变，还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持，所以中台是一个企业的战略行动，而非一个项目组成或者一个小团队就能做到。
• 数据中台牵涉企业的方方面面，要了解整个企业的业务情况、进行业务梳理，还要有技术的支撑、组织的支撑，否则很难推动落实。

数据中台的目标是实现企业经营的数据化、精细化、智能化，本质是建设一套可持续让企业数据用起来的的机制，需要有相应的组织、制度、流程、资源的保障。

二、2种保障条件

数据中台是企业级战略，支撑企业数字化转型，涉及企业的方方面面，数据中台战略的执行必然伴随着企业组织保障以及整个企业数据意识的提升。

首先，中台战略的实施需要有组织保障。

• 与组织对应的是资源与责任，数据中台由谁来建、谁来维护、谁来经营、业务需求怎么承接、效果怎么衡量等问题，这已经超出了IT的范畴，需要企业更高层面对应的组织来保障
• 企业实施数据中台战略，必须首先建立起数据中台团队，让他们负责中台的建设、维护、运营以及业务的承接和中台服务的推广
• 有了中台后，企业的运转模式发生了变化，业务、后台、管理等团队也需要有对应的组织人员与中台团队对接

其次，中台战略的实施需要提升全企业的数据意识。 数据文化是数据中台战略不可或缺的部分，数据中台的推进依赖于数据文化的建立，反过来，企业数据文化的沉淀又是数据中台建设的产出。一句话概括数据文化：用数据说话。

可以从以下方面来提升数据意识：

• 数据采集意识
• 数据标准化意识
• 数据使用意识
• 数据安全意识

三、3项目标准则

数据中台的3项目标准则——可见、可用、可运营，不仅可作为企业在数据中台建设中的具体建设指引，也可用来客观评估目前建设内容的完整度。

评估项	评估细项	评估细项描述
数据可见	指标管理的可视化	是否已经具备统一的指标管理能力，如指标的定义、修改、删除和生命周期管理等
	元数据管理的可视化	是否已经具备针对元数据（表、字段、分区、任务和标签等）的可视化管理工具
	数据资产类目可视化	是否已经具备资产的可视化类目管理，可自由增删改查类目结构和类目下的标签名称或者指标名称
	数据源的可视化	是否已经具备对中台所涉及的所有业务数据源的可视化管理，可自由增删
	数据集成的可视化	是否已经具备对业务数据到数据中台的批量或者实时集成的可视化操作能力
	数据ETL的可视化	是否已经具备对数据处理ETL的可视化开发与发布能力
	数据建模的可视化	是否已经具备对数据建模的可视化管理能力，如批量生成指标、模型标准管理等
	数据消费者的可视化	是否已经具备数据消费方统一的管理，包括权限、限速、并发、高可用等
	算法建模的可视化	是否已经具备可拖拽式可视化的建模方式
数据可用	数据内容的可用性	数据内容是无歧义，符合业务所需要的标准和质量需求
	数据服务的可用性	是否已经具备数据服务的快速生成，可通过可视化的形式完成
	数据任务的可用性	是否已经具备数据任务的运维能力，可自动重跑、补数、空跑、自动调整任务资源配比等
	数据的指标化	是否已经把数据定义为指标，企业的日常经营分析依赖于各类BI报表和可视化大屏
	数据的标签化	是否已经把数据定义为标签，标签来源于原始字段、统计类加工后的字段和算法类加工后的字段，企业的数据应用依赖于各类标签体系
	资产（指标或者标签）的易阅读性	对于业务人员来说，资产和资产类目是否看得懂，易查找
数据可运营	质量量化管理	是否已经可以通过任务失败次数、产出时间稳定性、标签覆盖率等构建质量量化模型，数据研发团队日常已根据分值优化管理
	价值量化管理	是否已经可以通过任务资源占用情况、表生命周期和最近访问周期等构建价值量化模型，数据研发团队日常已根据分值进行优化管理
	数据运营角色	是否已经配有针对数据本身的运营角色和岗位，该角色通过围绕核心KPI进行数据的质量优化和价值挖掘

四、4套建设内容

建设内容是数据中台建设的核心，是可呈现的产出物，也是数据中台的价值所在，前面的战略措施、保障条件、目标准则都是为了建设内容能够顺利产出并且可以持续发挥价值。

数据中台的建设内容包含技术体系、数据体系、服务体系、运营体系四大体系，通过这四套体系的建设实现数据中台让数据持续用起来的目标。

1. 技术体系

技术体系分两个层面：

• 大数据存储计算技术组件，比如Hadoop、Spark、Flink等，相对标准化，企业只需要进行合理选型，不需要自己建设，建设难度也很大
• 数据中台工具技术组件，包括数据汇聚、数据开发、数据资产管理、数据服务管控等。

2. 数据体系

数据体系是数据中台建设、管理、使用的核心要素， 全企业的数据通过各种方式汇聚到数据中台，在数据中台按照一定的建模方式进行加工，形成企业的数据资产。

3. 服务体系

数据中台与大数据平台的最主要区别是数据能更方便地以服务化的方式支撑业务，这是通过数据中台服务体系实现的。服务体系是通过数据中台的服务组件能力。把数据变为一种服务能力。

4. 运营体系

运营体系是数据中台得以健康、持续运转的基础。 运营体系包括平台流程规范执行监督、平台资源占用的监管及优化推动、数据质量的监督及改进推动、数据价值的评估、数据服务的推广，其目标是让平台可以持续健康运转，产生持续价值。

五、5个关键步骤

数据中台在具体落地实施时，要结合技术、产品、数据、服务、运营等5个方面，逐步开展相关的工作，在构建闭环时会多考虑基础设施部分的能力，一旦闭环建设完成，就可以在各个环节不断丰富能力，逐步成为数据应用的完整体系。

1. 理现状

梳理企业的系统建设，已经拥有的数据以及业务特点等现状，了解企业对数据中台的认知，以及相应的数据文化建设情况。

2. 立架构

根据现状形成整体的规划蓝图，形成技术产品、数据体系、服务方式以及运用重点等相关的方案，梳理并确立各块架构。

• 业务架构，保障数据中台能够适用于企业的业务运营模型和流程体系
• 技术架构，主要是指技术体系中的数据基座，主要根据业务架构近远期规划，对数据的存储和计算进行统一的选型
• 应用架构，特指数据中台的应用架构，后面几个关键步骤的内容所依赖的工具主要是由数据中台作为平台应用来承接
• 组织架构，主要是保证中台项目的顺利落地需要企业考虑的整体组织保障

3.建资产

结合数据架构的整体，通过数据资产体系建设方法，帮助企业构建既符合场景需求又满足数据架构要求的数据资产体系并实施落地。这个步骤涉及数据汇聚、数据仓库建设、标签体系建设以及应用数据建设，其中最关键的是标签体系建设。所谓标签体系是面向具体对象构建的全维度数据标签，通过标签体系可以方便地支撑应用，大数据的核心魅力和服务能力主要就体现在标签体系的服务能力上。

4.用数据

从应用场景出发，将已经构建的数据资产通过服务化方式，应用到具体的业务中，发挥数据价值。将数据资产快速形成服务能力并与业务进行对接，在业务中产生数据价值，实现数据的服务化和业务化。在服务过程中，数据安全是不得不考虑的问题，哪些人能看到什么数字资产，能选择什么类型的服务都是需要严格审核的。

5.做运营

数据应用于业务后，其产生的价值通过运营的能力不断优化迭代，并让更多的人感知到数据的价值点。数据中台建设是一个持续建设和运营的过程，所谓持续建设和运营是指在架构基本上情况下，循环图中的步骤。

数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种服务的能力，让数据更方便地被业务所使用。

1. 数据汇聚

• 数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据， 所有数据来自于业务系统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生业务价值。

• 数据汇聚是数据中台必须提供的核心工具，把各种异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。

• 数据汇聚方式一般有数据库同步、埋点、爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和在线实时采集。

2. 数据开发

• 通过数据汇聚模块到中台的数据没有经过处理，基本上按照数据的原始状态堆积在一起，这样业务还是很难使用。

• 数据开发是一整套数据加工以及加工过程管控的工具，有经验的数据开发人员可用数据加工模块提供的功能，可以快速把数据加工成对业务有价值的形式后提供给业务有使用。

• 数据开发模块主要面向开发人员、分析人员，提供离线、实时、算法开发工具，以及任务的管理、代码发布、运维、监控、告警等一系列集成工具，方便使用，提升效率。

3. 数据体系

• 有了数据汇聚、数据开发模块，中台已经具备传统数据仓库平台的基本能力，可以做数据的汇聚以及各种数据开发，就可以建立企业的数据体系。

• 大数据时代的数据量大，增长快，业务对数据的依赖也会越来越高，必须考虑数据的一致性和可复用性，垂直的、烟囱式的数据和数据服务的建设方式主动不能长久存在。

• 不同的企业因业务不同导致数据不同，数据建设的内容也不同，但是建设方法可以相似，数据要统一建设，按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设。

4. 数据资产管理

通过数据体系建立起来的数据资产较为偏技术，业务人员比较难理解。资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员，数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，提升企业的数据意识。

5. 数据服务体系

• 数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务中，激活整个数据中台，数据服务体系是数据中台存在的价值所在。

• 企业的数据服务是千变万化的，中台产品可以带有一些标准服务，但是很难满足企业的服务诉求，大部分服务还是需要通过中台的能力快速定制。

• 数据中台的服务模块并没有自带很多服务，而是提供快速的服务生成能力以及服务的管控、鉴权等功能。

6. 运营体系和安全管理

运营体系和安全管理是数据中台得以健康、持续运转的基础， 如果没有他们，数据中台很可能像个一般项目一样，会在搭建起平台、建设部分数据、尝试一两个应用场景之后止步，无法正常地持续运营，不能持续发挥数据的应用价值，这也就完全达不到建设数据中台的目标。