在公司主要做API 管理平台的相关产品，最近需要跟数据中台的相关产品做对接，因为好奇，也去简单了解了一下数据中台的相关知识和内容。虽然数据中台比较倾向大数据产品的开发方向，但是作为一名工程师，还是要广涉猎。这本笔记主要是学习了 极客时间 郭忆老师的 《数据中台实战课》的相关内容记录。
为什么要建数据中台，数据中台的核心是什么？
2016 年，阿里巴巴率先提出了“数据中台”的口号。因此很多互联网企业和传统企业都在建设数据中台，那么为什么企业选择建立数据中台呢？我做了以下几点总结。
数据中台的价值，那就是改变原来企业利用数据的形式。数据中台的核心，是避免数据的重复计算，通过数据服务化，提高数据的共享能力，赋能数据应用。
数据中台建设方法论
早在 2016 年，阿里巴巴就提出了数据中台建设的核心方法论：OneData 和OneService。
OneService:数据即服务数据中台建设步骤，强调数据中台中的数据应该是通过 API 接口的方式被访问。
数据中台支撑技术
大数据平台的底层是以 Hadoop 为代表的基础设施，分为计算、资源调度和存储。
Hive、Spark、Flink、Impala 提供了大数据计算引擎：
Hive、Spark 主要解决离线数据清洗、加工的场景数据中台建设步骤，目前，Spark 用得越来越多，性能要比 Hive 高不少；
Flink 主要是解决实时计算的场景；
Impala 主要是解决交互式查询的场景。
计算引擎统一运行在一个称为 Yarn 的资源调度管理框架内，由 Yarn 来分配计算资源。目前最新的研究方向中也有基于 Kubernetes 实现资源调度的
数据存储在 HDFS、Kudu 和 HBase 系统内。HDFS 不可更新，主要存全量数据，HBase提供了一个可更新的 KV，主要存一些维度表Kudu 提供了实时更新的能力，一般用在实时数仓的构建场景中。
大数据平台像一条设备流水线，经过大数据平台的加工，原始数据变成了指标，出现在各个报表或者数据产品中。随着数据需求的快速增长，报表、指标、数据模型越来越多，找不到数据，数据不好用，数据需求响应速度慢等问题日益尖锐，成为阻塞数据产生价值的绊脚石。
数据治理模块。它对应的方法论就是 OneData体系。以元数据中心为基础，在统一了企业所有数据源的元数据基础上，提供了包括数据地图、数仓设计、数据质量、成本优化以及指标管理在内的 5 个产品，分别对应的就是数据发现、模型、质量、成本和指标的治理。
