第1章 数据大图

数据是原油，数据是生产资料，数据和技术驱动，人类正从IT时代走向DT时代，随着数据的战略性日渐得到认可，越来越多的公司、机构和组织，尤其是互联网公司，纷纷搭建了自己的数据平台。不管是基于开源技术自研、自建还是购买成熟的商业解决方案，不管是在私有的数据中心还是在公有云端，不管是自建团队还是服务外包，一个个数据平台纷纷被搭建，这些数据平台不但物理上承载了所有的数据资产，也成为数据开发工程师、数据分析师、算法工程师、业务分析人员和其他相关数据人员日常的工作平台和环境，可以说数据平台是一个公司、机构或组织内“看”数据和“用数据”的关键基础设施，已经像水电煤一样不可或缺，正是它们的存在才使得数据变现成为可能。

数据从产生到进入数据平台中被消费和使用，包含四大主要过程：数据产生、数据采集和传输、数据存储和管理以及数据应用，每个过程都需要很多相关数据技术支撑。了解这些关键环节和过程以及支撑它们的关键技术，对一个数据从业者来说，是基本的素养要求。因此本章首先对数据流程以及相应的主要数据技术进行介绍。

同时，本章也将介绍数据的主要从业者，包括平台开发运维工程师、数据开发工程师、数据分析师、算法工程师等，并对他们的基本工作职责和日常工作内容等进行介绍，使读者对数据相关的职位有基本的认识和了解。