1.7 起源

拒绝一种范式的同时不采纳另一种范式就是拒绝科学本身。

——Thomas S. Kuhn, The Structure of Scientific Revolutions

Thomas S. Kuhn是一位美国历史学家和科学哲学家。他在当时颇具争议的The Structure of Scientific Revolutions一书中提出了“范式转变”(paradigm shift)。他观察到科学如何以两种主要模式发展:增量式和革命式。科学是在正常科学的连成一长串的过程中发展的,在正常科学中,现有的理论构成了所有进一步研究的基础,然后是不连续的范式转变中偶发的颠覆、挑战和超越现有的知识和规范。比如,从牛顿力学到量子力学的科学发展被认为是范式转变,因为科学家无法使用现有的理论解释量子级别的物理的支配定律。Kuhn意识到范式转变的先决条件是识别异常,即不符合现有标准的观察结果,然后进入危机阶段,在这个阶段质疑现有范式在解决新问题和观察结果中的有效性。他还观察到,人们试图在现有的解决方案中引入不可持续的复杂性,以解释异常现象,但这种尝试越来越让人绝望。

这几乎完全符合Data Mesh的起源和原则。它来自我在第一部分中描述的对异常的认识(故障模式和偶然的复杂性),以及现有数据解决方案的特征难以符合当今企业现实的危机时刻。在数据处理方法的发展过程中,我们正处于一个“Khunian危机”的时刻。因此,需要一种新的范式。

Data Mesh的原则是概括和改编了过去二十年中演进的实践,并证明其解决了最后的复杂性挑战:由组织的大规模数字化所导致的软件复杂性的规模化。

这些原则是数字组织解决组织增长和复杂性的基础,同时实现了前所未有的数字抱负:把所有的服务转移到We b上,使用移动设备与客户作为每一个接触点,并通过大多数活动的自动化减少组织的同步。它们是对软件领域的前一个范式转变的一种适应:微服务(https://oreil.ly/IMENg)和API革命、基于平台的团队拓扑注4、计算治理模型(比如“零信任架构”注5)、安全地运维跨云和托管环境的分布式解决方案。在过去的几年中,这些原则已经被改进,并适用于分析型数据问题空间。

让我们近距离地看看每一个Data Mesh原则。


注1:这是Everett Rogers在Diffusion of Innovations一书中提到的理论。

注1:第7章揭示了Data Mesh的预期成果,并对如何实现这些结果进行了高层次的描述。

注2:该概念出自Jeff Hawkins和Sandra Blakeslee所著的On Intelligence一书的第165页。

注3:这个定义来自William H. Inmon,他被认为是数据仓库之父。

注4:Matthew Skelton and Manual Pais(2019).Team Topologies: Organizing Business and Technology Teams for Fast Flow. Portland, OR: IT Revolution.

注5:Scott W. Rose, Oliver Borchert, Stuart Mitchell, and Sean Connelly(2020).“Zero Trust Architecture”(https://oreil.ly/rGEfn), Special Publication(NIST SP), National Institute of Standards and Technology, Gaithersburg, MD.