- 分布式实时处理系统:原理、架构与实现
- 卢誉声
- 1250字
- 2023-01-30 16:24:56
本书赞誉
本书不但讲解高性能分布式实时处理系统编程的原理,特别对内存资源管理、编码解决方案、并发与异步处理、线程模型、批处理与实时处理的区别、消息队列、动态装载等作了详细介绍,还深入分析了实时处理系统的架构以及内部实现,最后详细分析了怎样实现一套分布式实时处理系统Hurricane。本书非常适合大数据开发人员和架构师阅读,同时可以解决性能优化的很多问题。
分布式系统可以追溯到20世纪60年代的ARPANET。随着物联网、边缘计算和其他相关领域的蓬勃发展,对高性能分布式实时处理系统的需求日益增多。这本技术专著着眼于实际分布式框架的编程应用,将助力有志于该领域的软件开发人员。
本书不仅仅是一部讲授代码编写的书籍,还是一个开源社区的星星火种,我特别推荐所有对实时大数据分析感兴趣的同业中人阅读此书,并以此作为迈入下一个开源大时代的第一步。
通常来说,在互联网+、大数据时代盛行拿来主义;有开源的Spark、Strom,绝对不会动自己构建分布式系统的心思。但是作者不然,深厚的C++功底以及对分布式计算框架的深度理解,构建了高性能分布式、实时处理系统Hurricane,进入了更高层次的追求。
静下心来,这本书将对自己的C++编程、分布式存储系统、分布式计算框架、分布式通信等知识进行了洗礼,不知不觉间就提升了自己的层次,期待阅读本书之后,也可以构建一个全新的分布式实时处理系统,变成分布式实时计算领域的贡献者。
路已铺好,如何贡献,那是追求。
“天下武功,无坚不摧,唯快不破”,如果说以MapReduce、Spark等为代表的批处理方式,是数据处理的“坚”,则Storm、Hurricane等流处理系统,充分体现了数据处理的“快”。本书由浅到深,从基础的分布式系统的概念、网络通信和C++11高性能编程,到流处理中的消息、消息源、处理单元、收集器、计算拓扑等重要抽象的实现,到日志处理、频繁组合等典型应用,深入研究了一个典型分布式流处理系统的各个重要方面,推荐。
分布式实时处理系统,难就难在把分布式和实时处理结合起来。本文从拆解留言板系统开始节节升级,直至推出Hurricane实时处理系统,旁征博引,纲举目张。充分体现了分布式构建和实时处理的细节考虑。
作者以他参与Cisco和Autodesk诸多大型系统开发时所积累的经验以及对开源技术多年的钻研铸就本书。本书由理论到应用,由实现到优化,由浅入深,抽丝剥茧地把这么浩繁的概念在本书中讲得十分清晰。
正如“如何阅读本书”中说的一样,“本书从最基本概念作为引子,逐步引入高性能分布式实时处理系统编程所需要的方方面面,抽丝剥茧把实时处理系统的架构以及实现娓娓道来”,有概念、有理论,有本身知识体系的交代,也有周边必要知识内容的说明,有实战、有案例,不空谈,能落地,是一本不可多得的学习分布式实时架构的好书。