Spark big data processing: technology, application and performance optimization (full)

\"Spark Big Data Processing: Technology, Application and Performance Optimization\" systematically, comprehensively and in detail explains the use of various functions, principles, mechanisms, technical details, application methods, performance optimization, and related technologies of the BDAS ecosystem of Spark based on the latest technical version. As a big data parallel computing framework based on memory computing, Spark not only solves the problem of real-time data processing well, but also ensures high fault tolerance and high scalability. Specifically, it has the following advantages: Building a full-stack multi-computing paradigm of efficient data pipeline Lightweight and fast processing Easy to use, support multiple languages ​​and compatible with storage layers such as HDFS High community activity... Spark has been widely used around the world, whether it is Intel, Yahoo!, Twitter, Alibaba, Baidu, Tencent and other international Internet giants, or some small companies that are still in the growth stage, are using Spark. The author of this book wrote this book based on his own experience and experience of practicing Spark at Microsoft and IBM. From the perspective of beginners, it not only systematically and comprehensively explains the various functions of Spark and how to use them, but also explores in depth the working mechanism, operating principle and other technologies in the BDAS ecosystem of Spark. At the same time, there are some operational cases that can enable inexperienced readers to quickly master Spark. More importantly, this book also discusses the performance optimization of Spark.