Cloud of the Internet of Things: Cloud Platform Construction and Big Data Processing

This book is the 4th volume of the \"Internet of Things Engineering Practice Series\". This book explains the basic concepts, working principles and information processing processes of cloud computing, details the mathematical foundations of cloud computing and big data processing methods, and gives the project development process of cloud computing and fog computing, and looks forward to the development prospects of cloud computing. This book has 10 chapters. Chapter 1 introduces some mathematical foundations, probability theory and mathematical statistics methods in IoT data analysis, as well as distributed computing, grid computing and cloud computing methods, and their applications in the Internet of Things; Chapter 2 gives the concept and principles of cloud computing, and makes a detailed introduction to some technologies and system architectures of cloud computing; Chapters 3 and 4 explain the construction of cloud computing platforms, focusing on the construction process of PaaS platforms and the actual construction of cloud platforms for smart cities and vertical industries; Chapters 5 and 6 explain the concept of big data and common mathematical methods for big data processing; Chapter 7 explains the security issues of IoT cloud computing; Chapter 8 explains the methods of building private cloud platforms to deal with IoT security; Chapter 9 explains the fog computing methods and industry development prospects to deal with cloud computing information delays and network congestion; Chapter 10 summarizes the current status of IoT cloud computing development and looks forward to the development trend of cloud computing. This book is suitable as a textbook for undergraduate and graduate students majoring in Internet of Things engineering, communication engineering, network engineering, and computer science in colleges and universities. It is also suitable for R&D engineers and Internet of Things technology researchers engaged in Internet of Things cloud computing and fog computing. It is also suitable as a reference book for relevant personnel in government management departments such as smart city construction. Chapter 1 Mathematical Foundations of Cloud Computing 1 1.1 Probability Theory 1 1.1.1 A Brief History of the Development of Probability Theory 1 1.1.2 Random Events 2 1.1.3 Probability of Random Events 3 1.2 Foundations of Mathematical Statistics 6 1.2.1 Random Variables and Their Distribution Functions 6 1.2.2 Numerical Characteristics of Random Variables 9 1.2.3 Basic Theorems of Random Variables 11 1.3 Introduction to Distributed Computing 12 1.3.1 Concept of Distributed Computing 12 1.3.2 History of Distributed Computing 12 1.3.3 Distributed Computing Structure 13 1.3.4 Main Distributed Technologies 13 1.4 Introduction to Grid Computing 14 1.4.1 The Origin of Grid 15 1.4.2 Characteristics of Grid Technology 15 1.4.3 Grid Protocol Architecture 16 1.5 Introduction to Cloud Computing 16 1.5.1 Concept of Cloud Computing 16 1.5.2 Forms of Cloud Computing Services 18 1.5.3 2.5 Summary of this Chapter 41 2.6 Exercises 41 Chapter 3 PaaS Cloud Platform Foundation 42 3.1 The Concept and Model of Cloud Platform 42 3.1.1 The Concept of Cloud Platform 42 3.1.2 PaaS Model 43 3.1.3 PaaS Basic Technology Layer 44 3.1.4 PaaS platform service layer 44 3.1.5 PaaS key technologies 45 3.1.6 The development of PaaS 47 3.2 Elastic computing platform 47 3.2.1 The concept of elastic computing platform 47 3.2.2 Implementation method of elastic computing platform 48 3.2.3 Example of elastic computing platform 50 3.3 Intelligent monitoring operation and maintenance platform 52 3.3.1 Background and concept 52 3.3.2 Implementation method 52 3.3.3 Future development 54 3.4 IoT smart hardware development platform 54 3.4.1 Introduction to IoT smart hardware development platform 54 3.4.2 IoT cloud platform service case - Gizwits 55 3.5 Summary of this chapter 57 3.6 Exercises 57 Chapter 4 Practical construction of cloud platform 58 4.1 Infrastructure of cloud platform 58 4.1.1 Introduction to cloud server 58 4.1.2 Introduction to cloud storage 59 4.1.3 Cloud storage structure 59 4.1.4 Advantages and disadvantages of cloud storage 60 4.1.5 Applications of cloud storage 61 4.1.6 High-speed fiber optic network 62 4.1.7 Construction of cloud data center 62 4.2 Construction of smart campus cloud platform 63 4.2.1 Concept of smart campus cloud 64 4.2.2 Framework of smart campus cloud 64 4.2.3 Construction content of smart campus cloud 65 4.2.4 Development of smart campus cloud 69 4.3 Construction of smart city cloud platform 69 4.3.1 Concept of smart city cloud 69 4.3.2 Framework of smart city cloud 70 4.3.3 Construction content of smart city cloud 71 4.3.4 Development of smart city cloud 73 4.4 Construction of smart medical cloud platform 73 4.4.1 Concept of smart medical cloud 73 4.4.2 Framework of smart medical cloud 74 4.4.3 4.5.1 Background of smart transportation cloud 79 4.5.2 Framework of smart transportation cloud 79 4.5.3 Contents of smart transportation cloud 80 4.5.4 Development of smart transportation cloud 82 4.6 Summary of this chapter 83 4.7 Exercises 83 Chapter 5 Big data foundation 84 5.1 Data warehouse 84 5.1.1 From database to data warehouse 84 5.1.2 Definition of data warehouse 86 5.1.3 Composition of data warehouse 87 5.2 Data mining 88 5.2.1 What is data mining 88 5.2.2 Problems to be solved by data mining 89 5.2.3 Tasks and methods of data mining 90 5.3 Social media command center 93 5.4 Product knowledge center 94 5.5 Infrastructure and business research 96 5.6 5.9 Improving Risk Management 100 5.10 Chapter Summary 101 5.11 Exercises 101 Chapter 6 Big Data Processing Methods 102 6.1 Bloom Filter 102 6.1.1 Basic Idea 102 6.1.2 Scope of Application 103 6.1.3 Example 103 6.2 Hashing 106 6.2.1 Basic Idea 107 6.2.2 Scope of Application 107 6.3 Bitmap 109 6.3.1 Basic Idea 110 6.3.2 Map 110 6.3.3 Scope of Application 112 6.4 Heapsort 112 6.4.1 Basic Idea 112 6.4.2 Scope of application and examples 113 6.5 Double-layer bucket partitioning 115 6.5.1 Basic idea 115 6.5.2 Scope of application and examples 115 6.6 Database index 116 6.6.1 Basic idea 117 6.6.2 Scope of application 117 6.7 Inverted index 118 6.7.1 Basic idea 118 6.7.2 Scope of application 119 6.8 External sorting 119 6.8.1 Basic idea 120 6.8.2 Scope of application 121 6.9 Trie tree 121 6.9.1 Basic properties of Trie tree 122 6.9.2 Basic implementation of Trie tree 122 6.9.3 Application of Trie tree 122 6.9.4 Complexity analysis of Trie tree 123 6.10 Distributed processing (Map Reduce) 123 6.10.1 Detailed explanation of MapReduce 126 6.10.2 Map Reduce workflow 127 6.10.3 Scope of application 129 6.11 Summary of this chapter 130 6.12 Exercises 130 Chapter 7 Internet of Things Security 131 7.1 Information Security Basics 131 7.2 Internet of Things Information Security System 133 7.2.1 Security Requirements and Architecture of the Internet of Things 133 7.2.2 Security of the IoT Perception Layer 135 7.2.3 Security of the IoT Network Transport Layer 135 7.2.4 Security of the IoT Application Layer 136 7.2.5 Laws and Policies Related to IoT Security 136 7.3 IoT Information Security Countermeasures 137 7.3.1 Privacy Protection 137 7.3.2 Authentication 138 7.3.3 Access Control Management 138 7.3.4 Data Protection 138 7.3.5 Physical Security 138 7.3.6 Device Protection and Asset Management 139 7.3.7 Attack Detection and Defense 139 7.3.8 Situational Awareness 140 7.3.9 Communication Protection 142 7.3.10 Logging and Auditing 142 7.4 IoT Information Security Technologies 142 7.4.1 Application of Existing Technologies in the IoT Environment 143 7.4.2 Exploration of New Technologies 145 7.4.3 Vulnerability Discovery and Security Design of IoT-Related Devices, Platforms, and Systems 146 7.5 Cloud Computing Security 148 7.6 Chapter Summary 148 7.7 Exercises 149 Chapter 8 Private Cloud Services 150 8.1 Private Cloud 150 8.2 Private Cloud Solutions 152 8.3 One Open Source Private Cloud Solution - OpenStack 154 8.3.1 OpenStack Overview 155 8.3.2 OpenStack Architecture 157 8.4 Two Open Source Private Cloud Solutions - CloudStack 158 8.4.1 CloudStack System Architecture 158 8.4.2 CloudStack Device Hierarchy 162 8.4.3 CloudStack Management Platform 165 8.4.4 CloudStack Workflow 167 8.5 Private Cloud Service Planning and Selection 169 8.5.1 Design and Planning Process of Enterprise Private Cloud 169 8.5.2 170 8.6 Private cloud is one of the forms of existence of the Internet of Things 171 8.7 Chapter Summary 172 8.8 Exercises 172 Chapter 9 Fog Computing 173 9.1 The Origin of Fog Computing 173 9.1.1 From the Internet of Things 173 9.1.2 Insufficient computing and storage resources of terminals 173 9.1.3 Insufficient communication resources of cloud computing 174 9.2 Introduction to Fog Computing 175 9.2.1 The concept of fog computing 175 9.2.2 The difference between fog computing and cloud computing 176 9.2.3 Implementation of fog computing 177 9.2.4 Fog computing and the Internet of Things 177 9.3 Fog Computing Architecture 178 9.3.1 The Origin of OpenFog Architecture 178 9.3.2 The Roles of Cloud and Fog 179 9.3.3 Features of OpenFog Architecture 179 9.3.4 9.3.5 Examples of fog computing architecture models 183 9.3.6 Division of IoT computing boundaries 184 9.4 Characteristics of fog computing 185 9.4.1 Main characteristics of fog computing 186 9.4.2 Location of fog nodes 186 9.4.3 Advantages of fog computing 187 9.4.4 Disadvantages of fog computing 188 9.4.5 Cloud and fog joint computing 190 9.5 IoT computing model 191 9.5.1 Cloud computing 192 9.5.2 Fog computing 192 9.5.3 Edge computing 193 9.5.4 Haze computing 194 9.5.5 Stream computing 194 9.6 Fog computing industry 195 9.6.1 Industry layout 195 9.6.2 It is imperative for fog computing to participate in the layout of the IoT 195 9.6.3 The commercial value of fog computing 197 9.6.4 Smart City’s Demand for Fog Computing and Edge Computing 198 9.7 Fog Computing Equipment 200 9.7.1 Fog Computing Server 200 9.7.2 Fog Computing Router 200 9.7.3 Fog Computing Gateway 204 9.7.4 Fog Computing Sensor 204 9.8 Fog Computing Applications 206 9.8.1 Smart Transportation 206 9.8.2 Drone Express Delivery 207 9.8.3 Fog Computing Promotes the Development of the Internet of Things 209 9.9 Chapter Summary 211 9.10 Exercises 211 Chapter 10 Outlook on the Development Trend of Cloud Computing 212 10.1 Research Progress on Key Technologies of Cloud Computing 212 10.1.1 Virtualization Technology 212 10.1.2 Data Storage and Management Technology 213 10.1.3 Energy Saving Technology 214 10.1.4 New Forms of Cloud Computing Technology 215 10.2 10.6 Research on the innovation of cloud computing business models 221 10.6.1 Innovation of cloud computing business models 221 10.6.2 Cloud computing changes the industrial layout 222 10.6.3 Development trend of cloud computing industry 223 10.7 Construction of cloud computing ecosystem 225 10.8 Outlook on the development trend of cloud computing 226 10.9 Summary of this chapter 228 10.10 Exercises 2296 Demarcation of IoT computing boundaries 184 9.4 Characteristics of fog computing 185 9.4.1 Main characteristics of fog computing 186 9.4.2 Location of fog nodes 186 9.4.3 Advantages of fog computing 187 9.4.4 Disadvantages of fog computing 188 9.4.5 Cloud and fog joint computing 190 9.5 IoT computing models 191 9.5.1 Cloud computing 192 9.5.2 Fog computing 192 9.5.3 Edge computing 193 9.5.4 Haze computing 194 9.5.5 Stream computing 194 9.6 Fog computing industry 195 9.6.1 Industry layout 195 9.6.2 It is imperative for fog computing to participate in the layout of the Internet of Things 195 9.6.3 The commercial value of fog computing 197 9.6.4 Smart city’s demand for fog computing and edge computing 198 9.7 9.7.1 Fog computing server 200 9.7.2 Fog computing router 200 9.7.3 Fog computing gateway 204 9.7.4 Fog computing sensor 204 9.8 Fog computing applications 206 9.8.1 Smart transportation 206 9.8.2 Drone delivery 207 9.8.3 Fog computing promotes the development of the Internet of Things 209 9.9 Chapter summary 211 9.10 Exercises 211 Chapter 10 Outlook on the development trend of cloud computing 212 10.1 Research progress of key cloud computing technologies 212 10.1.1 Virtualization technology 212 10.1.2 Data storage management technology 213 10.1.3 Energy-saving technology 214 10.1.4 New forms of cloud computing technology 215 10.2 Research progress of cloud computing security technology 216 10.3 Research progress of cloud computing standards and specifications 218 10.4 10.5 Research progress on personalized cloud computing services 219 10.5.1 Resource scheduling services 219 10.5.2 Hybrid cloud services 220 10.6 Research on innovation of cloud computing business models 221 10.6.1 Innovation of cloud computing business models 221 10.6.2 Cloud computing changes the industrial layout 222 10.6.3 Development trend of cloud computing industry 223 10.7 Construction of cloud computing ecosystem 225 10.8 Outlook on cloud computing development trend 226 10.9 Chapter summary 228 10.10 Exercises 2296 Demarcation of IoT computing boundaries 184 9.4 Characteristics of fog computing 185 9.4.1 Main characteristics of fog computing 186 9.4.2 Location of fog nodes 186 9.4.3 Advantages of fog computing 187 9.4.4 Disadvantages of fog computing 188 9.4.5 Cloud and fog joint computing 190 9.5 IoT computing models 191 9.5.1 Cloud computing 192 9.5.2 Fog computing 192 9.5.3 Edge computing 193 9.5.4 Haze computing 194 9.5.5 Stream computing 194 9.6 Fog computing industry 195 9.6.1 Industry layout 195 9.6.2 It is imperative for fog computing to participate in the layout of the Internet of Things 195 9.6.3 The commercial value of fog computing 197 9.6.4 Smart city’s demand for fog computing and edge computing 198 9.7 9.7.1 Fog computing server 200 9.7.2 Fog computing router 200 9.7.3 Fog computing gateway 204 9.7.4 Fog computing sensor 204 9.8 Fog computing applications 206 9.8.1 Smart transportation 206 9.8.2 Drone delivery 207 9.8.3 Fog computing promotes the development of the Internet of Things 209 9.9 Chapter summary 211 9.10 Exercises 211 Chapter 10 Outlook on the development trend of cloud computing 212 10.1 Research progress of key cloud computing technologies 212 10.1.1 Virtualization technology 212 10.1.2 Data storage management technology 213 10.1.3 Energy-saving technology 214 10.1.4 New forms of cloud computing technology 215 10.2 Research progress of cloud computing security technology 216 10.3 Research progress of cloud computing standards and specifications 218 10.4 10.5 Research progress on personalized cloud computing services 219 10.5.1 Resource scheduling services 219 10.5.2 Hybrid cloud services 220 10.6 Research on innovation of cloud computing business models 221 10.6.1 Innovation of cloud computing business models 221 10.6.2 Cloud computing changes the industrial layout 222 10.6.3 Development trend of cloud computing industry 223 10.7 Construction of cloud computing ecosystem 225 10.8 Outlook on cloud computing development trend 226 10.9 Chapter summary 228 10.10 Exercises 229