GAN——Practical Generative Adversarial Network (Liu Mengxin)

This book introduces a very active branch of deep learning - Generative Adversarial Networks (GANs). The book covers the foundations of deep learning, the principles behind adversarial networks, and how to build them. At the same time, the book also introduces several real-world cases of using adversarial networks to build intelligent applications and provides specific codes and deployment methods to help readers use generative adversarial networks in real production environments. This book is suitable for data scientists, algorithm engineers, data mining engineers, and other practitioners in the field of machine learning to help them apply generative adversarial models in their work; it is also suitable for machine learning and deep learning enthusiasts and beginners to understand the new magic of deep learning. Preface XII 1 Overview of Deep Learning 1 1.1 The Evolution of Deep Learning 1 1.1.1 Sigmoid Excitation 3 1.1.2 Rectified Linear Unit (ReLU) 3 1.1.3 Exponential Linear Unit (ELU) 4 1.1.4 Stochastic Gradient Descent (SGD) 5 1.1.5 Learning Rate Tuning 6 1.1.6 Regularization 7 1.1.7 Weight Sharing and Pooling 8 1.1.8 Local Receptive Field 10 1.1.9 Convolutional Networks (ConvNets) 11 1.2 Deconvolution/Transposed Convolution 13 1.2.1 Recurrent Neural Networks and LSTM 13 1.2.2 Deep Neural Networks 14 1.2.3 Comparison of Discriminative and Generative Models 16 1.3 Conclusion 16 2 Unsupervised Learning GANs 17 2.1 Automating Human Tasks with Deep Neural Networks 17 2.1.1 The purpose of GAN 18 2.1.2 A metaphor from the real world 19 2.1.3 The components of GAN 20 2.2 Implementation of GAN 22 2.2.1 Applications of GAN 25 2.2.2 Image generation using DCGAN on Keras 26 2.2.3 SSGAN implementation using TensorFlow 29 2.3 Challenges of GAN models 38 2.3.1 Issues with startup and initialization 38 2.3.2 Model collapse 38 2.3.3 Issues with counting 39 2.3.4 Issues with angles 39 2.3.5 Issues with global structure 40 2.4 Methods to improve GAN training results 41 2.4.1 Feature matching 41 2.4.2 Mini-batches 42 2.4.3 Historical average 42 2.4.4 One-sided label smoothing 42 2.4.5 Input normalization 42 2.4.6 3.4 Image Style Transfer across Domains 45 3.1 Bridging the Gap between Supervised and Unsupervised Learning 45 3.2 Introduction to Conditional GANs 46 3.2.1 Generating a Fashion Wardrobe with CGAN 47 3.2.2 Solidifying GAN Training with Boundary Equalization 51 3.3 Training Process of BEGAN 52 3.3.1 Architecture of BEGAN 52 3.3.2 Implementing BEGAN with TensorFlow 53 3.4 Image Style Transfer with CycleGAN 57 3.4.1 Model Formula of CycleGAN 58 3.4.2 Turning Apples into Oranges with TensorFlow 58 3.4.3 Turning Horses into Zebras with CycleGAN 61 3.5 Summary 63 4 Constructing Realistic Images from Text 65 4.1 Introduction to StackGAN 65 4.1.1 Conditional Reinforcement 66 4.1.2 Architecture Details of StackGAN 68 4.1.3 Generating Images from Text with TensorFlow 69 4.2 Exploring Cross-Domain Relationships with DiscoGAN 72 4.2.1 DiscoGAN Architecture and Model Formula 73 4.2.2 Implementation of DiscoGAN 75 4.3 Generating Handbags from Bounding Boxes with PyTorch 78 4.4 Gender Conversion with PyTorch 80 4.5 Comparison between DiscoGAN and CycleGAN 82 4.6 Summary 82 5 Generating Images with Multiple Generative Models 83 5.1 Introduction to Transfer Learning 84 5.1.1 The Purpose of Transfer Learning 84 5.1.2 Various Methods for Using Pre-trained Models 85 5.1.3 5.2 Large-Scale Deep Learning with Apache Spark 90 5.2.1 Running Pretrained Models with Spark Deep Learning Module 91 5.2.2 Large-Scale Handwritten Digit Recognition with BigDL 94 5.2.3 Generating High-Resolution Images with SRGAN 98 5.2.4 The Architecture of SRGAN 99 5.3 Generating Fantasy Art Images with DeepDream 105 5.4 Generating Handwritten Digits with VAE on TensorFlow 107 5.5 Real-World Metaphors for VAE 108 5.6 Comparison of GAN and VAE Generative Models 111 5.7 Conclusion 111 6 Bringing Machine Learning to Production 113 6.1 Building an Image Rectification System with DCGAN 113 6.1.1 Steps to Building an Image Rectification System 115 6.1.2 Challenges of Deploying Models in Production 117 6.2.1 Disadvantages of Monolithic Architecture 118 6.2.2 Advantages of Microservice Architecture 118 6.2.3 Advantages of Using Containers 119 6.3 Multiple Methods for Deploying Deep Models 120 6.3.1 Method 1 - Offline Modeling and Microservice-Based Containerized Deployment 120 6.3.2 Method 2 - Offline Modeling and Serverless Deployment 121 6.3.3 Method 3 - Online Learning 121 6.3.4 Method 4 - Leveraging Managed Machine Learning Services 121 6.4 Running Keras-Based Deep Models on Docker 121 6.5 Deploying Deep Models on GKE 124 6.6 Serverless Image Recognition and Audio Generation with AWS Lambda and Polly 127 6.6.1 Steps to Modify Code and Packages in Lambda Environment 137 6.6.2 Face Recognition Using Cloud Managed Services 138 6.7 Conclusion 145