Pattern Recognition (Fourth Edition)

Pattern Recognition (4th Edition) comprehensively expounds the basic theory, new methods and various applications of pattern recognition. Pattern recognition is an important part of information science and artificial intelligence. Its main application areas include image analysis, optical character recognition, channel equalization, language recognition and audio classification. Based on the perfect combination of current theory and practice, Pattern Recognition (4th Edition) discusses Bayesian classification, Bayesian networks, linear and nonlinear classifier design, context-dependent classification, feature generation, feature selection technology, basic concepts of learning theory and clustering concepts and algorithms. Compared with the previous edition, new algorithms related to large data sets and high-dimensional data have been added. These algorithms are suitable for applications such as Web mining and bioinformatics; new kernel methods for classifiers and robust regression are provided; classifier combination techniques, including Boosting methods. Some new hot issues have been added, such as nonlinear dimensionality reduction, non-negative matrix factorization, relevance feedback, robust regression, semi-supervised learning, spectral clustering and cluster combination techniques. Exercises and exercises are provided in each chapter. MATLAB is used to solve the problems and multiple solutions to some examples are given: and the support website provides answers to exercises to help readers increase practical experience. \"Pattern Recognition (4th Edition)\" can be used as a textbook for graduate students and senior undergraduates in automation, computer, electronics and communications in colleges and universities, and can also be used as a reference book for engineering and technical personnel in related fields such as computer information processing and automatic control. Chapter 1 Introduction 1 1.1 Importance of Pattern Recognition 1 1.2 Features, Feature Vectors, and Classifiers 3 1.3 Supervised, Unsupervised, and Semi-supervised Learning 4 1.4 MATLAB Programs 6 1.5 How This Book Is Organized 6 Chapter 2 Classifiers Based on Bayesian Decision Theory 8 2.1 Introduction 8 2.2 Bayesian Decision Theory 8 2.3 Discriminant Functions and Decision Surfaces 12 2.4 Bayesian Classification of the Normal Distribution 13 2.5 Estimation of Unknown Probability Density Functions 23 2.6 Nearest Neighbor Rule 42 2.7 Bayesian Networks 44 Exercises 49 MATLAB Programming and Exercises 55 References 60 Chapter 3 Linear Classifiers 63 3.1 Introduction 63 3.2 Linear Discriminant Functions and Decision Hyperplanes 63 3.3 Perceptron Algorithm 64 3.4 Least Squares Method 70 3.5 Review of Mean Square Estimation 75 3.6 Logical Recognition 80 3.7 Support Vector Machines 81 Exercises 97 MATLAB Programming and Exercises 99 References 100 Chapter 4 Nonlinear Classifiers 104 4.1 Introduction 104 4.2 XOR Problem 104 4.3 Two-Layer Perceptron 105 4.4 Three-Layer Perceptron 108 4.5 Algorithms for Accurate Classification Based on Training Sets 109 4.6 Back Propagation Algorithm 110 4.7 Improvements to Back Propagation Algorithm 115 4.8 Cost Function Selection 117 4.9 Selection of Neural Network Size 119 4.10 Simulation Example 123 4.11 Networks with Weight Sharing 124 4.12 Generalization of Linear Classifiers 125 4.13 Capacity of Medium-Dimensional Spaces in Linear Bisection 126 4.14 Polynomial Classifiers 127 4.15 Radial Basis Function Networks 129 4.16 Universal Approximation 131 4.17 4.1 Introduction 178 5.2 Preprocessing 178 5.3 Peaking 180 5.4 Feature Selection Based on Statistical Hypothesis Testing 182 5.5 Receiver Operating Characteristic (ROC) Curve 187 5.6 Class Separability Measures 188 5.7 Feature Subset Selection 193 5.8 Optimal Feature Generation 196 5.9 Neural Networks and Feature Generation/Selection 203 5.10 6.1 Introduction 221 6.2 Basis Vectors and Images 221 6.3 The Karhunen-Loève Transform 223 6.4 Singular Value Decomposition 229 6.5 Independent Component Analysis 234 6.6 Nonnegative Matrix Factorization 239 6.7 Nonlinear Dimensionality Reduction 240 6.8 Discrete Fourier Transform (DFT) 248 6.9 Discrete Sine and Cosine Transforms 251 6.10 Hadamard Transform 252 6.11 Haar Transform 253 6.12 Review of the Haar Expansion 254 6.13 Discrete Time Wavelet Transform (DTWT) 257 6.14 Multiresolution Interpretation 264 6.15 6.1 Introduction 282 7.2 Regional Features 282 7.3 Features of Character Shape and Size 298 7.4 Overview of Fractals 304 7.5 Typical Features for Speech and Sound Classification 309 Exercises 320 MATLAB Programming and Exercises 322 References 325 Chapter 8 Template Matching 331 8.1 Introduction 331 8.2 Measures Based on Optimal Path Search Techniques 331 8.3 Measures Based on Correlation 342 8.4 Deformable Template Models 346 8.5 Content-Based Information Retrieval: Relevance Feedback 349 Exercises 352 MATLAB Programming and Exercises 353 References 355 Chapter 9 Context-Sensitive Classification 358 9.1 Introduction 358 9.2 Bayesian Classifier 358 9.3 Markov Chain Model 358 9.4 Viterbi Algorithm 359 9.5 Channel Equalization 362 9.6 Hidden Markov Model 365 9.7 State-Persistent HMM 373 9.8 Training Markov Models with Neural Networks 378 9.9 Discussion of Markov Random Fields 379 Exercises 381 MATLAB Programming and Exercises 382 References 384 Chapter 10 Supervised Learning: Epilogue 389 10.1 Introduction 389 10.2 Error Computation Methods 389 10.3 Exploring the Size of Finite Datasets 390 10.4 Medical Image Example Study 393 10.5 Semi-Supervised Learning 395 Exercises 404 References 404 Chapter 11 Clustering: Basic Concepts 408 11.1 Introduction 408 11.2 Nearest Neighbor Measures 412 Exercises 427 References 428 Chapter 12 Clustering Algorithms I: Sequential Algorithms 430 12.1 Introduction 430 12.2 Types of Clustering Algorithms 431 12.3 Sequential Clustering Algorithms 433 12.4 Improvements to BSAS 436 12.5 Sequential Methods with Two Thresholds 437 12.6 Improvement Phases 439 12.7 Neural Network Implementation 440 Exercises 443 MATLAB Programming and Exercises 444 References 445 Chapter 13 Clustering Algorithms II: Hierarchical Algorithms 448 13.1 Introduction 448 13.2 Merging Algorithms 448 13.3 Cophenetic Matrix 465 13.4 Splitting Algorithms 466 13.5 Hierarchical Algorithms for Large Datasets 467 13.6 Choosing the Optimal Number of Clusters 472 Exercises 474 MATLAB Programming and Exercises 475 References 477 Chapter 14 Clustering Algorithms III: Function-Based Optimal Methods 480 14.1 Introduction 480 14.2 Hybrid Decomposition Methods 481 14.3 Fuzzy Clustering Algorithms 487 14.4 Probability Clustering 502 14.5 Hard Clustering Algorithms 506 14.6 Vector Quantization 513 Appendix 514 Exercises 515 MATLAB Programming and Exercises 516 References 519 Chapter 15 Clustering Algorithms IV 523 15.1 Introduction 523 15.2 Clustering Algorithms Based on Graph Theory 523 15.3 Competitive Learning Algorithms 533 15.4 Binary Pattern Clustering Algorithms 540 15.5 Boundary Detection Algorithms 546 15.6 Valley Search Clustering Algorithms 548 15.7 Clustering by Cost Optimization (Review) 550 15.8 Kernel Clustering Methods 555 15.9 Density-Based Algorithms for Large Datasets 558 15.10 Clustering Algorithms for High-Dimensional Datasets 562 15.11 Other Clustering Algorithms 572 15.12 Cluster Ensembles 573 Exercises 578 MATLAB Programming and Exercises 580 References 582 Chapter 16 Cluster Validity 591 16.1 Introduction 591 16.2 Hypothesis Testing Review 591 16.3 Hypothesis Testing in Cluster Validity 593 16.4 Relevance Criteria 600 16.5 Validity of Individual Clusters 612 16.6 Clustering Trends 613 Exercises 620 References 622 Appendix A Probability and Statistics 626 Appendix B Basics of Linear Algebra 635 Appendix C Optimization of Cost Functions 637 Appendix D Basic Definitions of Linear System Theory 649 Index 652