Machine Vision Algorithms and Applications 2nd Edition

This book is a bestseller in the field of machine vision. It has been very popular since the first edition was published. It is the first textbook on machine vision software. It introduces various machine vision algorithms in detail and the practical applications of these algorithms. The second edition has been fully updated, revised and expanded to reflect the developments in image acquisition, machine vision algorithms and applications over the years. The new content includes new cameras and image acquisition interfaces, 3D sensors and technologies, 3D reconstruction, 3D object recognition and the most advanced classification algorithms. All examples in the book are based on the latest version of MVTec\'s machine vision software HALCON 13. Abbreviations I Preface to the Second Edition III Preface to the First Edition VII 1 Introduction 1 2 Image Acquisition 6 2.1 Illumination 6 2.1.1 Electromagnetic Radiation 6 2.1.2 Types of Light Sources 9 2.1.3 Interaction of Light and Matter 12 2.1.4 Using the Spectral Composition of the Illumination 14 2.1.5 Using the Directional Properties of the Illumination 18 2.2 Lenses 25 2.2.1 Pinhole Cameras 26 2.2.2 Gaussian Optics 27 2.2.3 Depth of Field 37 2.2.4 Telecentric Lenses 42 2.2.5 Tilt Lenses and the Scheimpflug Principle 48 2.2.6 Lens Aberrations 53 2.3 Cameras 61 2.3.1 CCD Sensors 62 2.3.2 CMOS Sensors 69 2.3.3 Color Cameras 72 2.3.4 Sensor Sizes 75 2.3.5 Camera Performance 77 2.4 Camera–Computer Interfaces 84 2.4.1 Analog Video Signals 85 2.4.2 Digital Video Signals 92 2.4.3 Generic Interfaces 116 2.4.4 Image Acquisition Modes 131 2.5 3D Image Acquisition Devices 134 Contents 2.5.1 Stereo Sensors 135 2.5.2 Sheet of Light 3.1 Fundamental Data Structures 157 3.1.1 Images 158 3.1.2 Regions 160 3.1.3 Subpixel-Precise Contours 164 3.2 Image Enhancement 165 3.2.1 Gray Value Transformations 165 3.2.2 Radiometric Calibration 170 3.2.3 Image Smoothing 181 3.2.4 Fourier Transform 198 3.3 Geometric Transformations 205 3.3.1 Affine Transformations 206 3.3.2 Image Transformations 209 3.3.3 Projective Image Transformations 216 3.3.4 Polar Transformations 218 3.4 Image Segmentation 220 3.4.1 Thresholding 220 3.4.2 Extraction of Connected Components 233 3.4.3 Subpixel-Precise Thresholding 237 3.5 Feature Extraction 240 3.5.1 Region Features 241 3.5.2 Gray Value Features 248 3.5.3 Contour Features 254 3.6 Morphology 256 3.6.1 Region Morphology 257 3.6.2 Gray Value Morphology 282 3.7 Edge Extraction 288 3.7.1 Definition of Edges 289 3.7.2 1D Edge Extraction 295 3.7.3 2D Edge Extraction 305 3.7.4 Accuracy and Precision of Edges 317 Contents 3.8 Segmentation and Fitting of Geometric Primitives 328 3.8.1 Fitting Lines 329 3.8.2 Fitting Circles 336 3.8.3 Fitting Ellipses 338 3.8.4 Segmentation of Contours 341 3.9 Camera Calibration 347 3.9.1 Camera Models for Area Scan Cameras with Regular Lenses 349 3.9.2 Camera Models for Area Scan Cameras with Tilt Lenses Camera model composed of tilted lenses and area array cameras.357 3.9.3 Camera Model for Line Scan Cameras Camera model for line scan cameras 363 3.9.4 Calibration Process Calibration process.370 3.9.5 World Coordinates from Single Images 380 3.9.6 Accuracy of the Camera Parameters 386 3.10 3D Reconstruction 390 3.10.1 Stereo Reconstruction 390 3.10.2 Sheet of Light Reconstruction 412 3.10.3 Structured Light Reconstruction 416 3.11 Template Matching 424 3.11.1 Gray-Value-Based Template Matching 426 3.11.2 Matching Using Image Pyramids 434 3.11.3 Subpixel-Accurate Gray-Value-Based Matching 441 3.11.4 Template Matching with Rotations and 3.11.5 Robust Template Matching 443 3.12 3D Object Recognition 476 3.12.1 Deformable Matching 478 3.12.2 Shape-Based 3D Matching 493 3.12.3 Surface-Based 3D Matching 510 3.13 Hand–Eye Calibration 526 3.13.1 Introduction 527 3.13.2 Problem Definition 529 3.13.3 Dual Quaternions and Screw Theory 533 3.13.4 Linear Hand–Eye Calibration 540 3.13.5 Nonlinear Hand–Eye 3.13.6 Hand–Eye Calibration of SCARA Robots 3.14 Optical Character Recognition (OCR) 3.14.1 Character Segmentation 3.14.2 Feature Extraction 3.15 Classification 3.15.1 Decision Theory 3.15.2 Classifiers Based on Estimating Class Probabilities 3.15.3 Classifiers Based on Constructing Separating Hypersurfaces 3.15.4 Example of Using Classifiers for OCR 4 Machine Vision Applications 4.1 Wafer 4.1.2 Determining the Position of the Dies 612 4.1.3 exercises 616 4.2 Reading of Serial Numbers 617 4.2.1 Rectifying the Image Using a Polar Transformation 618 4.2.2 Segmenting the Characters 622 4.2.3 Reading the Characters 624 4.2.4 exercises 625 4.3 Inspection of Saw Blades 626 4.3.1 Extracting the Saw Blade Contour 627 4.3.2 Extracting the Teeth of the Saw Blade 628 4.3.3 Measuring the Angles of 4.4.3 Performing the Print Inspection 636 4.4.4 exercises 637 4.5 Inspection of Ball Grid Arrays 638 4.5.1 Finding Balls with Shape Defects 639 4.5.2 Constructing a Geometric Model of a Correct BGA 640 4.5.3 Finding Missing and Extraneous Balls 641 4.5.4 Finding Displaced Balls 643 Contents XV 4.5.5 exercises 649 4.6 Surface Inspection 649 4.6.1 Segmenting the Doorknob 651 4.6.2 Finding the Surface to Inspect 652 4.6.3 Detecting Defects 657 4.6.4 exercises 660 4.7 Measurement of Spark Plugs 660 4.7.1 Calibrating the Camera 662 4.7.2 Determining the Position of the Spark Plug 664 4.7.3 Performing the Measurement.666 4.7.4 Exercises.669 4.8 Molding Flash Detection.669 4.8.1 Molding Flash Detection Using Region Morphology.671 4.8.2 Molding Flash Detection with Subpixel-Precise Contours.675 4.8.3 Exercises.679 4.9 Inspection of Punched Sheets.679 4.9.1 Extracting the Boundaries of the Punched Sheets.681 4.9.2 Performing the Inspection.683 4.9.3 Exercises.685 4.10 3D Plane Reconstruction with Stereo.685 4.10.1 Calibrating the Stereo 4.11.1 Creating Models of the Resistors 4.11.2 Verifying the Pose and Type of the Resistors 4.11.3 exercises 4.12 Classification of Non-Woven Fabrics 4.12.1 Training the Classifier 4.12.2 Performing the Texture Classification 4.12.3 exercises 4.13 Surface Comparison 4.13.1 Creating the Reference Model 4.13.2 Performing the Texture Classification 4.13.3 exercises 4.14 Surface Comparison 4.14.1 Creating the Reference Model 4.14.3 exercises 4.15 4.13.2 Reconstructing and Aligning Objects 714 Contents 4.13.3 Comparing Objects and Classifying Errors 715 4.13.4 exercises 722 4.14 3D Pick-and-Place 722 4.14.1 Performing the Hand–Eye Calibration 723 4.14.2 Defining the Grasping Point 728 4.14.3 Picking and Placing Objects 731 4.14.4 exercises 733 References 735 Index 751