Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
1 Variability, Information, and Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.0.1 The Curse of Dimensionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.0.2 The Two Extremes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1 Perspectives on the Curse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Sparsity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.2 Exploding Numbers of Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.3 Multicollinearity and Concurvity . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.4 The Effect of Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Coping with the Curse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 Selecting Design Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.2 Local Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.3 Parsimony . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3 Two Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.1 The Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.2 Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.4 Optimization and Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.4.1 Univariate Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.4.2 Multivariate Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.4.3 General Searches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.4.4 Constraint Satisfaction and Combinatorial Search . . . . . . . . . . . 35
1.5 Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.5.1 Hammersley Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.5.2 Edgeworth Expansions for the Mean . . . . . . . . . . . . . . . . . . . . . . 39
1.5.3 Bootstrap Asymptotics for the Studentized Mean . . . . . . . . . . . . 41
1.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2 Local Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.1 Early Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.2 Transition to Classical Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.2.1 Global Versus Local Approximations . . . . . . . . . . . . . . . . . . . . . 60
2.2.2 LOESS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.3 Kernel Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.3.1 Statistical Function Approximation . . . . . . . . . . . . . . . . . . . . . . . 68
2.3.2 The Concept of Kernel Methods and the Discrete Case . . . . . . . 73
2.3.3 Kernels and Stochastic Designs: Density Estimation . . . . . . . . . 78
2.3.4 Stochastic Designs: Asymptotics for Kernel Smoothers . . . . . . 81
2.3.5 Convergence Theorems and Rates for Kernel Smoothers . . . . . 86
2.3.6 Kernel and Bandwidth Selection . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.3.7 Linear Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
2.4 Nearest Neighbors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2.5 Applications of Kernel Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
2.5.1 A Simulated Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
2.5.2 Ethanol Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
2.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
3 Spline Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
3.1 Interpolating Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
3.2 Natural Cubic Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.3 Smoothing Splines for Regression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.3.1 Model Selection for Spline Smoothing . . . . . . . . . . . . . . . . . . . . 129
3.3.2 Spline SmoothingMeets Kernel Smoothing . . . . . . . . . . . . . . . . 130
3.4 Asymptotic Bias, Variance, and MISE for Spline Smoothers . . . . . . . . . 131
3.4.1 Ethanol Data Example – Continued . . . . . . . . . . . . . . . . . . . . . . . 133
3.5 Splines Redux: Hilbert Space Formulation . . . . . . . . . . . . . . . . . . . . . . . . 136
3.5.1 Reproducing Kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
3.5.2 Constructing an RKHS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
3.5.3 Direct Sum Construction for Splines . . . . . . . . . . . . . . . . . . . . . . 146。。。。。。