Contents
Preface VII
List of Abbreviations and Symbols XVII
List of Figures XIX
Part I Statistical Background for Nonparametric Statistics and
Functional Data
1 Introduction to Functional Nonparametric Statistics . . . . . . . 5
1.1 What is a Functional Variable?. . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 What are Functional Datasets? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 What are Nonparametric Statistics for Functional Data . . . . . . 7
1.4 Some Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Scope of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2 Some Functional Datasets and Associated Statistical
Problematics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1 Functional Chemometric Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1 Description of Spectrometric Data . . . . . . . . . . . . . . . . . . . 12
2.1.2 First Study and Statistical Problems . . . . . . . . . . . . . . . . . 13
2.2 Speech Recognition Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 What are Speech Recognition Data? . . . . . . . . . . . . . . . . . 15
2.2.2 First Study and Problematics . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Electricity Consumption Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 The Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.2 The Forecasting Problematic. . . . . . . . . . . . . . . . . . . . . . . . 18
3 What is a Well-Adapted Space for Functional Data? . . . . . . . 21
3.1 Closeness Notions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2 Semi-Metrics as Explanatory Tool . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3 What about the Curse of Dimensionality? . . . . . . . . . . . . . . . . . . 25
3.4 Semi-Metrics in Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4.1 Functional PCA: a Tool to Build Semi-Metrics . . . . . . . . 28
3.4.2 PLS: a New Way to Build Semi-Metrics . . . . . . . . . . . . . . 30
3.4.3 Semi-metrics Based on Derivatives . . . . . . . . . . . . . . . . . . . 32
3.5 R and S+ Implementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.6 What About Unbalanced Functional Data? . . . . . . . . . . . . . . . . . 33
3.7 Semi-Metric Space: a Well-Adapted Framework . . . . . . . . . . . . . 35
4 Local Weighting of Functional Variables . . . . . . . . . . . . . . . . . . . 37
4.1 Why Use Kernel Methods for Functional Data? . . . . . . . . . . . . . 37
4.1.1 Real Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.1.2 Multivariate Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.1.3 Functional Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 Local Weighting and Small Ball Probabilities . . . . . . . . . . . . . . . 42
4.3 A Few Basic Theoretical Advances . . . . . . . . . . . . . . . . . . . . . . . . . 43
Part II Nonparametric Prediction from Functional Data
5 Functional Nonparametric Prediction Methodologies . . . . . . 49
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.2 Various Approaches to the Prediction Problem . . . . . . . . . . . . . . 50
5.3 Functional Nonparametric Modelling for Prediction . . . . . . . . . . 52
5.4 Kernel Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
6 Some Selected Asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.2 Almost Complete Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.2.1 Regression Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.2.2 Conditional Median Estimation . . . . . . . . . . . . . . . . . . . . . 66
6.2.3 Conditional Mode Estimation . . . . . . . . . . . . . . . . . . . . . . . 70
6.2.4 Conditional Quantile Estimation . . . . . . . . . . . . . . . . . . . . 76
6.2.5 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.3 Rates of Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.3.1 Regression Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.3.2 Conditional Median Estimation . . . . . . . . . . . . . . . . . . . . . 80
6.3.3 Conditional Mode Estimation . . . . . . . . . . . . . . . . . . . . . . . 87
6.3.4 Conditional Quantile Estimation . . . . . . . . . . . . . . . . . . . . 90
6.3.5 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
6.4 Discussion, Bibliography and Open Problems . . . . . . . . . . . . . . . 93
6.4.1 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.4.2 Going Back to Finite Dimensional Setting . . . . . . . . . . . . 94
6.4.3 Some Tracks for the Future . . . . . . . . . . . . . . . . . . . . . . . . . 95

7 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.1 Computing Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.1.1 Prediction via Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.1.2 Prediction via Functional Conditional Quantiles . . . . . . . 103
7.1.3 Prediction via Functional Conditional Mode . . . . . . . . . . 104
7.2 Predicting Fat Content From Spectrometric Curves . . . . . . . . . . 105
7.2.1 Chemometric Data and the Aim of the Problem . . . . . . . 105
7.2.2 Functional Prediction in Action . . . . . . . . . . . . . . . . . . . . . 106
7.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
Part III Nonparametric Classification of Functional Data
8 Functional Nonparametric Supervised Classification . . . . . . . 113
8.1 Introduction and Problematic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
8.2 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
8.3 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
8.3.1 kNN Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
8.3.2 Automatic Selection of the kNN Parameter . . . . . . . . . . . 117
8.3.3 Implementation: R/S+ Routines . . . . . . . . . . . . . . . . . . . . 118
8.4 Functional Nonparametric Discrimination in Action. . . . . . . . . . 119
8.4.1 Speech Recognition Problem . . . . . . . . . . . . . . . . . . . . . . . . 119
8.4.2 Chemometric Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
8.5 Asymptotic Advances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
8.6 Additional Bibliography and Comments . . . . . . . . . . . . . . . . . . . . 123
9 Functional Nonparametric Unsupervised Classification . . . . . 125
9.1 Introduction and Problematic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
9.2 Centrality Notions for Functional Variables . . . . . . . . . . . . . . . . . 127
9.2.1 Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
9.2.2 Median . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
9.2.3 Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
9.3 Measuring Heterogeneity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
9.4 A General Descending Hierarchical Method . . . . . . . . . . . . . . . . . 131
9.4.1 How to Build a Partitioning Heterogeneity Index? . . . . . 132
9.4.2 How to Build a Partition? . . . . . . . . . . . . . . . . . . . . . . . . . . 132
9.4.3 Classification Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
9.4.4 Implementation: R/S+ Routines . . . . . . . . . . . . . . . . . . . . 135
9.5 Nonparametric Unsupervised Classification in Action . . . . . . . . 135
9.6 Theoretical Advances on the Functional Mode. . . . . . . . . . . . . . . 137
9.6.1 Hypotheses on the Distribution . . . . . . . . . . . . . . . . . . . . . 138
9.7 The Kernel Functional Mode Estimator . . . . . . . . . . . . . . . . . . . . 140
9.7.1 Construction of the Estimates. . . . . . . . . . . . . . . . . . . . . . . 140
9.7.2 Density Pseudo-Estimator: a.co. Convergence . . . . . . . . . 141
9.7.3 Mode Estimator: a.co. Convergence . . . . . . . . . . . . . . . . . . 144

9.7.4 Comments and Bibliography . . . . . . . . . . . . . . . . . . . . . . . . 145
9.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Part IV Nonparametric Methods for Dependent Functional Data
10 Mixing, Nonparametric and Functional Statistics . . . . . . . . . . 153
10.1 Mixing: a Short Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
10.2 The Finite-Dimensional Setting: a Short Overview . . . . . . . . . . . 154
10.3 Mixing in Functional Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
10.4 Mixing and Nonparametric Functional Statistics . . . . . . . . . . . . . 156
11 Some Selected Asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
11.2 Prediction with Kernel Regression Estimator . . . . . . . . . . . . . . . . 160
11.2.1 Introduction and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . 160
11.2.2 Complete Convergence Properties . . . . . . . . . . . . . . . . . . . 161
11.2.3 An Application to the Geometrically Mixing Case . . . . . 163
11.2.4 An Application to the Arithmetically Mixing Case . . . . . 166
11.3 Prediction with Functional Conditional Quantiles . . . . . . . . . . . . 167
11.3.1 Introduction and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11.3.2 Complete Convergence Properties . . . . . . . . . . . . . . . . . . . 168
11.3.3 Application to the Geometrically Mixing Case . . . . . . . . 171
11.3.4 Application to the Arithmetically Mixing Case . . . . . . . . 175
11.4 Prediction with Conditional Mode . . . . . . . . . . . . . . . . . . . . . . . . . 177
11.4.1 Introduction and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . 177
11.4.2 Complete Convergence Properties . . . . . . . . . . . . . . . . . . . 178
11.4.3 Application to the Geometrically Mixing Case . . . . . . . . 183
11.4.4 Application to the Arithmetically Mixing Case . . . . . . . . 184
11.5 Complements on Conditional Distribution Estimation . . . . . . . . 185
11.5.1 Convergence Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
11.5.2 Rates of Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
11.6 Nonparametric Discrimination of Dependent Curves . . . . . . . . . 189
11.6.1 Introduction and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . 189
11.6.2 Complete Convergence Properties . . . . . . . . . . . . . . . . . . . 190
11.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
11.7.1 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
11.7.2 Back to Finite Dimensional Setting . . . . . . . . . . . . . . . . . . 192
11.7.3 Some Open Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
12 Application to Continuous Time Processes Prediction . . . . . 195
12.1 Time Series and Nonparametric Statistics . . . . . . . . . . . . . . . . . . 195
12.2 Functional Approach to Time Series Prediction. . . . . . . . . . . . . . 197
12.3 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
12.4 Forecasting Electricity Consumption . . . . . . . . . . . . . . . . . . . . . . . 198

12.4.1 Presentation of the Study . . . . . . . . . . . . . . . . . . . . . . . . . . 198
12.4.2 The Forecasted Electrical Consumption . . . . . . . . . . . . . . 200
12.4.3 Conclusions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
Part V Conclusions
13 Small Ball Probabilities and Semi-metrics . . . . . . . . . . . . . . . . . 205
13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
13.2 The Role of Small Ball Probabilities . . . . . . . . . . . . . . . . . . . . . . . 206
13.3 Some Special Infinite Dimensional Processes . . . . . . . . . . . . . . . . 207
13.3.1 Fractal-type Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
13.3.2 Exponential-type Processes . . . . . . . . . . . . . . . . . . . . . . . . . 209
13.3.3 Links with Semi-metric Choice . . . . . . . . . . . . . . . . . . . . . . 212
13.4 Back to the One-dimensional Setting . . . . . . . . . . . . . . . . . . . . . . . 214
13.5 Back to the Multi- (but Finite) -Dimensional Setting. . . . . . . . . 219
13.6 The Semi-metric: a Crucial Parameter . . . . . . . . . . . . . . . . . . . . . 223
14 Some Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Appendix: Some Probabilistic Tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
A.1 Almost Complete Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
A.2 Exponential Inequalities for Independent r.r.v. . . . . . . . . . . . . . . 233
A.3 Inequalities for Mixing r.r.v. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255