Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XV
Audience and style . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .XVII
Structure of the work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .XVIII
A guided tour by means of a simplistic example . . . . . . . . . . . . .XIX
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .XXVI
Part I The statistics of asset allocation
1 Univariatestatistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1 Building blocks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Summary statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 Location . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 Dispersion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.3 Higher-order statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.4 Graphical representations . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3 Taxonomy of distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3.1 Uniform distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3.2 Normal distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.3 Cauchy distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.4 Student t distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.5 Lognormal distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.6 Gamma distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.3.7 Empirical distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
2 Multivariate statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.1 Building blocks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2 Factorization of a distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.1 Marginal distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.2 Copulas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www 1.E Exercises . . . . . . . . . . .
VIII Contents
2.3 Dependence. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.4 Shape summary statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.4.1 Location . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.4.2 Dispersion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.4.3 Location-dispersion ellipsoid . . . . . . . . . . . . . . . . . . . . . . . . 54
2.4.4 Higher-order statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.5 Dependence summary statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.5.1 Measures of dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.5.2 Measures of concordance . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.5.3 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.6 Taxonomy of distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.6.1 Uniform distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.6.2 Normal distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.6.3 Student t distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2.6.4 Cauchy distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.6.5 Log-distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.6.6 Wishart distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2.6.7 Empirical distribution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.6.8 Order statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.7 Special classes of distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.7.1 Elliptical distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.7.2 Stable distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2.7.3 In…nitely divisible distributions . . . . . . . . . . . . . . . . . . . . . 98
2.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
3 Modeling the market . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.1 The quest for invariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.1.1 Equities, commodities, exchange rates. . . . . . . . . . . . . . . . 105
3.1.2 Fixed-income market . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
3.1.3 Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.2 Projection of the invariants to the investment horizon . . . . . . . . 122
3.3 From invariants to market prices . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.3.1 Raw securities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.3.2 Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
3.4 Dimension reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
3.4.1 Explicit factors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.4.2 Hidden factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
3.4.3 Explicit vs. hidden factors . . . . . . . . . . . . . . . . . . . . . . . . . . 143
3.4.4 Notable examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
3.4.5 A useful routine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
3.5 Case study: modeling the swap market . . . . . . . . . . . . . . . . . . . . . 150
3.5.1 The market invariants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.5.2 Dimension reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
3.5.3 The invariants at the investment horizon . . . . . . . . . . . . . 160
3.5.4 From invariants to prices . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E 2
Contents IX
3.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
Part II Classical asset allocation
4 Estimating the distribution of the market invariants . . . . . . . 169
4.1 Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
4.1.1 De…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
4.1.2 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4.2 Nonparametric estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.2.1 Location, dispersion and hidden factors . . . . . . . . . . . . . . 181
4.2.2 Explicit factors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
4.2.3 Kernel estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
4.3 Maximum likelihood estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
4.3.1 Location, dispersion and hidden factors . . . . . . . . . . . . . . 190
4.3.2 Explicit factors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
4.3.3 The normal case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
4.4 Shrinkage estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
4.4.1 Location . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
4.4.2 Dispersion and hidden factors . . . . . . . . . . . . . . . . . . . . . . . 204
4.4.3 Explicit factors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
4.5 Robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
4.5.1 Measures of robustness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
4.5.2 Robustness of previously introduced estimators. . . . . . . . 216
4.5.3 Robust estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
4.6 Practical tips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
4.6.1 Detection of outliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
4.6.2 Missing data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
4.6.3 Weighted estimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
4.6.4 Overlapping data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
4.6.5 Zero-mean invariants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
4.6.6 Model-implied estimation. . . . . . . . . . . . . . . . . . . . . . . . . . . 235
4.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
5 Evaluating allocations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
5.1 Investor’s objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
5.2 Stochastic dominance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
5.3 Satisfaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
5.4 Certainty-equivalent (expected utility) . . . . . . . . . . . . . . . . . . . . . 260
5.4.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
5.4.2 Building utility functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
5.4.3 Explicit dependence on allocation . . . . . . . . . . . . . . . . . . . 274
5.4.4 Sensitivity analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
5.5 Quantile (value at risk) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
5.5.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E 3
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www . . . . . . . . . . . Exercises 4.E
X Contents
5.5.2 Explicit dependence on allocation . . . . . . . . . . . . . . . . . . . 282
5.5.3 Sensitivity analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
5.6 Coherent indices (expected shortfall) . . . . . . . . . . . . . . . . . . . . . . . 287
5.6.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
5.6.2 Building coherent indices . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
5.6.3 Explicit dependence on allocation . . . . . . . . . . . . . . . . . . . 296
5.6.4 Sensitivity analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
5.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
6 Optimizing allocations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
6.1 The general approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
6.1.1 Collecting information on the investor. . . . . . . . . . . . . . . . 303
6.1.2 Collecting information on the market . . . . . . . . . . . . . . . . 305
6.1.3 Computing the optimal allocation . . . . . . . . . . . . . . . . . . . 306
6.2 Constrained optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
6.2.1 Positive orthants: linear programming. . . . . . . . . . . . . . . . 313
6.2.2 Ice-cream cones: second-order cone programming . . . . . . 313
6.2.3 Semide…nite cones: semide…nite programming . . . . . . . . . 315
6.3 The mean-variance approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
6.3.1 The geometry of allocation optimization. . . . . . . . . . . . . . 316
6.3.2 Dimension reduction: the mean-variance framework . . . . 319
6.3.3 Setting up the mean-variance optimization. . . . . . . . . . . . 320
6.3.4 Mean-variance in terms of returns . . . . . . . . . . . . . . . . . . . 323
6.4 Analytical solutions of the mean-variance problem . . . . . . . . . . . 326
6.4.1 E￠cient frontier with a￠ne constraints. . . . . . . . . . . . . . . 327
6.4.2 E￠cient frontier with linear constraints . . . . . . . . . . . . . . 330
6.4.3 E¤ects of correlations and other parameters . . . . . . . . . . 332
6.4.4 E¤ects of the market dimension . . . . . . . . . . . . . . . . . . . . . 335
6.5 Pitfalls of the mean-variance framework . . . . . . . . . . . . . . . . . . . . 336
6.5.1 MV as an approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
6.5.2 MV as an index of satisfaction . . . . . . . . . . . . . . . . . . . . . . 338
6.5.3 Quadratic programming and dual formulation. . . . . . . . . 340
6.5.4 MV on returns: estimation versus optimization . . . . . . . . 342
6.5.5 MV on returns: investment at di¤erent horizons . . . . . . . 343
6.6 Total-return versus benchmark allocation . . . . . . . . . . . . . . . . . . . 347
6.7 Case study: allocation in stocks . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
6.7.1 Collecting information on the investor. . . . . . . . . . . . . . . . 355
6.7.2 Collecting information on the market . . . . . . . . . . . . . . . . 355
6.7.3 Computing the optimal allocation . . . . . . . . . . . . . . . . . . . 357
6.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E 6
5
Contents XI
7 Estimating the distribution of the market invariants . . . . . . . 363
7.1 Bayesian estimation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
7.1.1 Bayesian posterior distribution . . . . . . . . . . . . . . . . . . . . . . 364
7.1.2 Summarizing the posterior distribution . . . . . . . . . . . . . . . 366
7.1.3 Computing the posterior distribution . . . . . . . . . . . . . . . . 369
7.2 Location and dispersion parameters . . . . . . . . . . . . . . . . . . . . . . . . 370
7.2.1 Computing the posterior distribution . . . . . . . . . . . . . . . . 370
7.2.2 Summarizing the posterior distribution . . . . . . . . . . . . . . . 373
7.3 Explicit factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
7.3.1 Computing the posterior distribution . . . . . . . . . . . . . . . . 377
7.3.2 Summarizing the posterior distribution . . . . . . . . . . . . . . . 380
7.4 Determining the prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
7.4.1 Allocation-implied parameters . . . . . . . . . . . . . . . . . . . . . . 385
7.4.2 Likelihood maximization . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
7.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
8 Evaluating allocations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
8.1 Allocations as decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
8.1.1 Opportunity cost of a sub-optimal allocation . . . . . . . . . . 390
8.1.2 Opportunity cost as function of the market parameters . 394
8.1.3 Opportunity cost as loss of an estimator . . . . . . . . . . . . . . 397
8.1.4 Evaluation of a generic allocation decision . . . . . . . . . . . . 401
8.2 Prior allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
8.2.1 De…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
8.2.2 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
8.2.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
8.3 Sample-based allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
8.3.1 De…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
8.3.2 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
8.3.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
8.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
9 Optimizing allocations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
9.1 Bayesian allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
9.1.1 Utility maximization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
9.1.2 Classical-equivalent maximization . . . . . . . . . . . . . . . . . . . 421
9.1.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
9.1.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
9.2 Black-Litterman allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
9.2.1 General de…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
9.2.2 Practicable de…nition: linear expertise on normal
markets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
9.2.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
9.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
Part III Accounting for estimation risk
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E 8
7
XII Contents
9.3.1 Practicable de…nition: the mean-variance setting . . . . . . 438
9.3.2 General de…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
9.3.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
9.3.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
9.4 Robust allocation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
9.4.1 General de…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
9.4.2 Practicable de…nition: the mean-variance setting . . . . . . 450
9.4.3
9.5 Robust Bayesian allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
9.5.1 General de…nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
9.5.2 Practicable de…nition: the mean-variance setting . . . . . . 457
9.5.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
9.T Technical appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www
Part IV Appendices
A Linearalgebra. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
A.1 Vector space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
A.2 Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
A.3 Linear transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
A.3.1 Matrix representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
A.3.2 Rotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
A.4 Invariants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
A.4.1 Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
A.4.2 Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
A.4.3 Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
A.5 Spectral theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
A.5.1 Analytical result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
A.5.2 Geometrical interpretation. . . . . . . . . . . . . . . . . . . . . . . . . . 478
A.6 Matrix operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
A.6.1 Useful identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
A.6.2 Tensors and Kronecker product . . . . . . . . . . . . . . . . . . . . . 482
A.6.3 The "vec" and "vech" operators . . . . . . . . . . . . . . . . . . . . . 483
A.6.4 Matrix calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485
B Functional Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
B.1 Vector space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
B.2 Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
B.3 Linear operators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
B.3.1 Kernel representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
B.3.2 Unitary operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
B.4 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496
B.5 Expectation operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
B.6 Some special functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
9.3 Resampled allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .www Exercises . . . . . . . . . . . .E 9
Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453


References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505
List of …gures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515
Notation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525