CONTENTS
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1. Basic Denitions . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2. Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3. Complex Random Variables . . . . . . . . . . . . . . . . . . . . 17
1.4. Multivariate Time Series . . . . . . . . . . . . . . . . . . . . . . 18
2. Hilbert Spaces and Prediction . . . . . . . . . . . . . . . . . . . . . 19
2.1. Hilbert Spaces and Projections . . . . . . . . . . . . . . . . . . . 19
2.2. Square-integrable Random Variables . . . . . . . . . . . . . . . . . 23
2.3. Linear Prediction . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4. Nonlinear Prediction . . . . . . . . . . . . . . . . . . . . . . . 28
2.5. Partial Auto-Correlation . . . . . . . . . . . . . . . . . . . . . . 29
3. Stochastic Convergence . . . . . . . . . . . . . . . . . . . . . . . . 31
3.1. Basic theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2. Convergence of Moments . . . . . . . . . . . . . . . . . . . . . . 35
3.3. Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.4. Stochastic o and O symbols . . . . . . . . . . . . . . . . . . . . 37
3.5. Transforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.6. Cramer-Wold Device . . . . . . . . . . . . . . . . . . . . . . . 39
3.7. Delta-method . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.8. Lindeberg Central Limit Theorem . . . . . . . . . . . . . . . . . . 41
3.9. Minimum Contrast Estimators . . . . . . . . . . . . . . . . . . . 41
4. Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . 44
4.1. Finite Dependence . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2. Linear Processes . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3. Strong Mixing . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4. Uniform Mixing . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.5. Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . 54
4.6. Martingale Dierences . . . . . . . . . . . . . . . . . . . . . . . 62
4.7. Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5. Nonparametric Estimation of Mean and Covariance . . . . . . . . . . . . 67
5.1. Sample Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.2. Sample Auto Covariances . . . . . . . . . . . . . . . . . . . . . 72
5.3. Sample Auto Correlations . . . . . . . . . . . . . . . . . . . . . 75
5.4. Sample Partial Auto Correlations . . . . . . . . . . . . . . . . . . 79
6. Spectral Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.1. Spectral Measures . . . . . . . . . . . . . . . . . . . . . . . . . 82
6.2. Nonsummable lters . . . . . . . . . . . . . . . . . . . . . . . . 89
6.3. Spectral Decomposition . . . . . . . . . . . . . . . . . . . . . . 90
6.4. Multivariate Spectra . . . . . . . . . . . . . . . . . . . . . . . 96
7. ARIMA Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
7.1. Backshift Calculus . . . . . . . . . . . . . . . . . . . . . . . . 98
7.2. ARMA Processes . . . . . . . . . . . . . . . . . . . . . . . . 100
7.3. Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7.4. Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
7.5. Auto Correlation and Spectrum . . . . . . . . . . . . . . . . . . 107
7.6. Existence of Causal and Invertible Solutions . . . . . . . . . . . . 110
7.7. Stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.8. ARIMA Processes . . . . . . . . . . . . . . . . . . . . . . . . 112
7.9. VARMA Processes . . . . . . . . . . . . . . . . . . . . . . . 114
8. GARCH Processes . . . . . . . . . . . . . . . . . . . . . . . . . 116
8.1. Linear GARCH . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.2. Linear GARCH with Leverage and Power GARCH . . . . . . . . . 129
8.3. Exponential GARCH . . . . . . . . . . . . . . . . . . . . . . 129
8.4. GARCH in Mean . . . . . . . . . . . . . . . . . . . . . . . . 130
9. State Space Models . . . . . . . . . . . . . . . . . . . . . . . . . 132
9.1. Kalman Filtering . . . . . . . . . . . . . . . . . . . . . . . . 136
9.2. Future States and Outputs . . . . . . . . . . . . . . . . . . . . 138
9.3. Nonlinear Filtering . . . . . . . . . . . . . . . . . . . . . . . 141
9.4. Stochastic Volatility Models . . . . . . . . . . . . . . . . . . . 143
10. Moment and Least Squares Estimators . . . . . . . . . . . . . . . . 149
10.1. Yule-Walker Estimators . . . . . . . . . . . . . . . . . . . . . 149
10.2. Moment Estimators . . . . . . . . . . . . . . . . . . . . . . . 157
10.3. Least Squares Estimators . . . . . . . . . . . . . . . . . . . . 167
11. Spectral Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 172
11.1. Finite Fourier Transform . . . . . . . . . . . . . . . . . . . . . 173
11.2. Periodogram . . . . . . . . . . . . . . . . . . . . . . . . . . 174
11.3. Estimating a Spectral Density . . . . . . . . . . . . . . . . . . 179
11.4. Estimating a Spectral Distribution . . . . . . . . . . . . . . . . 184
12. Maximum Likelihood . . . . . . . . . . . . . . . . . . . . . . . . 189
12.1. General Likelihood . . . . . . . . . . . . . . . . . . . . . . . 190
12.2. Misspecication . . . . . . . . . . . . . . . . . . . . . . . . . 195
12.3. Gaussian Likelihood . . . . . . . . . . . . . . . . . . . . . . . 197
12.4. Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . 205