Contents
Introduction:Why Bayesian Nonparametrics—An Overview and Summary
1
1 Preliminaries and the Finite Dimensional Case 9
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Metric Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1 preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Weak Convergence . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Posterior Distribution and Consistency . . . . . . . . . . . . . . . . . 15
1.3.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.2 Posterior Consistency and Posterior Robustness . . . . . . . . 18
1.3.3 Doob’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.4 Wald-Type Conditions . . . . . . . . . . . . . . . . . . . . . . 24
1.4 Asymptotic Normality of MLE and
Bernstein–von Mises Theorem . . . . . . . . . . . . . . . . . . . . . . 33
1.5 Ibragimov and Hasminski˘ı Conditions . . . . . . . . . . . . . . . . . 41
1.6 Nonsubjective Priors . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.6.1 Fully Specified . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.6.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.7 Conjugate and Hierarchical Priors . . . . . . . . . . . . . . . . . . . . 52
x Contents
1.8 Exchangeability, De Finetti’s Theorem,
Exponential Families . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2 M(X) and Priors on M(X) 57
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.2 The Space M(X) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.3 (Prior) Probability Measures on M(X) . . . . . . . . . . . . . . . . . 62
2.3.1 X Finite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.3.2 X = R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.3.3 Tail Free Priors . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.4 Tail Free Priors and 0-1 Laws . . . . . . . . . . . . . . . . . . . . . . 75
2.5 Space of Probability Measures on M(R) . . . . . . . . . . . . . . . . 78
2.6 De Finetti’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3 Dirichlet and Polya tree process 87
3.1 Dirichlet and Polya tree process . . . . . . . . . . . . . . . . . . . . . 87
3.1.1 Finite Dimensional Dirichlet Distribution . . . . . . . . . . . 87
3.1.2 Dirichlet Distribution via Polya Urn Scheme . . . . . . . . . . 94
3.2 Dirichlet Process on M(R) . . . . . . . . . . . . . . . . . . . . . . . 96
3.2.1 Construction and Properties . . . . . . . . . . . . . . . . . . . 96
3.2.2 The Sethuraman Construction . . . . . . . . . . . . . . . . . . 103
3.2.3 Support of Dα . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.2.4 Convergence Properties of Dα . . . . . . . . . . . . . . . . . . 105
3.2.5 Elicitation and Some Applications . . . . . . . . . . . . . . . . 107
3.2.6 Mutual Singularity of Dirichlet Priors . . . . . . . . . . . . . . 110
3.2.7 Mixtures of Dirichlet Process . . . . . . . . . . . . . . . . . . 113
3.3 Polya Tree Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.3.1 The Finite Case . . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.3.2 X = R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4 Consistency Theorems 121
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
4.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.3 Finite and Tail free case . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.4 Posterior Consistency on Densities . . . . . . . . . . . . . . . . . . . 126
4.4.1 Schwartz Theorem . . . . . . . . . . . . . . . . . . . . . . . . 126
4.4.2 L1-Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Contents xi
4.5 Consistency via LeCam’s inequality . . . . . . . . . . . . . . . . . . . 137
5 Density Estimation 141
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
5.2 Polya Tree Priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.3 Mixtures of Kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5.4 Hierarchical Mixtures . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.5 RandomHistograms . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.5.1 Weak Consistency . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.5.2 L1-Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.6 Mixtures of Normal Kernel . . . . . . . . . . . . . . . . . . . . . . . . 161
5.6.1 DirichletMixtures:Weak Consistency . . . . . . . . . . . . . . 161
5.6.2 Dirichlet Mixtures: L1-Consistency . . . . . . . . . . . . . . . 169
5.6.3 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
5.7 Gaussian Process Priors . . . . . . . . . . . . . . . . . . . . . . . . . 174
6 Inference for Location Parameter 181
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6.2 The Diaconis-Freedman Example . . . . . . . . . . . . . . . . . . . . 182
6.3 Consistency of the Posterior . . . . . . . . . . . . . . . . . . . . . . . 185
6.4 Polya Tree Priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7 Regression Problems 197
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.2 Schwartz Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
7.3 Exponentially Consistent Tests . . . . . . . . . . . . . . . . . . . . . 201
7.4 Prior Positivity of Neighborhoods . . . . . . . . . . . . . . . . . . . . 206
7.5 Polya Tree Priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
7.6 Dirichlet Mixture of Normals . . . . . . . . . . . . . . . . . . . . . . . 209
7.7 Binary Response Regression with Unknown Link . . . . . . . . . . . . 212
7.8 Stochastic Regressor . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
7.9 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
8 Uniform Distribution on Infinite-Dimensional Spaces 221
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
8.2 Towards a Uniform Distribution . . . . . . . . . . . . . . . . . . . . . 222
8.2.1 The Jeffreys Prior . . . . . . . . . . . . . . . . . . . . . . . . . 222
8.2.2 Uniform Distribution via Sieves and Packing Numbers . . . . 223
xii Contents
8.3 Technical Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . 224
8.4 The Jeffreys Prior Revisited . . . . . . . . . . . . . . . . . . . . . . . 225
8.5 Posterior Consistency for Noninformative Priors for
Infinite-Dimensional Problems . . . . . . . . . . . . . . . . . . . . . . 229
8.6 Convergence of Posterior at Optimal Rate . . . . . . . . . . . . . . . 231
9 Survival Analysis—Dirichlet Priors 237
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
9.2 Dirichlet Prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
9.3 Cumulative Hazard Function, Identifiability . . . . . . . . . . . . . . 242
9.4 Priors via Distributions of (Z, δ) . . . . . . . . . . . . . . . . . . . . . 247
9.5 Interval Censored Data . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10 Neutral to the Right Priors 253
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
10.2 Neutral to the Right Priors . . . . . . . . . . . . . . . . . . . . . . . 254
10.3 Independent Increment Processes . . . . . . . . . . . . . . . . . . . . 258
10.4 Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
10.5 Beta Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.5.1 Definition and Construction . . . . . . . . . . . . . . . . . . . 265
10.5.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
10.6 Posterior Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
11 Exercises 281
References 285
Index 300