1. Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1 Stochastic Analogs of Classical Di?erential Equations . . . . . . . 1
1.2 Filtering Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Stochastic Approach to Deterministic Boundary Value Prob-
lems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Optimal Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Stochastic Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.6 Mathematical Finance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2. Some Mathematical Preliminaries : : : : : : : : : : : : : : : : : : : : : : : : 7
2.1 Probability Spaces, Random Variables and Stochastic Processes 7
2.2 An Important Example: Brownian Motion . . . . . . . . . . . . . . . . . 11
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3. It^o Integrals : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21
3.1 Construction of the It^o Integral . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Some properties of the It^o integral . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3 Extensions of the It^o integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4. The It^o Formula and the Martingale Representation Theo-
rem: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 43
4.1 The 1-dimensional It^o formula . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 The Multi-dimensional It^o Formula . . . . . . . . . . . . . . . . . . . . . . . 48
4.3 The Martingale Representation Theorem . . . . . . . . . . . . . . . . . . 49
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5. Stochastic Di?erential Equations : : : : : : : : : : : : : : : : : : : : : : : : : 61
5.1 Examples and Some Solution Methods . . . . . . . . . . . . . . . . . . . . 61
5.2 An Existence and Uniqueness Result . . . . . . . . . . . . . . . . . . . . . . 66
5.3 Weak and Strong Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

6. The Filtering Problem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 81
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.2 The 1-Dimensional Linear Filtering Problem . . . . . . . . . . . . . . . 83
6.3 The Multidimensional Linear Filtering Problem . . . . . . . . . . . . 102
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
7. Di®usions: Basic Properties : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 109
7.1 The Markov Property . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2 The Strong Markov Property . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.3 The Generator of an It^o Di®usion . . . . . . . . . . . . . . . . . . . . . . . . 117
7.4 The Dynkin Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.5 The Characteristic Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
8. Other Topics in Di®usion Theory : : : : : : : : : : : : : : : : : : : : : : : : : 133
8.1 Kolmogorov's Backward Equation. The Resolvent . . . . . . . . . . 133
8.2 The Feynman-Kac Formula. Killing . . . . . . . . . . . . . . . . . . . . . . . 137
8.3 The Martingale Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8.4 When is an It^o Process a Di®usion? . . . . . . . . . . . . . . . . . . . . . . . 142
8.5 Random Time Change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.6 The Girsanov Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
9. Applications to Boundary Value Problems : : : : : : : : : : : : : : : : 167
9.1 The Combined Dirichlet-Poisson Problem. Uniqueness . . . . . . . 167
9.2 The Dirichlet Problem. Regular Points . . . . . . . . . . . . . . . . . . . . 169
9.3 The Poisson Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
10. Application to Optimal Stopping : : : : : : : : : : : : : : : : : : : : : : : : : 195
10.1 The Time-Homogeneous Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
10.2 The Time-Inhomogeneous Case . . . . . . . . . . . . . . . . . . . . . . . . . . 207
10.3 Optimal Stopping Problems Involving an Integral . . . . . . . . . . . 212
10.4 Connection with Variational Inequalities . . . . . . . . . . . . . . . . . . . 214
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
11. Application to Stochastic Control : : : : : : : : : : : : : : : : : : : : : : : : : 225
11.1 Statement of the Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
11.2 The Hamilton-Jacobi-Bellman Equation . . . . . . . . . . . . . . . . . . . 227
11.3 Stochastic control problems with terminal conditions . . . . . . . . 241
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

12. Application to Mathematical Finance : : : : : : : : : : : : : : : : : : : : : 249
12.1 Market, portfolio and arbitrage . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
12.2 Attainability and Completeness . . . . . . . . . . . . . . . . . . . . . . . . . . 259
12.3 Option Pricing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
Appendix A: Normal Random Variables : : : : : : : : : : : : : : : : : : : : : : 295
Appendix B: Conditional Expectation : : : : : : : : : : : : : : : : : : : : : : : : 299
Appendix C: Uniform Integrability and Martingale Conver-
gence : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 301
Appendix D: An Approximation Result: : : : : : : : : : : : : : : : : : : : : : : 305
Solutions and Additional Hints to Some of the Exercises : : : : : : 309
References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 317
List of Frequently Used Notation and Symbols : : : : : : : : : : : : : : : 325
Index : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 329