Contents
1 Signals and 1
1.1 Signal Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Energy and Power Signals . . . . . . . . . . . . . . . . . 1
1.1.2 Normed Spaces . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.3 Metric Spaces . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.4 Inner Product Spaces . . . . . . . . . . . . . . . . . . . 4
1.2 Energy Density and Correlation . . . . . . . . . . . . . . . . . . 8
1.2.1 Continuous-Time Signals . . . . . . . . . . . . . . . . . 8
1.2.2 Discrete-Time Signals . . . . . . . . . . . . . . . . . . . 9
1.3 Random Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.1 Properties of Random Variables . . . . . . . . . . . . . . 11
1.3.2 Random Processes . . . . . . . . . . . . . . . . . . . . . 13
Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.3 Transmission of Stochastic Processes through Linear
2 Integral Signal Representations 22
2.1 Integral Transforms . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 The Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 The Hartley Transform . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 The Hilbert Transform . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.2 Some Properties of the Hilbert Transform . . . . . . . . 35
2.5 Representation of Bandpass Signals . . . . . . . . . . . . . . . . 35
2.5.1 Analytic Signal and Complex Envelope . . . . . . . . . 36
2.5.2 Stationary Bandpass Processes . . . . . . . . . . . . . . 43
V
vi Contents
3 Discrete Signal Representations 47
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 Orthogonal Series Expansions . . . . . . . . . . . . . . . . . . . 49
3.2.1 Calculation of Coefficients . . . . . . . . . . . . . . . . . 49
3.2.2 Orthogonal Projection . . . . . . . . . . . . . . . . . . . 50
3.2.3 The Gram-Schmidt Orthonormalization Procedure . . . 51
3.2.4 Parseval’s Relation . . . . . . . . . . . . . . . . . . . . . 51
3.2.5 Complete Orthonormal Sets . . . . . . . . . . . . . . . . 52
3.2.6 Examples of Complete Orthonormal Sets . . . . . . . . 53
3.3 General Series Expansions . . . . . . . . . . . . . . . . . . . . . 56
3.3.1 Calculating the Representation . . . . . . . . . . . . . . 57
3.3.2 Orthogonal Projection . . . . . . . . . . . . . . . . . . . 60
3.3.3 Orthogonal Projection of n-Tuples . . . . . . . . . . . . 62
3.4 Mathematical Tools . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4.1 The &R Decomposition . . . . . . . . . . . . . . . . . . 64
3.4.2 The Moore-Penrose Pseudoinverse . . . . . . . . . . . . 66
3.4.3 The Nullspace . . . . . . . . . . . . . . . . . . . . . . . 68
3.4.4 The Householder Transform . . . . . . . . . . . . . . . . 69
3.4.5 Givens Rotations . . . . . . . . . . . . . . . . . . . . . . 73
4 Examples of Discrete Transforms 75
4.1 The z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 The Discrete-Time Fourier Transform . . . . . . . . . . . . . . 80
4.3 The Discrete Fourier Transform (DFT) . . . . . . . . . . . . . . 82
4.4 The Fast Fourier Transform . . . . . . . . . . . . . . . . . . . . 85
4.4.1 Radix-2 Decimation-in-Time FFT . . . . . . . . . . . . 85
4.4.2 Radix-2 Decimation-in-Frequency FFT . . . . . . . . . . 88
4.4.3 Radix-4 FFT . . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.4 Split-Radix FFT . . . . . . . . . . . . . . . . . . . . . . 91
4.4.5 Further FFT Algorithms . . . . . . . . . . . . . . . . . . 92
4.5 Discrete Cosine Transforms . . . . . . . . . . . . . . . . . . . . 93
4.6 Discrete Sine Transforms . . . . . . . . . . . . . . . . . . . . . . 96
4.7 The Discrete Hartley Transform . . . . . . . . . . . . . . . . . . 97
4.8 The Hadamard and Walsh-Hadamard Transforms . . . . . . . 100
5 Transforms and Filters for Stochastic Processes 101
5.1 The Continuous-Time Karhunen-Loitve Transform . . . . . . . 101
5.2 The Discrete Karhunen-Loitve Transform . . . . . . . . . . . . 103
5.3 The KLT of Real-Valued AR(1) Processes . . . . . . . . . . . . 109
5.4 Whitening Transforms . . . . . . . . . . . . . . . . . . . . . . . 111
5.5 Linear Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 113
Contents vii
5.5.1 Least-Squares Estimation . . . . . . . . . . . . . . . . . 113
5.5.2 The Best Linear Unbiased Estimator (BLUE) . . . . . . 114
5.5.3 Minimum Mean Square Error Estimation . . . . . . . . 116
5.6 Linear Optimal Filters . . . . . . . . . . . . . . . . . . . . . . . 124
5.6.1 Wiener Filters . . . . . . . . . . . . . . . . . . . . . . . 124
5.6.2 One-Step Linear Prediction . . . . . . . . . . . . . . . . 127
5.6.3 Filter Design on the Basis of Finite Data Ensembles . . 130
Densities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.7.1 Estimation of Autocorrelation Sequences . . . . . . . . . 133
5.7.2 Non-Parametric Estimation of Power Spectral Densities 134
5.7.3 Parametric Methods in Spectral Estimation . . . . . . . 141
5.7 Estimation of Autocorrelation Sequences and Power Spectral
6 Filter Banks 143
6.1 Basic Multirate Operations . . . . . . . . . . . . . . . . . . . . 144
6.1.1 Decimation and Interpolation . . . . . . . . . . . . . . . 144
6.1.2 Polyphase Decomposition . . . . . . . . . . . . . . . . . 147
6.2 Two-Channel Filter Banks . . . . . . . . . . . . . . . . . . . . . 148
6.2.1 PR Condition . . . . . . . . . . . . . . . . . . . . . . . . 148
6.2.2 Quadrature Mirror Filters . . . . . . . . . . . . . . . . . 149
6.2.3 General Perfect Reconstruction Two-Channel Filter
Banks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.2.4 Matrix Representations . . . . . . . . . . . . . . . . . . 151
6.2.5 Paraunitary Two-Channel Filter Banks . . . . . . . . . 155
6.2.6 Paraunitary Filter Banks in Lattice Structure . . . . . . 158
6.2.7 Linear-Phase Filter Banks in Lattice Structure . . . . . 159
6.2.8 Lifting Structures . . . . . . . . . . . . . . . . . . . . . . 160
6.3 Tree-Structured Filter Banks . . . . . . . . . . . . . . . . . . . 162
6.4 Uniform M-Channel Filter Banks . . . . . . . . . . . . . . . . . 164
6.4.1 Input-Output Relations . . . . . . . . . . . . . . . . . . 164
6.4.2 The Polyphase Representation . . . . . . . . . . . . . . 166
6.4.3 Paraunitary Filter Banks . . . . . . . . . . . . . . . . . 168
6.4.4 Design of Critically Subsampled M-Channel FIR Filter
Banks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.5 DFT Filter Banks . . . . . . . . . . . . . . . . . . . . . . . . . 170
6.6 Cosine-Modulated Filter Banks . . . . . . . . . . . . . . . . . . 174
6.6.1 Critically Subsampled Case . . . . . . . . . . . . . . . . 175
6.6.2 Paraunitary Case . . . . . . . . . . . . . . . . . . . . . . 179
6.6.3 Oversampled Cosine-Modulated Filter Banks . . . . . . 183
6.6.4 Pseudo-QMF Banks . . . . . . . . . . . . . . . . . . . . 184
6.7 Lapped Orthogonal Transforms . . . . . . . . . . . . . . . . . . 186
... v111 Contents
6.8 Subband Coding of Images . . . . . . . . . . . . . . . . . . . . 188
6.9 Processing of Finite-Length Signals . . . . . . . . . . . . . . . . 189
6.10 Transmultiplexers . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7 Short-Time Fourier Analysis 196
7.1 Continuous-Time Signals . . . . . . . . . . . . . . . . . . . . . . 196
7.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . 196
7.1.2 Time-Frequency Resolution . . . . . . . . . . . . . . . . 198
7.1.3 The Uncertainty Principle . . . . . . . . . . . . . . . . . 200
7.1.4 The Spectrogram . . . . . . . . . . . . . . . . . . . . . . 201
7.1.5 Reconstruction . . . . . . . . . . . . . . . . . . . . . . . 202
7.1.6 Reconstruction via Series Expansion . . . . . . . . . . . 204
7.2 Discrete-Time Signals . . . . . . . . . . . . . . . . . . . . . . . 205
7.3 Spectral Subtraction based on the STFT . . . . . . . . . . . . . 207
8 Wavelet 210
8.1 The Continuous-Time Wavelet Transform . . . . . . . . . . . . 210
8.2 Wavelets for Time-Scale Analysis . . . . . . . . . . . . . . . . . 214
8.3 Integral and Semi-Discrete Reconstruction . . . . . . . . . . . . 217
8.3.1 Integral Reconstruction . . . . . . . . . . . . . . . . . . 217
8.3.2 Semi-Discrete Dyadic Wavelets . . . . . . . . . . . . . . 219
8.4 Wavelet Series . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
8.4.1 Dyadic Sampling . . . . . . . . . . . . . . . . . . . . . . 223
of Octaves . . . . . . . . . . . . . . . . . . . . . . . . . . 225
8.5 The Discrete Wavelet Transform (DWT) . . . . . . . . . . . . . 227
8.5.1 Multiresolution Analysis . . . . . . . . . . . . . . . . . . 227
8.5.2 Wavelet Analysis by Multirate Filtering . . . . . . . . . 232
8.5.3 Wavelet Synthesis by Multirate Filtering . . . . . . . . . 233
8.5.4 The Relationship between Filters and Wavelets . . . . . 234
8.6 Wavelets from Filter Banks . . . . . . . . . . . . . . . . . . . . 237
8.6.1 General Procedure . . . . . . . . . . . . . . . . . . . . . 237
8.6.3 Partition of Unity . . . . . . . . . . . . . . . . . . . . . 241
and Wavelets . . . . . . . . . . . . . . . . . . . . . . . . 242
8.6.5 Moments . . . . . . . . . . . . . . . . . . . . . . . . . . 243
8.6.6 Regularity . . . . . . . . . . . . . . . . . . . . . . . . . . 244
8.6.7 Wavelets with Finite Support . . . . . . . . . . . . . . . 245
8.7 Wavelet Families . . . . . . . . . . . . . . . . . . . . . . . . . . 247
8.4.2 Better Frequency Resolution - Decomposition
8.6.2 Requirements to be Met by the Coefficients . . . . . . . 241
8.6.4 The Norm of Constructed Scaling Functions
8.7.1 Design of Biorthogonal Linear-Phase Wavelets . . . . . 247
Contents ix
8.7.2 The Orthonormal Daubechies Wavelets . . . . . . . . . 252
8.7.3 Coiflets . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
8.8 The Wavelet Transform of Discrete-Time Signals . . . . . . . . 255
8.8.1 The A Trous Algorithm . . . . . . . . . . . . . . . . . . 256
Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 259
8.9 DWT-Based Image Compression . . . . . . . . . . . . . . . . . 261
8.10 Wavelet-Based Denoising . . . . . . . . . . . . . . . . . . . . . 263
8.8.2 The Relationship between the Mallat and A Trous
8.8.3 The Discrete-Time Morlet Wavelet . . . . . . . . . . . . 260
9 Non-Linear Time-Frequency Distributions 265
9.1 The Ambiguity Function . . . . . . . . . . . . . . . . . . . . . . 265
9.2 The Wigner Distribution . . . . . . . . . . . . . . . . . . . . . . 269
9.2.1 Definition and Properties . . . . . . . . . . . . . . . . . 269
9.2.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . 274
9.2.3 Cross-Terms and Cross Wigner Distributions . . . . . . 275
9.2.4 Linear Operations . . . . . . . . . . . . . . . . . . . . . 279
9.3 General Time-Frequency Distributions . . . . . . . . . . . . . . 280
9.3.1 Shift-Invariant Time-Frequency Distributions . . . . . . 281
9.3.2 Examples of Shift-Invariant Time-Frequency Distributions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
9.3.3 Affine-Invariant Time-Frequency Distributions . . . . . 289
tions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
9.3.4 Discrete-Time Calculation of Time-Frequency Distribu-
9.4 The Wigner-Ville Spectrum . . . . . . . . . . . . . . . . . . . . 292
Bibliography 299
Index 311