Acronyms
Symbols
Useful R packages
Preface
I Introduction
1 Motivations for Statistical Models
1.1 Data and statistical models
1.2 Why linear models?
2 Ordinary Least Squares with a Univariate Covariate
2.1 Ordinary least squares with a univariate covariate
2.2 Final comments
2.3 Homework problems
II Ordinary Least Squares and Statistical Inference
3 Ordinary Least Squares with Multiple Covariates
3.1 The OLS formula
3.2 The geometry of OLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.3 The projection matrix from OLS . . . . . . . . . . . . . . . . . . . . . . . . 19
3.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4 Gauss–Markov Model and Gauss–Markov Theorem 25
4.1 Gauss–Markov model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.2 Properties of the OLS estimator . . . . . . . . . . . . . . . . . . . . . . . . 26
4.3 Variance estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4 Gauss–Markov Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.5 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
5 Normal Linear Model: Inference and Prediction 35
5.1 Joint distribution of the OLS coefficient and variance estimator . . . . . . . 36
5.2 Pivotal quantities and statistical inference . . . . . . . . . . . . . . . . . . . 37
5.2.1 Scalar parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.2.2 Vector parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.3 Prediction based on pivotal quantities . . . . . . . . . . . . . . . . . . . . . 40
5.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.4.1 Univariate regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.4.2 Anscombe’s Quartet: the importance of graphical diagnostics . . . . 42
5.4.3 Multivariate regression . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.5 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6 Asymptotic Inference in OLS: Eicker–Huber–White (EHW) robust standard
error 51
6.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.1.1 Numerical examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.1.2 Goal of this chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
6.2 Consistency of OLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6.3 Asymptotic Normality of the OLS estimator . . . . . . . . . . . . . . . . . . 55
6.4 Eicker–Huber–White standard error . . . . . . . . . . . . . . . . . . . . . . 56
6.4.1 Sandwich variance estimator . . . . . . . . . . . . . . . . . . . . . . 56
6.4.2 Other heteroskedasticity-consistent (HC) standard errors . . . . . . 58
6.4.3 Special case with homoskedasticity . . . . . . . . . . . . . . . . . . . 59
6.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.5.1 LaLonde experimental data . . . . . . . . . . . . . . . . . . . . . . . 60
6.5.2 Data from King and Roberts (2015) . . . . . . . . . . . . . . . . . . 60
6.5.3 Boston housing data . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.6 Final remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.7 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
III Interpretation of Ordinary Least Squares Based on Partial
Regressions 67
7 Frisch–Waugh–Lovell Theorem 69
7.1 Long and short regressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
7.2 FWL Theorem for the regression coefficients . . . . . . . . . . . . . . . . . . 70
7.3 FWL Theorem for standard errors . . . . . . . . . . . . . . . . . . . . . . . 72
7.4 Gram–Schmidt orthogonalization, QR decomposition, and computation of
OLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.5 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
8 Applications of the Frisch–Waugh–Lovell Theorem 79
8.1 Centering regressors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
8.1.1 Intercept and centering regressors . . . . . . . . . . . . . . . . . . . 79
8.1.2 Dummy variables and centering regressors within groups . . . . . . . 81
8.2 Partial correlation coefficient and Simpson’s paradox . . . . . . . . . . . . . 81
8.3 Hypothesis testing and analysis of variance . . . . . . . . . . . . . . . . . . 84
8.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
9 Cochran’s Formula and Omitted-Variable Bias 93
9.1 Cochran’s formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
9.2 Omitted-variable bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
9.3 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
IV Model Fitting, Checking, and Misspecification 99
10 Multiple Correlation Coefficient 101
10.1 Equivalent definitions of the multiple correlation coefficient . . . . . . . . . 101
10.2 The multiple correlation coefficient and F statistic . . . . . . . . . . . . . . 102
10.3 Numerical examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
10.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
11 Leverage Scores and Leave-One-Out Formulas 107
11.1 Leverage scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
11.1.1 The average leverage score equals p/n . . . . . . . . . . . . . . . . . 107
11.1.2 The leverage scores are all bounded between 0 and 1 . . . . . . . . . 108
11.1.3 The ith leverage score measures the impact of the ith observation in
prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
11.1.4 The ith leverage score measures whether xi is an outlier compared
with other covariates . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
11.1.5 Other properties of the leverage scores . . . . . . . . . . . . . . . . . 109
11.2 Leave-one-out formulas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
11.3 Applications of the leave-one-out formulas . . . . . . . . . . . . . . . . . . . 112
11.3.1 Gauss updating formula . . . . . . . . . . . . . . . . . . . . . . . . . 112
11.3.2 Outlier detection based on residuals . . . . . . . . . . . . . . . . . . 113
11.3.3 Jackknife . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
11.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
12 Population Ordinary Least Squares and Misspecified Linear Model 119
12.1 Population OLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
12.2 Population FWL Theorem and Cochran’s formula . . . . . . . . . . . . . . 121
12.3 Population R2 and partial correlation coefficient . . . . . . . . . . . . . . . 123
12.4 Inference for the population OLS . . . . . . . . . . . . . . . . . . . . . . . . 125
12.4.1 Inference with the Eicker–Huber–White standard errors . . . . . . . 125
12.5 To model or not to model? . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
12.5.1 Population OLS and the restricted mean model . . . . . . . . . . . . 125
12.5.2 More on residual plots . . . . . . . . . . . . . . . . . . . . . . . . . . 127
12.6 Conformal prediction based on exchangeability . . . . . . . . . . . . . . . . 130
12.7 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
V Overfitting, Regularization, and Model Selection 139
13 Perils of Overfitting 141
13.1 David Freedman’s simulation . . . . . . . . . . . . . . . . . . . . . . . . . . 141
13.2 Variance inflation factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
13.3 Bias-variance trade-off . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
13.4 Model selection criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
13.4.1 RSS, R-squared and adjusted R-squared . . . . . . . . . . . . . . . . 146
13.4.2 Information criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
13.4.3 Cross-validation (CV) . . . . . . . . . . . . . . . . . . . . . . . . . . 148
13.5 Best subset and forward/backward selection . . . . . . . . . . . . . . . . . . 149
13.6 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
14 Ridge Regression 153
14.1 Introduction to ridge regression . . . . . . . . . . . . . . . . . . . . . . . . . 153
14.2 Ridge regression via the SVD of the covariate matrix . . . . . . . . . . . . . 155
14.3 Statistical properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
14.4 Selection of the tuning parameter . . . . . . . . . . . . . . . . . . . . . . . . 158
14.4.1 Based on parameter estimation . . . . . . . . . . . . . . . . . . . . . 158
14.4.2 Based on prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
14.5 Computation of ridge regression . . . . . . . . . . . . . . . . . . . . . . . . . 159
14.6 Numerical examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
14.6.1 Uncorrelated covariates . . . . . . . . . . . . . . . . . . . . . . . . . 160
14.6.2 Correlated covariates . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
14.7 Further commments on OLS, ridge, and PCR based on PCA . . . . . . . . 162
14.8 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
15 Lasso 169
15.1 Introduction to the lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
15.2 Comparing the lasso and ridge: a geometric perspective . . . . . . . . . . . 170
15.3 Computing the lasso coefficients via coordinate descent . . . . . . . . . . . . 172
15.3.1 The soft-thresholding lemma . . . . . . . . . . . . . . . . . . . . . . 172
15.3.2 Coordinate descent for the lasso . . . . . . . . . . . . . . . . . . . . 172
15.4 Example: comparing OLS, ridge and lasso . . . . . . . . . . . . . . . . . . . 174
15.5 Other shrinkage estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
15.5.1 Bridge estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
15.5.2 Elastic net . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
15.6 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
VI Transformation and Weighting 181
16 Transformations in OLS 183
16.1 Transformation of the outcome . . . . . . . . . . . . . . . . . . . . . . . . . 183
16.1.1 Log transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
16.1.2 Box–Cox transformation . . . . . . . . . . . . . . . . . . . . . . . . . 184
16.2 Transformation of the covariates . . . . . . . . . . . . . . . . . . . . . . . . 186
16.2.1 Polynomial, basis expansion, and generalized additive model . . . . 186
16.2.2 Regression discontinuity and regression kink . . . . . . . . . . . . . . 188
16.3 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
17 Interactions in OLS 193
17.1 Two binary covariates interact . . . . . . . . . . . . . . . . . . . . . . . . . 193
17.2 A binary covariate interacts with a general covariate . . . . . . . . . . . . . 194
17.2.1 Treatment effect heterogeneity . . . . . . . . . . . . . . . . . . . . . 194
17.2.2 Johnson–Neyman technique . . . . . . . . . . . . . . . . . . . . . . . 194
17.2.3 Blinder–Oaxaca decomposition . . . . . . . . . . . . . . . . . . . . . 194
17.2.4 Chow test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
17.3 Difficulties of interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
17.3.1 Removable interaction . . . . . . . . . . . . . . . . . . . . . . . . . . 196
17.3.2 Main effect in the presence of interaction . . . . . . . . . . . . . . . 197
17.3.3 Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
17.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
18 Restricted OLS 201
18.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
18.2 Algebraic properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
18.3 Statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
18.4 Final remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
18.5 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
19 Weighted Least Squares 209
19.1 Generalized least squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
19.2 Weighted least squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
19.3 WLS motivated by heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . 212
19.3.1 Feasible generalized least squares . . . . . . . . . . . . . . . . . . . . 212
19.3.2 Aggregate data and ecological regression . . . . . . . . . . . . . . . . 214
19.4 WLS Motivated by Survey Weights . . . . . . . . . . . . . . . . . . . . . . . 216
19.5 WLS as a Building Block for Local linear regression . . . . . . . . . . . . . 218
19.6 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
VII Generalized Linear Models 225
20 Logistic Regression for Binary Outcomes 227
20.1 Regression with binary outcomes . . . . . . . . . . . . . . . . . . . . . . . . 227
20.1.1 Linear probability model . . . . . . . . . . . . . . . . . . . . . . . . . 227
20.1.2 General link functions . . . . . . . . . . . . . . . . . . . . . . . . . . 228
20.2 Maximum likelihood estimator of the logistic model . . . . . . . . . . . . . 230
20.3 Statistics with the logit model . . . . . . . . . . . . . . . . . . . . . . . . . . 232
20.3.1 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
20.3.2 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
20.4 More on the interpretations of the coefficients . . . . . . . . . . . . . . . . . 235
20.5 Does the link function matter? . . . . . . . . . . . . . . . . . . . . . . . . . 236
20.6 Extensions of the logistic regression . . . . . . . . . . . . . . . . . . . . . . . 239
20.6.1 Penalized logistic regression . . . . . . . . . . . . . . . . . . . . . . . 239
20.6.2 Case-control study . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
20.7 Other model formulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
20.7.1 Latent linear model . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
20.7.2 Inverse model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
20.8 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
21 Logistic Regressions for Categorical Outcomes 247
21.1 Multinomial distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
21.2 Multinomial logistic model for nominal outcomes . . . . . . . . . . . . . . . 248
21.2.1 Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
21.2.2 MLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
21.3 A latent variable representation for the multinomial logistic regression . . . 251
21.4 Proportional odds model for ordinal outcomes . . . . . . . . . . . . . . . . . 252
21.5 A case study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
21.5.1 Binary logistic for the treatment . . . . . . . . . . . . . . . . . . . . 255
21.5.2 Binary logistic for the outcome . . . . . . . . . . . . . . . . . . . . . 256
21.5.3 Multinomial logistic for the outcome . . . . . . . . . . . . . . . . . . 256
21.5.4 Proportional odds logistic for the outcome . . . . . . . . . . . . . . . 257
21.6 Discrete choice models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
21.6.1 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
21.6.2 MLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
21.6.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
21.6.4 More comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
21.7 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
22 Regression Models for Count Outcomes 265
22.1 Some random variables for counts . . . . . . . . . . . . . . . . . . . . . . . . 265
22.1.1 Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
22.1.2 Negative-Binomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
22.1.3 Zero-inflated count distributions . . . . . . . . . . . . . . . . . . . . 267
22.2 Regression models for counts . . . . . . . . . . . . . . . . . . . . . . . . . . 268
22.2.1 Poisson regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
22.2.2 Negative-Binomial regression . . . . . . . . . . . . . . . . . . . . . . 270
22.2.3 Zero-inflated regressions . . . . . . . . . . . . . . . . . . . . . . . . . 271
22.3 A case study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
22.3.1 Linear, Poisson, and Negative-Binomial regressions . . . . . . . . . . 272
22.3.2 Zero-inflated regressions . . . . . . . . . . . . . . . . . . . . . . . . . 273
22.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
23 Generalized Linear Models: A Unification 279
23.1 Generalized Linear Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
23.1.1 Exponential family . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
23.1.2 Generalized linear model . . . . . . . . . . . . . . . . . . . . . . . . . 281
23.2 MLE for GLM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
23.3 Other GLMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
23.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
24 Misspecified Generalized Linear Models: Restricted Mean Models and
Sandwich Covariance Matrix 289
24.1 Restricted mean model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
24.2 Sandwich covariance matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
24.3 Applications of the sandwich standard errors . . . . . . . . . . . . . . . . . 292
24.3.1 Linear regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
24.3.2 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
24.3.2.1 An application . . . . . . . . . . . . . . . . . . . . . . . . . 293
24.3.2.2 A misspecified logistic regression . . . . . . . . . . . . . . . 294
24.3.3 Poisson regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
24.3.3.1 A correctly specified Poisson regression . . . . . . . . . . . 294
24.3.3.2 A Negative-Binomial regression model . . . . . . . . . . . . 295
24.3.3.3 Misspecification of the conditional mean . . . . . . . . . . . 295
24.3.4 How robust are the robust standard errors? . . . . . . . . . . . . . . 296
24.4 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
25 Generalized Estimating Equation for Correlated Multivariate Data 299
25.1 Examples of correlated data . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
25.1.1 Longitudinal data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
25.1.2 Clustered data: a neuroscience experiment . . . . . . . . . . . . . . . 299
25.1.3 Clustered data: a public health intervention . . . . . . . . . . . . . . 300
25.2 Marginal model and the generalized estimating equation . . . . . . . . . . . 301
25.3 Statistical inference with GEE . . . . . . . . . . . . . . . . . . . . . . . . . 303
25.3.1 Computation using the Gauss–Newton method . . . . . . . . . . . . 303
25.3.2 Asymptotic inference . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
25.3.3 Implementation: choice of the working covariance matrix . . . . . . . 304
25.4 A special case: cluster-robust standard error . . . . . . . . . . . . . . . . . . 305
25.4.1 OLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
25.4.2 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
25.5 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
25.5.1 Clustered data: a neuroscience experiment . . . . . . . . . . . . . . . 307
25.5.2 Clustered data: a public health intervention . . . . . . . . . . . . . . 308
25.5.3 Longitudinal data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
25.6 Critiques on the key assumptions . . . . . . . . . . . . . . . . . . . . . . . . 310
25.6.1 Assumption (25.4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
25.6.2 Assumption (25.5) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
25.7 Final comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
25.7.1 Explanation versus prediction . . . . . . . . . . . . . . . . . . . . . . 313
25.7.2 Small number of clusters . . . . . . . . . . . . . . . . . . . . . . . . . 313
25.8 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
VIII Beyond Modeling the Conditional Mean 315
26 Quantile Regression 317
26.1 From the mean to the quantile . . . . . . . . . . . . . . . . . . . . . . . . . 317
26.2 From the conditional mean to conditional quantile . . . . . . . . . . . . . . 320
26.3 Sample regression quantiles . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
26.3.1 Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
26.3.2 Asymptotic inference . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
26.4 Numerical examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
26.4.1 Sample quantiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
26.4.2 OLS versus LAD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
26.5 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
26.5.1 Parents’ and children’s heights . . . . . . . . . . . . . . . . . . . . . 327
26.5.2 U.S. wage structure . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
26.6 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
26.6.1 Cluster-robust standard error for quantile regression . . . . . . . . . 328
26.6.2 High-dimensional quantile regression . . . . . . . . . . . . . . . . . . 329
26.7 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
27 Modeling Time-to-Event Outcomes 331
27.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
27.1.1 Survival analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
27.1.2 Duration analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
27.2 Time-to-event data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
27.3 Some examples of random variables for time to event . . . . . . . . . . . . . 334
27.4 Kaplan–Meier survival curve . . . . . . . . . . . . . . . . . . . . . . . . . . 336
27.5 Cox model for time-to-event outcome . . . . . . . . . . . . . . . . . . . . . . 339
27.5.1 Cox model and its interpretation . . . . . . . . . . . . . . . . . . . . 341
27.5.2 Partial likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
27.5.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
27.5.4 Log-rank test as a score test from Cox model . . . . . . . . . . . . . 347
27.6 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
27.6.1 Stratified Cox proportional hazards model . . . . . . . . . . . . . . . 350
27.6.2 Clustered Cox model . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
27.6.3 Penalized Cox model . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
27.7 Critiques on survival analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 352
27.8 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
IX Appendices 355
A Linear Algebra 357
A.1 Basics of vectors and matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 357
A.2 Vector calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
A.3 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
B Random Variables 371
B.1 Some important univariate random variables . . . . . . . . . . . . . . . . . 371
B.1.1 Normal, chi-squared, t and F . . . . . . . . . . . . . . . . . . . . . . 371
B.1.2 Beta–Gamma duality . . . . . . . . . . . . . . . . . . . . . . . . . . 372
B.1.3 Exponential, Laplace, and Gumbel distributions . . . . . . . . . . . 373
B.2 Multivariate distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
B.3 Multivariate Normal and its properties . . . . . . . . . . . . . . . . . . . . . 376
B.4 Quadratic forms of random vectors . . . . . . . . . . . . . . . . . . . . . . . 377
B.5 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
C Limiting Theorems and Basic Asymptotics 383
C.1 Convergence in probability . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
C.2 Convergence in distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
C.3 Tools for proving convergence in probability and distribution . . . . . . . . 387
D M-Estimation and MLE 389
D.1 M-estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
D.2 Maximum likelihood estimator . . . . . . . . . . . . . . . . . . . . . . . . . 392
D.3 Homework problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
Bibliography 397