PROBABILITY AND STATISTICS FOR ECONOMISTS

PROBABILITY AND STATISTICS FOR ECONOMISTS

BRUCE E. HANSEN

Contents

Preface

x

Acknowledgements

xi

Mathematical Preparation

xii

Notation

xiii

1 Basic Probability Theory

1

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Outcomes and Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.3 Probability Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.4 Properties of the Probability Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.5 Equally-Likely Outcomes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.6 Joint Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.7 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.8 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.9 Law of Total Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.10 Bayes Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.11 Permutations and Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.12 Sampling With and Without Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.13 Poker Hands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.14 Sigma Fields* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.16 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2 Random Variables

22

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.2 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.3 Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.4 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.5 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.6 Finiteness of Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.7 Distribution Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.8 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.9 Quantiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.10 Density Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.11 Transformations of Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . 34

2.12 Non-Monotonic Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

ii

CONTENTS

iii

2.13 Expectation of Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.14 Finiteness of Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.15 Unifying Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.16 Mean and Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.17 Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.18 Jensen's Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.19 Applications of Jensen's Inequality* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 2.20 Symmetric Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.21 Truncated Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.22 Censored Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.23 Moment Generating Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.24 Cumulants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.25 Characteristic Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 2.26 Expectation: Mathematical Details* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.27 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3 Parametric Distributions

56

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.2 Bernoulli Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3 Rademacher Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3.4 Binomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3.5 Multinomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.6 Poisson Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.7 Negative Binomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.8 Uniform Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.9 Exponential Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.10 Double Exponential Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.11 Generalized Exponential Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.12 Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.13 Cauchy Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.14 Student t Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.15 Logistic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.16 Chi-Square Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.17 Gamma Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.18 F Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.19 Non-Central Chi-Square . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.20 Beta Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

3.21 Pareto Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

3.22 Lognormal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

3.23 Weibull Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

3.24 Extreme Value Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

3.25 Mixtures of Normals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.26 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

3.27 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

4 Multivariate Distributions

74

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

4.2 Bivariate Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

CONTENTS

iv

4.3 Bivariate Distribution Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.4 Probability Mass Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 4.5 Probability Density Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.6 Marginal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.7 Bivariate Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 4.8 Conditional Distribution for Discrete X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.9 Conditional Distribution for Continuous X . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.10 Visualizing Conditional Densities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.11 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.12 Covariance and Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 4.13 Cauchy-Schwarz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 4.14 Conditional Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4.15 Law of Iterated Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 4.16 Conditional Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 4.17 H?lder's and Minkowski's Inequalities* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4.18 Vector Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 4.19 Triangle Inequalities* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.20 Multivariate Random Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 4.21 Pairs of Multivariate Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4.22 Multivariate Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 4.23 Convolutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 4.24 Hierarchical Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 4.25 Existence and Uniqueness of the Conditional Expectation* . . . . . . . . . . . . . . . . . . 107 4.26 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 4.27 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

5 Normal and Related Distributions

113

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

5.2 Univariate Normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

5.3 Moments of the Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

5.4 Normal Cumulants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

5.5 Normal Quantiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

5.6 Truncated and Censored Normal Distributions . . . . . . . . . . . . . . . . . . . . . . . . . 116

5.7 Multivariate Normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

5.8 Properties of the Multivariate Normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

5.9 Chi-Square, t, F, and Cauchy Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5.10 Hermite Polynomials* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5.11 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

5.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

6 Sampling

128

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

6.2 Samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

6.3 Empirical Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

6.4 Statistics, Parameters, Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

6.5 Sample Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

6.6 Expected Value of Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

6.7 Functions of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

CONTENTS

v

6.8 Sampling Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 6.9 Estimation Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 6.10 Estimation Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 6.11 Mean Squared Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 6.12 Best Unbiased Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 6.13 Estimation of Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 6.14 Standard Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 6.15 Multivariate Means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 6.16 Order Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 6.17 Higher Moments of Sample Mean* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 6.18 Normal Sampling Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.19 Normal Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.20 Normal Variance Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.21 Studentized Ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.22 Multivariate Normal Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 6.23 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

7 Law of Large Numbers

149

7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

7.2 Asymptotic Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

7.3 Convergence in Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

7.4 Chebyshev's Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

7.5 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

7.6 Counter-Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

7.7 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

7.8 Illustrating Chebyshev's . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

7.9 Vector-Valued Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

7.10 Continuous Mapping Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

7.11 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

7.12 Uniformity Over Distributions* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

7.13 Almost Sure Convergence and the Strong Law* . . . . . . . . . . . . . . . . . . . . . . . . . 159

7.14 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

7.15 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

8 Central Limit Theory

165

8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

8.2 Convergence in Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

8.3 Sample Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

8.4 A Moment Investigation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

8.5 Convergence of the Moment Generating Function . . . . . . . . . . . . . . . . . . . . . . . 167

8.6 Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

8.7 Applying the Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

8.8 Multivariate Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

8.9 Delta Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

8.10 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

8.11 Asymptotic Distribution for Plug-In Estimator . . . . . . . . . . . . . . . . . . . . . . . . . 172

8.12 Covariance Matrix Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

8.13 t-ratios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download