MATH 2P82 MATHEMATICAL STATISTICS (Lecture Notes)

MATH 2P82 MATHEMATICAL STATISTICS

(Lecture Notes)

?c Jan Vrbik

2

3

Contents

1 PROBABILITY REVIEW

7

Basic Combinatorics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Binomial expansion . . . . . . . . . . . . . . . . . . . . . . . . . 7

Multinomial expansion . . . . . . . . . . . . . . . . . . . . . . . 7

Random Experiments (Basic Definitions) . . . . . . . . . . . . . . 7

Sample space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Set Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Boolean Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Probability of Events . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Probability rules . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Important result . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Probability tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Product rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Conditional probability . . . . . . . . . . . . . . . . . . . . . . . 9

Total-probability formula . . . . . . . . . . . . . . . . . . . . . . 10

Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . . 10

Bivariate (joint) distribution . . . . . . . . . . . . . . . . . . . 11

Conditional distribution . . . . . . . . . . . . . . . . . . . . . . 11

Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Multivariate distribution . . . . . . . . . . . . . . . . . . . . . . 11

Expected Value of a RV . . . . . . . . . . . . . . . . . . . . . . . . . 11

Expected values related to X and Y . . . . . . . . . . . . . . . 12

Moments (univariate) . . . . . . . . . . . . . . . . . . . . . . . . 12

Moments (bivariate or 'joint') . . . . . . . . . . . . . . . . . . . 12

Variance of aX + bY + c . . . . . . . . . . . . . . . . . . . . . . . 13

Moment generating function . . . . . . . . . . . . . . . . . . . . . . 13

Main results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Probability generating function . . . . . . . . . . . . . . . . . . . . . 13

Conditional expected value . . . . . . . . . . . . . . . . . . . . . . . 14

Common discrete distributions . . . . . . . . . . . . . . . . . . . . . 14

Binomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Geometric . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Negative Binomial . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Hypergeometric . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4

Multinomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Multivariate Hypergeometric . . . . . . . . . . . . . . . . . . . 15 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . 16 Univariate probability density function (pdf) . . . . . . . . . 16 Distribution Function . . . . . . . . . . . . . . . . . . . . . . . . 16 Bivariate (multivariate) pdf . . . . . . . . . . . . . . . . . . . . 16 Marginal Distributions . . . . . . . . . . . . . . . . . . . . . . . 16 Conditional Distribution . . . . . . . . . . . . . . . . . . . . . . 17 Mutual Independence . . . . . . . . . . . . . . . . . . . . . . . . 17 Expected value . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Common Continuous Distributions . . . . . . . . . . . . . . . . . . 18 Transforming Random Variables . . . . . . . . . . . . . . . . . . . . 18 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2 Transforming Random Variables

21

Univariate transformation . . . . . . . . . . . . . . . . . . . . . . . . 21

Distribution-Function (F ) Technique . . . . . . . . . . . . . . 21

Probability-Density-Function (f ) Technique . . . . . . . . . . 23

Bivariate transformation . . . . . . . . . . . . . . . . . . . . . . . . . 24

Distribution-Function Technique . . . . . . . . . . . . . . . . . 24

Pdf (Shortcut) Technique . . . . . . . . . . . . . . . . . . . . . 25

3 Random Sampling

31

Sample mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . 31

Sample variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Sampling from N (?, ) . . . . . . . . . . . . . . . . . . . . . . . 33

Sampling without replacement . . . . . . . . . . . . . . . . . . . . . 35

Bivariate samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4 Order Statistics

37

Univariate pdf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Sample median . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Bivariate pdf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Special Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

5 Estimating Distribution Parameters

45

A few definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Cram?r-Rao inequality . . . . . . . . . . . . . . . . . . . . . . . . . . 47

Sufficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Method of moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

One Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Two Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Maximum-likelihood technique . . . . . . . . . . . . . . . . . . . . . 53

One Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

Two-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5

6 Confidence Intervals

57

CI for mean ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

unknown . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

Large-sample case . . . . . . . . . . . . . . . . . . . . . . . . . . 58

Difference of two means . . . . . . . . . . . . . . . . . . . . . . 58

Proportion(s) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Variance(s) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

7 Testing Hypotheses

61

Tests concerning mean(s) . . . . . . . . . . . . . . . . . . . . . . . . 62

Concerning variance(s) . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Concerning proportion(s) . . . . . . . . . . . . . . . . . . . . . . . . 63

Contingency tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Goodness of fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

8 Linear Regression and Correlation

65

Simple regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Maximum likelihood method . . . . . . . . . . . . . . . . . . . 65

Least-squares technique . . . . . . . . . . . . . . . . . . . . . . . 65

Normal equations . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Statistical properties of the estimators . . . . . . . . . . . . . 67

Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . 69

Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

Multiple regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

Various standard errors . . . . . . . . . . . . . . . . . . . . . . . 73

9 Analysis of Variance

75

One-way ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Two-way ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

No interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

With interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

10 Nonparametric Tests

79

Sign test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Signed-rank test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Rank-sum tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Mann-Whitney . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Kruskal-Wallis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Run test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

(Sperman's) rank correlation coefficient . . . . . . . . . . . . . . . 83

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download