Linear Algebra As an Introduction to Abstract Mathematics - UC Davis

Linear Algebra

As an Introduction to Abstract Mathematics

Lecture Notes for MAT67 University of California, Davis written Fall 2007, last updated November 15, 2016

Isaiah Lankham Bruno Nachtergaele

Anne Schilling

Copyright c 2007 by the authors. These lecture notes may be reproduced in their entirety for non-commercial purposes.

Contents

1 What is Linear Algebra?

1

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Systems of linear equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3.1 Linear equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3.2 Non-linear equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.3 Linear transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.4 Applications of linear equations . . . . . . . . . . . . . . . . . . . . . 7

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2 Introduction to Complex Numbers

11

2.1 Definition of complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.2 Operations on complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2.1 Addition and subtraction of complex numbers . . . . . . . . . . . . . 12

2.2.2 Multiplication and division of complex numbers . . . . . . . . . . . . 13

2.2.3 Complex conjugation . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.2.4 The modulus (a.k.a. norm, length, or magnitude) . . . . . . . . . . . 16

2.2.5 Complex numbers as vectors in R2 . . . . . . . . . . . . . . . . . . . 18

2.3 Polar form and geometric interpretation for C . . . . . . . . . . . . . . . . . 19

2.3.1 Polar form for complex numbers . . . . . . . . . . . . . . . . . . . . . 19

2.3.2 Geometric multiplication for complex numbers . . . . . . . . . . . . . 20

2.3.3 Exponentiation and root extraction . . . . . . . . . . . . . . . . . . . 21

2.3.4 Some complex elementary functions . . . . . . . . . . . . . . . . . . . 22

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

ii

3 The Fundamental Theorem of Algebra and Factoring Polynomials

26

3.1 The Fundamental Theorem of Algebra . . . . . . . . . . . . . . . . . . . . . 26

3.2 Factoring polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4 Vector Spaces

36

4.1 Definition of vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4.2 Elementary properties of vector spaces . . . . . . . . . . . . . . . . . . . . . 39

4.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.4 Sums and direct sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

5 Span and Bases

48

5.1 Linear span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

5.2 Linear independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5.3 Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5.4 Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

6 Linear Maps

64

6.1 Definition and elementary properties . . . . . . . . . . . . . . . . . . . . . . 64

6.2 Null spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

6.3 Range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

6.4 Homomorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

6.5 The dimension formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

6.6 The matrix of a linear map . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

6.7 Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

7 Eigenvalues and Eigenvectors

85

7.1 Invariant subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

7.2 Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

7.3 Diagonal matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

7.4 Existence of eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

iii

7.5 Upper triangular matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 7.6 Diagonalization of 2 ? 2 matrices and applications . . . . . . . . . . . . . . . 96 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

8 Permutations and the Determinant of a Square Matrix

102

8.1 Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

8.1.1 Definition of permutations . . . . . . . . . . . . . . . . . . . . . . . . 102

8.1.2 Composition of permutations . . . . . . . . . . . . . . . . . . . . . . 105

8.1.3 Inversions and the sign of a permutation . . . . . . . . . . . . . . . . 107

8.2 Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

8.2.1 Summations indexed by the set of all permutations . . . . . . . . . . 110

8.2.2 Properties of the determinant . . . . . . . . . . . . . . . . . . . . . . 112

8.2.3 Further properties and applications . . . . . . . . . . . . . . . . . . . 115

8.2.4 Computing determinants with cofactor expansions . . . . . . . . . . . 116

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

9 Inner Product Spaces

120

9.1 Inner product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

9.2 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

9.3 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

9.4 Orthonormal bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

9.5 The Gram-Schmidt orthogonalization procedure . . . . . . . . . . . . . . . . 129

9.6 Orthogonal projections and minimization problems . . . . . . . . . . . . . . 132

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

10 Change of Bases

139

10.1 Coordinate vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

10.2 Change of basis transformation . . . . . . . . . . . . . . . . . . . . . . . . . 141

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

11 The Spectral Theorem for Normal Linear Maps

147

11.1 Self-adjoint or hermitian operators . . . . . . . . . . . . . . . . . . . . . . . 147

11.2 Normal operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

11.3 Normal operators and the spectral decomposition . . . . . . . . . . . . . . . 151

iv

11.4 Applications of the Spectral Theorem: diagonalization . . . . . . . . . . . . 153 11.5 Positive operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 11.6 Polar decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 11.7 Singular-value decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 159 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

List of Appendices

A Supplementary Notes on Matrices and Linear Systems

164

A.1 From linear systems to matrix equations . . . . . . . . . . . . . . . . . . . . 164

A.1.1 Definition of and notation for matrices . . . . . . . . . . . . . . . . . 165

A.1.2 Using matrices to encode linear systems . . . . . . . . . . . . . . . . 168

A.2 Matrix arithmetic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

A.2.1 Addition and scalar multiplication . . . . . . . . . . . . . . . . . . . . 171

A.2.2 Multiplication of matrices . . . . . . . . . . . . . . . . . . . . . . . . 175

A.2.3 Invertibility of square matrices . . . . . . . . . . . . . . . . . . . . . . 179

A.3 Solving linear systems by factoring the coefficient matrix . . . . . . . . . . . 181

A.3.1 Factorizing matrices using Gaussian elimination . . . . . . . . . . . . 182

A.3.2 Solving homogeneous linear systems . . . . . . . . . . . . . . . . . . . 192

A.3.3 Solving inhomogeneous linear systems . . . . . . . . . . . . . . . . . . 195

A.3.4 Solving linear systems with LU-factorization . . . . . . . . . . . . . . 199

A.4 Matrices and linear maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

A.4.1 The canonical matrix of a linear map . . . . . . . . . . . . . . . . . . 204

A.4.2 Using linear maps to solve linear systems . . . . . . . . . . . . . . . . 205

A.5 Special operations on matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 211

A.5.1 Transpose and conjugate transpose . . . . . . . . . . . . . . . . . . . 211

A.5.2 The trace of a square matrix . . . . . . . . . . . . . . . . . . . . . . . 212

Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

B The Language of Sets and Functions

218

B.1 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

B.2 Subset, union, intersection, and Cartesian product . . . . . . . . . . . . . . . 220

B.3 Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

v

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download