WorkKeys Applied Math Technical Manual - ACT

WorkKeys Applied Math Technical Manual

Version 2.0 Fall 2019

? 2019 by ACT, Inc. All rights reserved.

Table of Contents

Chapter 1 Applied Math Assessment--Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1

1.1 WorkKeys and the Applied Math Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 1.2 The Workplace Skills Gap and the WorkKeys Solution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 1.3 Mathematics in the Classroom and the Workplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3

1.3.1 Workplace Math . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 1.4 WorkKeys Applied Math--Assessment Claims . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 1.5 Test Users and Stakeholders. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 1.6 Alignment to ACT's Holistic Framework. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.7

Chapter 2 Test Development. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1

2.1 Applied Math--Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 2.2 Applied Math Domain. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 2.3 Revisions to Applied Math Domain as a Result of Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 2.4 Applied Math--Item Stem Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 2.5 WorkKeys Applied Math--Skill Definitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4 2.6 WorkKeys Applied Math--Performance Level Descriptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.8

Applied Math Level 3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.8 Applied Math Level 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.9 Applied Math Level 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.9 Applied Math Level 6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.10 Applied Math Level 7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.10 2.7 Designing Items to Elicit Evidence of Applied Math . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.11 2.7.1 Item Writing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.11 2.7.2 Item Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.11 2.7.3 Item Pretesting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.12

Chapter 3 Test Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1

3.1 WorkKeys Applied Math Specifications--Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 3.2 Content Relevance and Representativeness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 3.3 Applied Math--Test Blueprint. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2

i WORKKEYS APPLIED MATH TECHNICAL MANUAL

Chapter 4 Test Administration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1

4.1 Policies and Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1 4.1.1 Standardized Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1 4.1.2 Selecting Testing Staff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2

4.2 Test Administration Personnel and their Responsibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 4.2.1 Test Coordinator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 4.2.2 Back-up Test Coordinator. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4 4.2.3 Test Accommodations Coordinator. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 4.2.4 Room Supervisor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 4.2.5 Proctor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6

4.3 Training Testing Staff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6 4.3.1 Training Session. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7 4.3.2 Administration Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 .7

4.4 Test Administration Room Requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7 Chapter 5 Accessibility. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1

5.1 ACT WorkKeys Applied Math Assessment Support System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1 5.2 Test Administration and Accessibility Levels of Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3

Support Level 1: Default Embedded System Tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4 Support Level 2: Open Access Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5 Support Level 3: Accommodations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6 Support Level 4: Modifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.7 5.3 Allowable Embedded Tools, Open Access, and Accommodations . . . . . . . . . . . . . . . . . . . . . . . 5.7 5.4 Valid Test Scores and Equal Benefit for All Examinees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.8 Chapter 6 Test and Information Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1 6.1 Test Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1 6.2 Information Security. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Chapter 7 Reporting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1 7.1 Applied Math Reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1

ii WORKKEYS APPLIED MATH TECHNICAL MANUAL

Chapter 8 Scores and Score Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1

8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1 8.2 Selected-Response Item Scoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2 8.3 Scale Score and Level Score Differences and Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2 8.4 Procedures for Establishing the Score Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.3 8.5 Procedures for Establishing the Level Scores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.7 Chapter 9 Equating and Linking. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1 9.1 Equating Method and Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1 9.2 Mode Comparability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2

9.2.1 Mode Comparability: Study Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3 9.2.2 Mode Comparability: Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3 9.2.3 Mode Comparability: Comparisons on Items, Tests, and Score Conversions . . . . . . . . . . 9.4 9.2.4 Mode Comparability: Score Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 .7 9.3 Linking Applied Mathematics to Applied Math Score Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.9 9.3.1 Study Design and Sample Representativeness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.9 9.3.2 Comparison of Omit Rates and Testing Time Between Applied Mathematics and Applied Math. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.10 9.3.3 Scale Score Distributions for Applied Mathematics and Applied Math . . . . . . . . . . . . . . 9.11 9.3.4 Concordance from Applied Mathematics to Applied Math . . . . . . . . . . . . . . . . . . . . . . . 9.12 9.3.5 Evaluation of Applied Mathematics Forms After Linking . . . . . . . . . . . . . . . . . . . . . . . . . 9.12 Chapter 10 Reliability and Measurement Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.1 10.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.1 10.2 Reliability Coefficients and Standard Error of Measurement (SEM) . . . . . . . . . . . . . . . . . . . . 10.2 10.3 Generalizability Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.3 10.4 Classification Consistency of Level Scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.4 Chapter 11 Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 11.1 Validation of Test Score Uses and Interpretations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 11.2 Purpose of the Applied Math Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2

iii WORKKEYS APPLIED MATH TECHNICAL MANUAL

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download