Cisco ParStream Manual, Release 6.0

Cisco ParStream

Cisco ParStream Manual

? 2018 Cisco and/or its affiliates.

Document Information:

Title:

Cisco ParStream Manual

Version:

6.0.1

Date Published:

Date Printed: November 12, 2018

? 2018 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public.



Table of Contents

Cisco ParStream Manual

i

Table of Contents

iii

1 Preface

1

1.1 About Cisco ParStream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.3 Key Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.4 Document Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.5 Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.6 Typographical Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.7 Command Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.8 Administrator/User . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2 Installation

4

2.1 Installation Overview and Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.2 Supported Platforms and Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.3 Third Party Package Versions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.4 Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.5 Configuring Linux OS for Cisco ParStream . . . . . . . . . . . . . . . . . . . . . . . . 8

2.6 Installing Cisco ParStream Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.7 PAM Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.8 Cisco ParStream Installation Directory Tree . . . . . . . . . . . . . . . . . . . . . . . 12

2.9 Administrative User 'parstream' . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.10 Systemd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3 Getting Started Tutorial

15

3.1 Cisco ParStream Database Software . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.2 Database Data Storage Location . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3 Additional Packages Required to Run the Tutorial . . . . . . . . . . . . . . . . . . . . 15

3.4 General Directory Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.5 Create a Minimal Cluster Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.6 Provide a Table Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.7 Start the Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Page iii

3.8 View Processes and Open Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.9 Using Interactive SQL Utility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.10 Connect and View Cluster Information . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.11 Defining a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.12 Start the Importer to Load Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.13 Run Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.14 Stop the Cisco ParStream Server and the Cisco ParStream Importer . . . . . . . . . 24 3.15 Cleanup the Cluster and Restore the Tutorial Environment . . . . . . . . . . . . . . . 25

4 Important Constraints Using Cisco ParStream

26

4.1 Important General Constraints with Data Types . . . . . . . . . . . . . . . . . . . . . 26

4.2 Important General Constraints with SQL Commands . . . . . . . . . . . . . . . . . . 26

4.3 Important General Constraints when Importing Data . . . . . . . . . . . . . . . . . . 27

5 Database Design

28

5.1 Data Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

5.2 Schema/Metadata Versioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.3 Bitmap Indices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

6 Clustering and Distribution

39

6.1 High Availability and Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

6.2 Running Cisco Parstream with Multiple Server Nodes . . . . . . . . . . . . . . . . . . 39

6.3 Partition Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

7 Dynamic Columns

60

7.1 Motivation for Dynamic Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

7.2 Using Dynamic Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

8 Database Configuration

72

8.1 Conf Directories and INI Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

8.2 Internationalization (I18N) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

9 Server Administration

75

9.1 Starting the Servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

9.2 User Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

9.3 DBMS Scheduler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

9.4 Stored Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Page iv

9.5 Monitoring, Logging, and Debugging . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

10 Importing Data

87

10.1 Overview of Data Import . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

10.2 General Import Characteristics and Settings . . . . . . . . . . . . . . . . . . . . . . . 88

10.3 General Format of CSV Import Files . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

10.4 CSV File Format of Specific Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

10.5 Using the CSV Importer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

10.6 ETL Import . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

10.7 Import Data with INSERT INTO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

11 Deleting Data

108

11.1 Delete Statements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

12 Client Applications and Tools

109

12.1 Database Clients pnc and netcat . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

12.2 PSQL client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

13 Options Reference

115

13.1 Commandline Arguments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

13.2 Global Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

13.3 Server-Section Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

13.4 Import-Section Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

13.5 Optimization Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

14 Merging Partitions

151

14.1 Merging Partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

14.2 ETL Merge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

15 Performance Optimizations

158

15.1 Execution Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

15.2 Careful Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

15.3 Partition Exclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

15.4 ORDER BY Bitmap Index Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . 165

15.5 Optimizing the Partition Access Tree . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

15.6 Smart Query Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

15.7 JOIN Optimizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

Page v

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download