AGDC Documentation

AGDC Documentation

Release 1.0.4+330.gaf2cb0e Geoscience Australia, CSIRO, NCI

June 06, 2016

User Guide

1 Overview

3

1.1 Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2 Australian Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2.1 NCI Usage Guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Installation

5

2.1 Microsoft Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.1 Python 2.7 or Python 3.5 environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.2 Python modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.1.3 PostgreSQL Portable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.4 Datacube installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.5 Extra instructions for installing Compliance Checker . . . . . . . . . . . . . . . . . . . . . 7

2.2 Ubuntu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2.1 Required software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2.2 Python and packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.3 Mac OS X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.3.1 Required software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.3.2 Python and packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3 Database Setup

11

3.1 Create Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2 Create Configuration File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.3 Initialise the Database Schema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

4 Loading Data into your Data Cube

13

4.1 Prerequisites for Indexing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.2 Product Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.3 Loading Product Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.4 Dataset Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4.5 Adding Some Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

5 Ingestion

15

5.1 Ingestion Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

5.2 Ingest Some Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

6 Configuration Files

17

6.1 Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

6.2 Dataset Metadata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

6.3 Ingestion Config . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

i

6.4 Runtime Config . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

7 Dataset Preparation Scripts

25

7.1 Custom Prepare Scripts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

8 Command Line Tool

27

8.1 datacube . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

8.2 datacube-search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

9 Developers Guide

31

9.1 Search API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

9.2 Data Access API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

9.3 Exploratory Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

9.4 Datacube Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

9.5 Datacube Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

10 Data Access API

33

10.1 Datacube Class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

10.1.1 datacube.Datacube.__init__ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

10.1.2 Core Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

10.1.3 Advanced Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

10.2 GridWorkflow Class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

10.2.1 datacube.api.GridWorkflow.__init__ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

10.2.2 datacube.api.GridWorkflow.list_cells . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

10.2.3 datacube.api.GridWorkflow.list_tiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

10.2.4 datacube.api.GridWorkflow.load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

10.3 API for Analytics and Execution Engine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

10.3.1 datacube.api.API.__init__ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

10.3.2 datacube.api.API.list_products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

10.3.3 datacube.api.API.list_variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

10.3.4 datacube.api.API.get_descriptor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

10.3.5 datacube.api.API.get_data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

11 Model

43

12 Database and Indexing

45

12.1 Public Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

12.2 Private Indexing Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

12.3 PostgreSQL Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

12.3.1 PostgreSQL Access API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

12.3.2 Indexing Fields inside Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

13 What's New

51

13.1 v1.1-prerelease Unification (3 June 2016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

13.2 1.0.4 Square Clouds (3 June 2016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

13.3 1.0.3 (14 April 2016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

13.4 1.0.2 (23 March 2016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

13.5 1.0.1 (18 March 2016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

13.6 1.0.0 (11 March 2016) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

13.7 pre-v1 (end 2015) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

14 Glossary

53

15 AGDC License

55

16 Support

57

ii

17 Indices and tables

59

Python Module Index

61

iii

iv

AGDC Documentation, Release 1.0.4+330.gaf2cb0e

The Australian Geoscience Data Cube provides an integrated gridded data analysis environment for decades of analysis ready earth observation satellite and related data from multiple satellite and other acquisition systems. In 2014, Geoscience Australia, CSIRO and the NCI established the Australian Geoscience Data Cube, building on earlier work of Geoscience Australia and expanding it to include additional earth observation satellite and other gridded data collections (e.g. MODIS, DEM) in order to expand the range of integrated data analysis capabilities that were available. The complete software stack and petabytes of EO are deployed at the NCI petascale computing facility for use by NCI users.

User Guide

1

AGDC Documentation, Release 1.0.4+330.gaf2cb0e

2

User Guide

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download