SMRT Link Services

SMRT Link Services

Release 5.1.0 Pacific Biosciences

Apr 26, 2018

Contents

1 Introduction

1

2 SMRT Link System Architecture High Level Overview

3

2.1 ServiceJob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.1.1 Import DataSet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.2 Fasta Reference Convert and Import . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.3 "Analysis" or "pbsmrtpipe" Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.4 Other Job Types Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.5 ServiceJob Data Model and Polymorphism . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 DataStore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.3 SMRT Link Importing of DataStoreFile(s) from a DataStore . . . . . . . . . . . . . . . . . . . . . . 6

2.3.1 PacBio DataSet Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3.2 PacBio Report Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3.3 Accessing Report(s) from SMRT Link Analysis . . . . . . . . . . . . . . . . . . . . . . . . 7

2.4 SMRT Link Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3 Tools

9

3.1 Commandline Interaction with SMRT Link Services . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.1.1 Checking the Status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.1.2 Importing a DataSet into SMRT Link Server . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.3 Submit an Resequencing Analysis Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.4 Resubmitting an Analysis Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.5 Importing/Converting a RSII movie into SMRT Link . . . . . . . . . . . . . . . . . . . . . 10

3.1.6 Querying Job History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.7 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2 Conversion and Other Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2.1 Fasta to ReferenceSet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2.2 Convert RSII movie metadata XML to HdfSubreadSet XML . . . . . . . . . . . . . . . . . 11

4 SMRT Link Analysis Services Config

13

4.1 Common Analysis Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.2 SMRT Link Bundle External Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4.3 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

5 PacBio Data Bundle Model and Services

15

5.1 Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

5.2 Example PacBio Data Bundle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

i

5.3 PacBio Data Bundle Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 5.4 SMRT Bundle Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 5.5 Servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 5.6 Legacy API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 5.7 Building a Stand Alone Chemistry Update Bundle Server . . . . . . . . . . . . . . . . . . . . . . . 18 5.8 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 5.9 Details of the Root Bundle Dir . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 5.10 Building and Starting up the Chemistry Bundle Upgrade Server . . . . . . . . . . . . . . . . . . . . 19 5.11 Getting a List of PacBio Data Bundles from SMRT Link Server . . . . . . . . . . . . . . . . . . . . 19 5.12 Bundles Stored within the SL System install . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

5.12.1 Chemistry Data Bundle Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5.13 SMRT Link PartNumbers and Automation Constraints WebService . . . . . . . . . . . . . . . . . . 20 5.14 SMRT Link Periodic Checking for Chemistry Data Bundle Upgrades . . . . . . . . . . . . . . . . . 20

6 SMRT Link Analysis Services API

21

7 Eve SMRT Server for Events and Tech Support File Uploads

23

7.1 General Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

7.2 System Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

7.3 Building, Configuring and Starting up Eve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

7.4 Build . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

7.5 Start the Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

7.6 Eve and SMRT Link Server Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

7.7 Tech Support TGZ Bundle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

7.8 Eve WebServices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

7.9 Events/Messages Generated Within SMRT Link Analysis Service . . . . . . . . . . . . . . . . . . . 26

7.9.1 How Messages are sent out of SMRT Link to External Server . . . . . . . . . . . . . . . . . 27

8 Logging configuration

29

8.1 Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

8.2 Command-Line Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

9 PacBio Update Server

33

9.1 Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

9.2 Packaging Chemistry Update Bundle Server Build . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

9.3 Install . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

9.4 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

9.5 Systemd service definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

9.6 Upgrade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

9.7 Automated build and deploy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

10 SMRT Link Services Common Tasks And Workflows

37

10.1 How to get the reports for SMRT Link Job By Id . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

10.1.1 How to get the SMRT Link reports for dataset by UUID . . . . . . . . . . . . . . . . . . . 38

10.1.2 How to get QC reports for a particular SMRT Link Run . . . . . . . . . . . . . . . . . . . . 39

10.1.3 How to get QC reports for a particular Collection . . . . . . . . . . . . . . . . . . . . . . . 40

10.1.4 How to get recent Runs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

10.1.5 How to setup a Run in Run Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

10.1.6 How to monitor progress of a SMRT Link Run . . . . . . . . . . . . . . . . . . . . . . . . 42

10.1.7 How to capture Run level summary metrics . . . . . . . . . . . . . . . . . . . . . . . . . . 44

10.1.8 How to setup a job on a particular Collection . . . . . . . . . . . . . . . . . . . . . . . . . 44

10.1.9 How to delete a SMRT Link Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

10.1.10 How to setup a SMRT Link Analysis Job for a specific Pipeline . . . . . . . . . . . . . . . . 49

10.1.11 Querying Job History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

ii

11 Disclaimer

53

iii

 ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download