3.1.1创建查询

GDC的查询在r中开始。查询遵循GDC上可用的四个元数据端点。具体来说，每个函数都创建了四个方便函数GDCQuery对象(实际上是GDCQuery)：

• 项目()
• 例()
• 文件()
• 注释()

Pquery = projects()

的pqueryobject现在是(S3)类的对象，GDCQuery(和gdc_projects而且列表)．该对象包含以下元素:

• fields:这是一个字段的字符向量，当我们检索数据．如果没有指定字段，例如项目()函数，则使用GDC中的默认字段(参见default_fields ()）
• 方法调用后将包含结果filter ()方法并将用于筛选结果检索．
• facet:字段名的字符向量，将用于聚合数据打电话给聚合()．
• archive:默认或“遗产”．
• token:来自GDC的字符(1)令牌。看到身份验证部分获取详细信息，但请注意，通常情况下，令牌对于元数据查询和检索不是必需的，仅用于实际数据下载。

看实际对象(习惯使用str ()!)，注意该查询不包含任何结果。

str (pquery)

## 5 # $字段列表:chr [1:10] "dbgap_accession_number" "disease e_type" "intended_release_date" "name"…## $ filters: NULL ## $ facets: NULL ## $ legacy: logi FALSE ## $ expand: NULL ## - attr(*， "class")= chr [1:3] "gdc_projects" "GDCQuery" "list"

3.1.2检索结果

[GDC分页文档]

[GDC排序文档]

有了查询对象，下一步就是从GDC检索结果。基因组数据共通包。我们能得到的最基本的结果类型是一个简单的count ()满足筛选条件的可用记录的。注意，我们没有设置任何过滤器，所以acount ()这里将呈现所有在GDC上公开的“默认”存档项目记录。

Pcount = count(pquery) #或Pcount = pquery %>% count() Pcount

## [1] 40

的结果()方法将获取实际结果。

results = pquery %>% results()

这些结果将于年从GDC返回JSON格式并转换为r中的(可能嵌套的)列表str ()方法对于快速查看数据非常有用。

str (presults)

## $ dbgap_accession_number: chr [1:10] NA NA NA NA…## $疾病类型:10个## ..$ TCGA-UVM: chr“葡萄膜黑色素瘤”## ..$ TCGA-STAD: chr“胃腺癌”##…$ TCGA-LUSC: chr“肺鳞癌”## ..$ TCGA-UCEC: chr“子宫肌体子宫内膜癌”## ..$ TCGA-CHOL: chr“胆管癌”##…$ TCGA-OV: chr“卵巢浆液性囊腺癌”## ..$ TCGA-ACC: chr“肾上腺皮质癌”##…$ TCGA-MESO: chr“间皮瘤”##…$ TARGET-AML: chr“急性髓系白血病”##…$ TCGA-LGG: chr“大脑低级别胶质瘤”## $发布:logi[1:10]真真真真真真…## $ state: CHR[1:10] "遗产" "遗产" "遗产" "遗产" "遗产"… ## $ primary_site :List of 10 ## ..$ TCGA-UVM : chr "Eye" ## ..$ TCGA-STAD : chr "Stomach" ## ..$ TCGA-LUSC : chr "Lung" ## ..$ TCGA-UCEC : chr "Uterus" ## ..$ TCGA-CHOL : chr "Bile Duct" ## ..$ TCGA-OV : chr "Ovary" ## ..$ TCGA-ACC : chr "Adrenal Gland" ## ..$ TCGA-MESO : chr "Pleura" ## ..$ TARGET-AML: chr "Blood" ## ..$ TCGA-LGG : chr "Brain" ## $ project_id : chr [1:10] "TCGA-UVM" "TCGA-STAD" "TCGA-LUSC" "TCGA-UCEC" ... ## $ id : chr [1:10] "TCGA-UVM" "TCGA-STAD" "TCGA-LUSC" "TCGA-UCEC" ... ## $ name : chr [1:10] "Uveal Melanoma" "Stomach Adenocarcinoma" "Lung Squamous Cell Carcinoma" "Uterine Corpus Endometrial Carcinoma" ... ## - attr(*, "row.names")= int [1:10] 1 2 3 4 5 6 7 8 9 10 ## - attr(*, "class")= chr [1:3] "GDCprojectsResults" "GDCResults" "list"

默认情况下只返回10条记录。我们可以用大小而且从参数结果()对结果进行分页或更改结果的数量。最后，还有一个方便的方法，results_all ()这将简单地获取给定查询的所有可用结果。请注意,results_all ()如果不小心使用，可能需要很长时间并返回巨大的结果集。组合的使用count ()而且结果()在调用之前，有必要了解预期的数据大小results_all ()

长度(ids (presults))

## [1]

resulsults = pquery %>% results_all() length(ids(Presults))

## [1] 40

#包含所有记录长度(ids(presults)) == count(pquery)

##[1]真

提取结果子集或将结果操作为更传统的R数据结构是不容易泛化的。然而,purrr，rlist,data.tree对于操作复杂的、嵌套的列表结构，包都是潜在的兴趣点。要在交互式查看器中查看结果，请考虑列表视图包中。

在的情况下项目实体，默认结果(即使用默认字段)可以很容易地简化as.data.frame．

头(as.data.frame (presults))

3.1.3字段和值

(环球数码创意字段文档)

从GDC查询和检索数据的核心功能是指定要返回哪些字段，根据字段和值进行过滤，以及分面或聚合。基因组数据公共包包括两个简单的功能，available_fields ()而且default_fields ()．每个都可以操作一个字符(1)端点名称(“case”、“files”、“annotations”或“projects”)或一个GDCQuery对象。

default_fields(“文件”)

##[1]“access”“acl”“created_datetime”##[4]“data_category”“data_format”“data_type”##[7]“error_type”“experimental_strategy”“file_autocomplete”## b[10]“file_id”“file_name”“file_size”##[13]“file_state”“md5sum”“origin”##[16]“platform”“revision”“state”##[19]“state_comment”“submitter_id”“tags”##[22]“type”“updated_datetime”

#文件端点长度的可用字段的数量(available_fields('files'))

## [1] 592

#文件端点头可用的前几个字段(available_fields('files'))

## [1] "access" "acl" ##[3] "分析。analysis_id”分析。Analysis_type“##[5]”分析。created_datetime analysis.input_files.access”

查询返回的字段可以按照与dplyr包类似的范例指定。的select ()函数是重置字段槽的谓词GDCQuery；注意，这与dplyr并不完全类似select ()限制已存在字段的动词。我们完全取代使用时的字段select ()在一个GDCQuery．

qcases = cases() qcases$fields

[1]“aliquot_ids”“analyteids”##[3]“case_autocomplete”“case_id”##[5]“created_datetime”“days_to_index”##[7]“days_to_lost_to_followup”“疾病类型”##[9]“index_date”“lost_to_followup”##[9]“portion_ids”“primary_site”##[13]“sample_ids”“slide_ids”##[15]“state”“submitter_aliquot_ids”##[17]“submitter_analyte_ids”“submitter_sample_ids”##[19]“submitter_portion_ids”“submitter_sample_ids”## b[19]“submitter_portion_ids”“submitter_sample_ids”##[21]“submitter_slide_ids”##[21]“submitter_slide_ids”“updated_datetime”

#设置查询使用所有可用字段#注意字段的检查是通过select() qcases = cases() %>% GenomicDataCommons::select(available_fields('cases')) head(qcases$fields)完成的

##[1]“case_id”“aliquot_ids”##[3]“analyte_ids”“注释。Annotation_id“##[5]”注释。case_id annotations.case_submitter_id”

寻找感兴趣的领域是一种非常常见的操作，因此基因组数据共享包括grep_fields ()功能和field_picker ()小部件。有关详细信息，请参阅相应的帮助页面。

3.1.4facet和聚合

(环球数码创意方面文档)

GDC API提供了一种称为聚合或面化的功能。通过指定一个或多个字段(适当类型)，GDC可以返回与每个潜在值匹配的记录数量的计数。这类似于R表格方法。可以一次返回多个字段，但GDC API没有交叉列表功能;所有聚合一次只在一个字段上。的结果聚合()调用以data.frames(实际上是tibbles)列表的形式返回。

#特定类型的文件总数res = files() %>% facet(c('type'，'data_type')) %>% aggreations () res$type . #

使用聚合()也是一种学习各个字段内容的简单方法，并形成面向面搜索页面的基础。

3.1.5过滤

(环球数码创意过滤文档)

GenomicDataCommons包使用一种非标准的评估形式来指定类似R的查询，然后将其翻译成R列表。在调用从GDC API获取结果的方法时，R列表被转换为适当的JSON字符串。R表达式使用由Hadley Wickham在他的关于非标准评估的小插图

最好使用公式，因为公式可以同时捕获要计算的表达式和计算发生的环境。如果表达式是数据帧中的变量和本地环境中的对象的混合物，这就很重要[例如]。

对于用户来说，这些细节并不太重要，只是需要注意过滤器表达式必须以“~”开头。

Qfiles = files() Qfiles %>% count() #所有文件

## [1] 310858

方法来限制文件类型面饰部分查看文件字段“type”的可能值。例如，要将文件结果过滤为“gene_expression”文件，只需指定一个过滤器。

Qfiles = files() %>% filter(~ type == 'gene_expression') #这里是翻译后的过滤器的样子str(get_filter(Qfiles))

## $ op: class 'scalar'， 'character' chr "=" ## $ content:List of 2 ## ..$ field: CHR "type" ## ..$ value: CHR "gene_expression"

如果我们想要创建一个基于项目的过滤器(例如' TCGA-OVCA ')呢?我们有几种可能的方法来发现可用字段。第一个是基于基本R功能和一些直觉。

grep(“pro”available_fields(“文件”),价值= TRUE)

## [1] "cases. diagnostics。Progression_free_survival " ## [2] "cases. diagnostics。“##[3]”case . diagnostics。“##[4]”case .project。Dbgap_accession_number“##[5]”case .project。疾病类型“##[6]”case .project.intended_release_date“##[7]”case .project.name“##[8]”case .project.namePrimary_site“##[9]”case .project.program。Dbgap_accession_number“##[10]”case .project.program.name“##[11]”case .project.program.nameProgram_id“##[12]”case .project。Project_id“##[13]”case .project。可发布的“##[14]”case .project。发布“##[15]”case .project。声明" ## [16]"cases.samples。Days_to_sample_procurement“##[17]”case .samples。方法_of_sample_procurement" ## [18] "cases.samples.portions.slides.number_proliferating_cells" ## [19] "cases.tissue_source_site.project"

有趣的是，项目信息“嵌套”在案例中。我们不需要知道这些细节，只需要知道我们现在对信息在文件记录中的位置有一些可能的猜测。我们需要知道在哪里，因为我们需要构造适当的过滤器。

Files () %>% facet('cases.project.project_id') %>% aggreations ()

# # cases.project美元。project_id # #键doc_count FM-AD # # 36134 # # 27207 # # 3 TCGA-BRCA TCGA-LUAD 14804 # # 4 TCGA-UCEC 13604 # # 13124 # # 6 TCGA-HNSC TCGA-LUSC 12895 # # 7 TCGA-LGG 12603 # # 8 TCGA-THCA 12703 # # 9 TCGA-OV TCGA-PRAD 13054 # # 12568 # 11824 # 11 TCGA-COAD # # 11265 # # 13 TCGA-SKCM TCGA-KIRC 12272 # # 14 TCGA-STAD TCGA-BLCA 10731 # # 10193 # # 16 TCGA-GBM 9657 # # 17 TCGA-LIHC 9511 18 TCGA-CESC 7349 # # # # 19 TCGA-KIRP 7368 # # 6282 # # 21 TCGA-ESCA TCGA-SARC 4473 # # 22 TCGA-PAAD 4433 # # 23Tcga-pcpg 4422 ## 24 tcga-read 4012 ## 25 tcga-laml 3954 ## 26 tcga-tgct 3636 ## 27 target-nbl 2806 ## 28 tcga-thym 2974 ## 29 target-aml 1873 ## 30 tcga-acc 2108 ## 31 target-wt 1324 ## 32 tcga-meso 2050 ## 33 tcga-uvm 1928 ## 34 tcga-kich 1853 ## 35 tcga-ucs 1364 ## 36 tcga-chol 1157 ## 37 tcga-dlbc 1163 ## 38 target-os 4 ## 39 target-rt 174 ## 40 target-ccsk 2

我们注意到cases.project.project_id看起来挺合适的。我们也注意到TCGA-OV正确的project_id，不是吗TCGA-OVCA．请注意,不像dplyr和他的朋友们filter ()方法在这里替换过滤器，并且不构建在任何先前的过滤器之上．

Qfiles = files() %>% filter(~ case .project. filter)project_id == 'TCGA-OV' & type == 'gene_expression') str(get_filter(qfiles))

## $ op:类的“标量”，“字符”chr”和“## $ content: 2 ##的列表。$: 2 ## .. ..的列表$ op:类“标量”,“性格”对应  "=" ## .. ..$ content: 2 ## .. .. ..的列表$ field: CHR“case .project”。Project_id " ## .. .. ..$ value: chr "TCGA-OV" ##…$: 2 ## .. ..的列表$ op:类“标量”,“性格”对应  "=" ## .. ..$ content: 2 ## .. .. ..的列表$ field: CHR“type”## .. .. ..$ value: CHR "gene_expression"

Qfiles %>% count()

## [1] 1137

请求count ()在给定这些新的过滤条件的结果中，给出1137个结果。为批量下载生成清单非常简单，只需从当前查询中请求清单即可。

manifest() %>% manifest() head(manifest_df)

请注意，我们可能还没有完全到达那里。查看文件名，有可疑的命名文件可能包括“FPKM”、“FPKM- uq”或“counts”。又一轮grep而且available_fields，寻找“型”，翻出“场”的分析。Workflow_type "具有适当的筛选条件。

Qfiles = files() %>% filter(~ case .project. filter)project_id == 'TCGA-OV' & type == 'gene_expression' &分析。workflow_type == 'HTSeq - Counts') manifest() = qfiles %>% manifest() nrow(manifest)

## [1] 379

可以使用GDC数据传输工具(from R;转移()或从命令行)来编排清单中所有文件的高性能、可重新启动的传输。看到批量下载部分获取详细信息。

3.3.1通过GDC API下载数据

的gdcdata函数接受一个或多个文件id的字符向量。生成这样一个向量的一个简单方法是生成A清单数据帧，然后传递在第一列，其中将包含文件id。

fnames = gdcdata(manifest_df$id[1:2]，progress=FALSE)

注意，对于受控访问数据，使用GDC身份验证令牌是必需的。使用BiocParallel软件包可能对并行下载很有用，特别是对于大量的小文件。

3.3.2批量下载

批量下载功能仅适用于相对较大的文件(GDC Data Transfer Tool的v1.2.0版本)，因此仅在传输BAM文件或较大的VCF文件时使用此方法。否则，可以考虑使用上面所示的方法，或者并行使用。

Mfile = tempfile()写入。表格(manifest_df[1:50,],mfile, col.names=TRUE, row.names=FALSE, quote=FALSE,sep="\t") transfer(mfile,gdc_client='gdc-client')

## [1] "/tmp/Rtmpc94Mpv/filef5b2101d0c2"

3.3.3BAM切片

以下4.4.1每个project_id有多少个案例?

Res = cases() %>% facet("project.project_id") %>% aggreges () head(Res)

# # $项目。project_id # #键doc_count FM-AD # # 18004 # # 1127 # # 3 TARGET-NBL TCGA-BRCA 1098 # # 4 TARGET-AML 988 # # 652 # # 6 TCGA-GBM TARGET-WT 617 # # 7 TCGA-OV 608 # # 8 TCGA-LUAD 585 # # 9 TCGA-UCEC TCGA-KIRC 560 # # 537 # 528 # 11 TCGA-HNSC # # 516 # # 13 TCGA-LGG TCGA-THCA 507 # # 14 TCGA-LUSC TCGA-PRAD 504 # # 500 # # 16 TCGA-SKCM 470 # # 17 TCGA-COAD 461 18 TCGA-STAD 443 # # # # 19 TCGA-BLCA 412 # # 381 # # 21 TCGA-LIHC目标os 377 # # 22 TCGA-CESC 307 # # 23 TCGA-KIRP 291 24 TCGA-SARC 261 # # # #25 tcga-laml 200 ## 26 tcga-esca 185 ## 27 tcga-paad 185 ## 28 tcga-pcpg 179 ## 29 tcga-read 172 ## 30 tcga-tgct 150 ## 31 tcga-thym 124 ## 32 tcga-kich 113 ## 33 tcga-acc 92 ## 34 tcga-meso 87 ## 35 tcga-uvm 80 ## 36 target-rt 75 ## 37 tcga-dlbc 58 ## 38 tcga-ucs 57 ## 39 tcga-chol 51 ## 40 target-ccsk 13

图书馆(ggplot2) ggplot (res美元项目。Project_id,aes(x = key, y = doc_count)) + geom_bar(stat='identity') + theme(axis.text. text)。X = element_text(angle = 45, hjust = 1))

4.1.2在所有TARGET项目中包含了多少案例?

cases() %>% filter(~ project.program.name=='TARGET') %>% count()

## [1] 3236

4.1.3TCGA项目中包含多少案例?

例()% > %过滤器(~ project.program.name = =, TCGA) % > %数()

## [1] 11315

4.1.4TCGA-BRCA中样本类型的细分是什么?

在这里执行“&”是GDC API当前版本的要求。我已经提交了一个功能#请求删除这一要求。Resp = cases() %>% filter(~项目。project_id=='TCGA-BRCA' &项目。project_id=='TCGA-BRCA') %>% facet('samples.sample_type') %>% aggregs () resp$samples.sample_type

4.1.5取TCGA-BRCA中所有以“固体组织”为标准的样本。

在这里执行“&”是GDC API当前版本的要求。我已经提交了一个功能#请求删除这一要求。Resp = cases() %>% filter(~项目。project_id=='TCGA-BRCA' &样本。sample_type=='Solid Tissue Normal') %>% GenomicDataCommons::select(c(default_fields(cases())，'samples.sample_type')) %>% response_all() count(resp)

## [1] 162

Res = resp %>% results() str(Res [1]，list.len=6)

## 1 ## $ updated_datetime: chr [1:162] "2017-03-04T16:39:19.244769-06:00" "2017-03-04T16:39:19.244769-06:00" "2017-03-04T16:39:19.244769-06:00"…

头(ids(职责))

##[6]“##[6]”“##[2]”“##[2]”“##[2]”“##[3]”“a851ca14-7bbf-455b-a054-ec03979a4247”“##[5]”“##[5]”“##[6]”

4.2.1每种类型的文件有多少可用?

Res = files() %>% facet('type') %>% aggreations () Res $type

Ggplot (res$type,aes(x = key,y = doc_count)) + geom_bar(stat='identity') + theme(axis.text. key)。X = element_text(angle = 45, hjust = 1))

4.2.2找到GBM的基因级RNA-seq定量文件

q = files() %>% GenomicDataCommons::select(available_fields('files')) %>% filter(~ case .project。project_id=='TCGA-GBM' & data_type=='基因表达量化')q %>% facet('analysis.workflow_type') %>% aggretsations ()

# # $分析。workflow_type ## key doc_count ## 1 HTSeq - Counts 174 ## 2 HTSeq - FPKM 174 ## 3 HTSeq - FPKM- uq 174

#所以需要添加另一个过滤器file_ids = q %>% filter(~ case .project. #)project_id=='TCGA-GBM' & data_type=='基因表达量化' &分析。workflow_type == 'HTSeq - Counts') %>% GenomicDataCommons::select('file_id') %>% response_all() %>% ids()

4.3.1从TCGA-GBM中获取所有BAM文件id

我需要弄清楚如何在测试环境中重复地切片和小插图建筑．

q = files() %>% GenomicDataCommons::select(available_fields('files')) %>% filter(~ case .project。project_id == 'TCGA-GBM' & data_type == 'Aligned Reads' & experimental_strategy == 'RNA-Seq' & data_format == 'BAM') file_ids = q %>% response_all() %>% ids()

bamfile = slicing(file_ids[1]，regions="chr12:6534405-6538375"，token=gdc_token()) library(GenomicAlignments) alignments = readGAlignments(bamfile)