1．1数据库文件和访问

数据库编译文件的下载和访问是由get_db函数，其中DNAm数组平台类型使用平台参数(见get_db ?详情)。目前支持HM450K和EPIC/HM850K平台(参见下面的平台详细信息)。请注意，存储单个数据库文件最多需要193 Gb的磁盘空间。文件对样本元数据和分析数据在各种格式，包括HDF5-SummarizedExperiment数据库目录，以及HDF5数据库文件.h5扩展。

数据库位于https://methylation.recount.bio/，文件详情如下:

sm <- as.data.frame(get_servermatrix()) sm$version <- ifelse(grepl("0-0-1"， sm$filename)， "v0.0.1"， ifelse(grepl("0-0-2"， sm$filename)， "v0.0.2"， ifelse(grepl("0-0-3"， sm$filename)， "v0.0.3"， "NA"))) sm$ ' size (bytes) ' <- unlist(lapply(sm$ ' size (bytes) '， function(si){val <- unlist(strsplit(si， ";")) val <- paste0(round(as.numeric(gsub("。* = ", "", val [1])) / 1 e9, 2),“g”)val})) sm < - sm(牧师(订单(sm版)美元),)如果((sm, data.frame)) {knitr: kable (sm,对齐= " c ")}

1．2ExperimentHub集成

在DNAm数组数据库文件上建立索引ExperimentHub，以及如下所示。注意，缓存需要设置为R_user_dir ()每一个指令在这里．

缓存。path <- tools::R_user_dir(" recretmethylation ") setExperimentHubOption("CACHE"， CACHE .path) hub <- ExperimentHub::ExperimentHub() #连接到hub rmdat <- AnnotationHub::query(hub， " recretmethylation ") #查询hub

除了使用getdb功能,HDF5(“。h5”" extension) files may be downloaded from the hubs.

fpath <- rmdat[["EH3778"]] #下载默认缓存rhdf5::h5ls(fpath) #加载h5文件

注意下载是使用集线器还是getdb函数，实现缓存以检查之前下载的数据库文件。

1.3免责声明

请注意以下免责声明，其中还显示了时间recountmethylation加载:

通过“重记甲基化”访问的数据库包含来自GEO (ncbi.nlm.nih.gov/geo/)的数据，GEO是一个实时公共数据库，随着时间的推移，在线记录的更改可能会导致与存储数据的差异。我们不能保证所存储数据的准确性，并建议用户与最新可用记录交叉检查他们的发现。

2.1DNAm数组

数据库包括在Illumina Infinium HM450K BeadArray平台上运行的人体样本。HM450K是一种流行的2通道平台，可探测超过48万个CpG全基因组位点，具有丰富的CG岛、基因和增强子覆盖[1]．最新发布的EPIC/HM850K平台包含了一个扩展的探针集，目标超过850,000 cpg，包括90%以上的HM450K探针，具有更大的潜在基因间调控区域覆盖范围[２]．

阵列处理为每个样本生成2个强度文件(IDATs)，红色和绿色通道各一个。这些原始文件还包含对质量评估有用的控制信号[3]．BeadArray探针使用2种珠技术中的任何一种，被称为Type I和Type II，其中大多数(72%)探针使用后者。对于II型探针，单珠分析通知一个探针，而I型探针每个使用2珠。实际上，这意味着在RGChannelSet对象大于派生对象类型中发现的探针特定矩阵(例如，对于HM450K样本，红色/绿色信号矩阵的测定量为622,399次，而甲基化/非甲基化信号、DNAm分量矩阵的测定量为485,512次，见下文)。

2．2SummarizedExperiment对象类

DNAm数组示例idat可以作为类对象读入R会话RGChannelSet，是一种SummarizedExperiment．这些对象支持对高通量基因组数据集的分析，它们包括用于分析矩阵、样本元数据和实验元数据的插槽。在一个典型的工作流中，规范化和预处理是相互转换的RGChannelSet对象转换为新的类型MethylSet而且RatioSet．虽然并非所有IDAT信息都可以从每种对象类型中访问(例如，仅可以访问)RGChannelSetS可以包含控制分析)，派生对象像MethylSet年代和RatioSetS可能更小和/或更快地访问。

三个SummarizedExperiment数据库提供如下HDF5-SummarizedExperiment文件，包括非规范化文件RGChannelSet(红/绿信号)，未归一化MethylSet(甲基化/非甲基化信号)和标准化GenomicRatioSet(DNAm分数)。对于后者，DNAm分数(logit2 beta值或m值)使用带外信号或“noob”方法进行归一化，这是一种有效的样本内归一化，可以去除信号伪影[4]．

2．3数据库文件类型

数据库文件以任意一种方式存储HDF5或HDF5-SummarizedExperiment．对于大多数R用户来说，后一种文件使用起来最方便。HDF5，或分层数据格式5，结合压缩和分块，方便处理大型数据集。HDF5-SummarizedExperiment文件结合了的优点HDF5而且SummarizedExperiment实体使用一个delayedarray支持的后端。一旦一个HDF5-SummarizedExperiment文件加载时，它可以类似于SummarizedExperiment对象在活动内存中。也就是说，摘要和子集操作快速执行，活动内存中大数据块的实现被延迟，直到脚本调用(参见示例)。

2.4元数据样本

样本元数据包含在数据库文件中的DNAm分析中。目前，元数据变量包括样本(GSM)和研究(GSE)的GEO记录id、样本记录标题、组织和疾病的学习标签、来自metasra管道的样本类型预测，以及基于年龄、性别和血细胞类型的DNAm模型预测。访问样例元数据SummarizedExperiment对象使用pDataMinfi函数(参见示例)。的例子data_analyses小插图说明了利用所提供的样例元数据的一些方法。

提供的元数据来自特定于gse的SOFT文件，其中包含实验、示例和平台元数据。在学习、协调和预测元数据标签方面做了大量的工作。某些类型的信息缺乏recountmethylation元数据可能在SOFT文件中可用，特别是如果它是非特定的样本(例如方法文本，PubMed ID等)或与DNAm派生的度量(例如DNAm摘要，预测性别等)冗余。

使用原始元数据记录验证协调的元数据是一种良好的实践，特别是在标签不明确或给定查询的信息不足的情况下。GEO GSM和GSE记录可以从浏览器中查看，也可以直接下载SOFT文件。像geoometadb和GEOquery这样的包对于查询和汇总GEO元数据也很有用。

3．1获取测试数据库

测试h5se数据集包括2个样本的22号染色体探针的样本元数据和noob归一化DNAm分数(beta值)。数据集可以使用getdb函数系列(参见getdb ?有关详情)dfp参数指定下载目的地。测试h5se文件包含在包“inst”目录中，可以按如下方式加载。

Dn <- "remethdb-h5se_gr-test_0-0-1_1590090412" path <- system. sh "文件("extdata"， dn, package = "叙述甲基化")h5se。- HDF5Array:: loadhdf5summarizeexperiment (path)

3.2检查和总结数据库

在数据集加载后，可以在数据集上使用常见的特征函数。这些函数包括SummarizedExperiment类对象，例如getBeta，pData,getAnnotationminfi功能。首先，使用标准函数检查数据集类，昏暗的,总结如下。

检查对象类

# #[1]“GenomicRatioSet”# # attr(“包”)# #[1]“minfi”

Dim (h5se.test) #获取对象尺寸

## [1] 8552 2

Summary (h5se.test) #总结数据集组件

##[1]“长度为8552的基因组比率集对象，包含0个元数据列”

访问2个可用示例的示例元数据pData．

h5se。md <- minfi::pData(h5se.test) #获取样本元数据dim(h5se.md) #获取元数据维度

## [1] 2 19

Colnames (h5se.md) #获取元数据列名

## [1] "gsm" "gsm_title" "gseid" "disease" ## [5] "tissue" "sampletype" "arrayid_full" "basename" ## [9] "age" "predage" "sex" "predsex" ## [13] "predcell。CD8T”“predcell。CD4T”“predcell。NK”“predcell。Bcell“##[17]”predcell。Mono”“predcell。格兰”“存储”

接下来得到CpG探针特定的DNAm分数，或“beta值”，与getBeta(行是探测，列是样本)。

h5se。bm <- minfi::getBeta(h5se.test) #获取dnam分数dim(h5se.bm) #获取dnam分数维度

## [1] 8552 2

Colnames (h5se.bm) <- h5se.bm。测试$gsm #为dnam分数分配样本id knitr::kable(head(h5se.bm)， align = "c") #显示dnam分数表

访问探测的清单信息getAnnotation．这包括珠子地址、探针类型和基因组坐标和区域。有关探针注释的完整细节，请参阅minfi和Illumina平台文档。

a <- minfi::getAnnotation(h5se.test) #获取平台注释dim(an) #获取注释维度

## [1] 8552 33

Colnames (an) #获取注释列名

[1]“chr”“pos”##[5]“AddressA”“AddressB”##[7]“ProbeSeqA”“ProbeSeqB”##[9]“Type”“NextBase”##[11]“Color”“Probe_rs”##[13]“Probe_maf”“CpG_rs”##[15]“CpG_maf”“SBE_rs”##[15]“CpG_maf”“Islands_Name”##[19]“Relation_to_Island”“Forward_Sequence”##[21]“SourceSeq”“Random_Loci”##[23]“Methyl27_Loci”“UCSC_RefGene_Name”##[25]“UCSC_RefGene_Accession”“UCSC_RefGene_Group”##[27]“Phantom”“DMR”##[29]“Enhancer”“HMM_Island”## [31]"Regulatory_Feature_Name" "Regulatory_Feature_Group" ## [33] "DHS"

Ant <- as.matrix(t(an[c(1:4)， c(1:3, 5:6, 9,19,24,26)])) #子集注释knitr::kable(Ant, align = "c") #显示注释表

4．1获取测试数据库

测试h5文件包括元数据和珠特定信号从22号染色体为相同的2个样本h5se测试文件。请注意getdb功能h5文件只是返回数据库路径。自从测试之后h5文件也包含在包的“inst”文件夹中，获取加载文件的路径如下所示。

Dn <- "remethdb-h5_rg-test_0-0-1_1590090412. "H5 " #获取h5se目录名H5。测试<-系统。File ("extdata"， "h5test"， dn, package = "叙述甲基化")#获取h5se目录路径

4.2检查和总结数据库

使用文件路径将数据读入RGChannelSet与getrg函数。设置all.gsm= TRUE获取数据库文件中所有样本的数据，同时将GSM id的向量传递给gsmv参数将查询可用样本的子集。默认情况下，将检索所有可用探针的信号，并且可以通过将有效珠子地址的向量传递给cgv论点。

h5。rg<- getrg(dbn = h5.test, all.gsm = TRUE) # get red/grn signals from an h5 db

避免使用全尺寸内存耗尽活动内存h5数据集，提供gsmv或cgv来getrg，并设置all.cg或all.gsm改为FALSE(见getrg ?详情)。

在前面的例子中，使用pData而且getAnnotation以分别获取样例元数据和数组清单信息。中的绿色和红色信号矩阵RGChannelSet与getRed而且getGreenminfi功能。

h5。red <- minfi::getRed(h5.rg) # get red信号矩阵h5.rg。green <- minfi::getGreen(h5.rg) # get grn信号矩阵dim(h5.red) #获取红色信号矩阵的维数

## [1] 11162 2

Knitr::kable(head(h5.red)， align = "c") #显示第一行红色信号矩阵

Knitr::kable(head(h5.green)， align = "c") #显示GRN信号矩阵的第一行

相同的(rownames(h5.red)， rownames(h5.green)) #检查CPG探针名称相同

##[1]真

这些信号矩阵中的行映射到珠地址，而不是探针id。这些矩阵的行数比h5se测试beta值矩阵，因为任何I型探针每个都使用来自2个珠子的数据。

5.1从GEO数据库服务器下载并读取idat

使用gds_idat2rg函数下载两个测试样本的IDATs，并将它们加载到一个新的RGChannelSet对象。通过传递GSM id的矢量来做到这一点gsmv和下载目的地dfp．(注意，本节中的块是完全可执行的，但不用于本小插图)。

# download from GEO dlpath <- tempdir() #获取一个临时目录路径gsmv <- c("GSM1038308"， "GSM1038309")Rg <- gds_idat2rg(gsmv, DFP = dlpath) # load sample idats into rgset colnames(geo.rg) <- gsub("\\_. Rg . "*"， ""， colnames(geo.rg)) #为列分配示例id

5.2比较DNAm信号

提取红色和绿色信号矩阵geo.rg．

地理。red <- minfi::getRed(geo.rg) # get红色信号矩阵green <- minfi::getGreen(geo.rg) # get grn信号矩阵

匹配GEO和之间的索引和标签h5测试信号矩阵。

int。地址<- intersect(rownames(geo.red)， rownames(h5.red)) #获取探测地址idRed <- geo.red[int. Red]地址，]#子集地理rgset红色信号地理。Green <- geo.green[int。地址，]#子集gro rgset GRN信号。Red <- geo. Red [order(match(rownames(geo. Red)， rownames(h5.red)))，] geo. Red。绿色<- geo.green[order(match(rownames(geo.green)， rownames(h5.green)))，] same (rownames(geo.red)， rownames(h5.red))) #检查相同地址，红色same (rownames(geo.green)， rownames(h5.green)) #检查相同地址，GRN class(h5.red) <- "integer";Class (h5.green) <- "integer" #设置矩阵数据类为整数

最后，比较信号矩阵数据。

(geo相同。#比较矩阵信号，红色

(geo相同。绿色，h5.green) #比较矩阵信号，GRN

5.3比较DNAm beta值

在将geo下载的数据与h5se.test数据库中，使用用于生成数据的带外或“noob”归一化技术对数据进行归一化h5se数据库。

地理。gr <- minfi::preprocessNoob(geo.rg) # get normalized se data

接下来，提取beta值。

地理。bm <- as.matrix(minfi::getBeta(geo.gr)) #获取归一化dnam分数矩阵

现在匹配行和列标签和索引。

h5se。Bm <- as.matrix(h5se.bm) #设置dnam分数为矩阵int。CG <- intersect(rownames(geo.bm)， rownames(h5se.bm))Bm <- geo.bm[int。共享探针id上的子集分数。Bm <- geo.bm[order(match(rownames(geo.bm)， rownames(h5se.bm)))，]

最后，比较两个数据集。

same (summary(geo.bm)， summary(h5se.bm)) #检查相同的摘要值

same (rownames(geo.bm)， rownames(h5se.bm)) #检查相同的探测id

6.1问题:大文件下载不完成

如果多次尝试下载数据库编译文件失败，您可以尝试以下方法:

• 首先确保您的互联网连接稳定，并且在下载目的地有足够的空间存放数据库文件。

• 其次，在重复下载尝试之前，尝试将超时时间增加到默认值之外getdb．检查R会话的当前超时时间getOptions(“超时”)，然后手动增加超时时间选项(timeout = new.time)．

• 最后，您可以尝试使用命令行调用将服务器文件下载到系统终端或控制台。例如，在Mac电脑上，你可以试试Wget -r ．如果这不起作用，您可以再次尝试增加超时时间并重复下载尝试。

6.2问题:未预料到的函数行为DelayedArray输入

使用时可能会出现意想不到的功能行为DelayedArray的输入。这主要是由于标准矩阵和矩阵之间缺乏互操作性DelayedArray基于矩阵。已知的例子包括:

• minfi: detectionP ()：

对于特定的数据子集抛出错误，例如对于恰好50个样本的查询。

detectionP(rg[，1:50]) # get检测pvalues from rgset "Error in .local(Red, Green, locusNames, controlIdx, TypeI. local) "红色,TypeI。Green, dim(Red_grid) == dim(detP_sink_grid) not all TRUE"

• minfi: preprocessFunnorm ()：

类调用时抛出错误RGChannelSet类型的HDF5-SummarizedExperiment．

preprocessFunnorm(rg) # get nob -normalized data "错误:'preprocessFunnorm()'只支持矩阵支持的minfi对象。"

这些错误和其他相关错误可以通过将数据查询或数据块实例化为一个新的非DelayedArray对象。例如，重新制作完整的子集h5se数据集,rg，如下。

rg。h5se <- loadHDF5SummarizedExperiment(rg.path) # full h5se RGChannelSet rg.sub <- rg.h5se[,c(1:20)] # subset samples of interest rg.new <- RGChannelSet(Red = getRed(rg.sub), Green = getGreen(rg.sub), annotation = annotation(rg.sub)) # re-make as non-DA object gr <- preprocessFunnorm(rg.new) # repeat preprocessing

另外,非DelayedArrayRGChannelSet对象可以很容易地从完整的h5RGChannelSet数据库提供的函数getrg ()．