woodcorpse的个人博客分享 http://blog.sciencenet.cn/u/woodcorpse

博文

宏基因组数据提交GSA实操手册—发表文章前必备技能

已有 5606 次阅读 2020-2-21 15:27 |个人分类:宏基因组|系统分类:科研笔记

GSA简介

GSA是Genome Sequence Archive的缩写,即基因组序列存档,由中科院基因组所主办。

网址http://gsa.big.ac.cn/

之前介绍过NCBI提交测序数据,- 原始数据极速上传NCBI SRA教程,还有
中国核酸数据库GSA数据提交指南

这些教程太过于笼统,对于特定类型数据的信息填写大家还有很多困惑。

因为,我们带来了微生物组领域最常用的扩增子和宏基因组数据提交教程。

今天为大家推荐由中科院基因组所创办的国内大数据中心GSA的宏基因组数据提交实例。

网址:http://gsa.big.ac.cn/

image

全中文界面,被Nature、Science和Cell等顶级杂志全面认可。可实现全自动化数据提交,无人值守,有问题邮箱和QQ群技术支持

联系方式:gsa@big.ac.cn;QQ群:548170081

开始前准备:注册/登陆

访问:http://gsa.big.ac.cn/ ,第一次使用请先点击菜单栏右侧的 Register ,按提示注册一个新用户。

image

一定要记清楚你的 用户名 和 密码,成功后重新访问主页 点击 Login 登陆。

image

登陆成功,右上角会显示 Welcome, XXX

新建BioProject

主页 http://gsa.big.ac.cn/

image

点击主页面中的“提交”——访问 http://gsa.big.ac.cn/ ,使用组内帐号登陆 Login,点击提交可看到历史提供GSA记录。新项目要建新BioProect。

http://bigd.big.ac.cn/gsub/submit/bioproject/list

必须的信息主要是提交者个人基本信息,还有项目的名称、基金和简介等。

如下为一个示例的项目信息供参考:

项目标题: Human gut microbiome

涉及领域: Medical

项目说明: Human gut microbiota relation with cancer 

数据类型:Metagenome 和 Metagenomic assembly

样品范围:Enviroment

一般提交后马上可获得项目编号,如PRJCA00xxxx这种格式,请记录好,马上要用,文章里也要写。

注:一篇文章中一般有一个项目号,但一个项目可以有多种类型、多批次的数据,即可以包括下次不同批次的GSA。

数据上传

使用Filezilla登陆 submit.big.ac.cn ,帐号和密码同网站注册账号,登陆

image

Filezill新建站点填写内容:主机、账号和密码

image

登陆成功后,上传数据至GSA目录中(最好每批数据建一个子目录,再把左侧数据选中后右键上传或托入右侧)

批量提交样本信息

主页 http://gsa.big.ac.cn/

提交 —— 新建GSA批量提交

01 提交者信息

默认会自动填写你注册时预留的信息,可直接点击保存并进入下一项

image

02 基本信息

发布日期默认选择 审核通过后即可发布(推荐)

阅读下方声明请后,选择I accept it.

填写样本标题和描述,如下示例

标题:A simple metagenome project for pipeline test

描述:Shotgun metagenome of human gut microbiota. Two groups include normal and caner. Each group has 6 individuals.

项目编号可以选择你之前创建的BioProject。

点击保存并进入下一项

03 样本类型

选择Metagenome,有人类肠道(human-gut)、土壤(soil)和水(water)三大类。我们选择human=gut

注:不是以上三类,属于其它,选择Metagenome/Environmental Sample (GSC MIMS unsupported)

点击保存并进入下一项

04 样本属性

下载 BioSample批量提交模板文件 MetagenomeMIMS.me_human-gut.cn.xlsx,也有示例文件e.g.MetagenomeMIMS.me_human-gut.cn.xlsx供参考(注:这个模板是人类扩增子的模板,对于宏基因组参考意义不大)。

注:模板经常更新,请以官网为准,本次提供的文件仅供参考。

主要填写的字段介绍,详见e.g.MetagenomeMIMS.me_human-gut.cn.xlsx表格中的Description页面有比较详细的中文简介:可以只读星红色的必填部分

image
image

下面是一些我的个人经验

  • *sample_name: 样品名,推荐字母开头,字母和数据组合的名称,且必须唯一,详见 样品命名 注意事项 实例教程。
  • *public_description:填写样本的详细描述,重点突出你的实验分组信息,比如我们实验是分为2组,每组有6个个体,这些分类和个体描述是重点。如“Gut microbiota from cancer patient 1”
  • *project_accession填写;即本项目注册的项目编号 PRJCA00xxxx
  • *sample title;可以是样本名的全称描述。如”Shotgun metagenomic sequencing of human fecal C1。
  • *organism:物种,单一物种要填拉丁名,我们研究肠道宏基因组是多物种,填写human gut metagenome
  • *host:宿主来源,添宿主的拉丁名,如人类填写Homo sapiens
  • *collection_date:采样时间,年月日格式,如2014/8/1
  • *geographic_location:采样地点,国家:省/市,如China: Beijing
  • *latitude_longitude:经纬度,最好采样的时间用手机指南指定位下,格式到小数点后两位分,如:39.91 N 116.34 E。百度地图中——开放平台——坐标拾取器,可显示目标的经纬度。
  • *env_broad_scale: 样本生存大环境的描述,如人类肠道填写“digestive tract enviroment”,土壤就填 soil
  • *env_local_scale:添加对样本有因果影响的小环境描述,支持多个词用逗号分隔,此处填“Intestinal”
  • *environment_medium:样本中包含的物质,此处填“fecal material”
  • 其它非必须选项可如实填写即可,没有可不填

image
填写完的示例格式

填写并保存好Excel样本信息后(MetagenomeMIMS.me_human-gut.cn.xlsx),点击请选择文件选择样本信息文件,然后点上传,然后再点击 校验。没问题会提示Checked OK

image
上传并校验成功。

如果校验失败,请参考error.txt报告和参考的模板修改,直到通过校验。

点击保存并进入下一项

05 元数据信息

下载 元数据 提交模板文件 GSA_Template.cn.xlsx,也有示例文件e.g.GSA_Template.cn.xlsx供参考(不过这个示例是m6A转录组测序数据,不是扩增子或宏基因组,参考意义不大)

包括Experiment(实验样品)和Run(测序样品,一个实验样品可能有多个测序样品)两页:

实验样品信息

下面是官方描述可以读一下实验样本信息的填写说明。再往下有我的填写经验指南:

image

  • *ID:E1, E2, …,不够的按顺序补,多余的删除。我们有12个样品,则删除E13起的样品名
  • *Experiment title:如果你的实验和样本是一一对应,此处可以填写上面样品的public_description(样本描述),或者进一步技术简介,如样本描述sample_title,如“Shotgun metagenomic sequencing of human fecal C1”
  • *BioProject accession: 同上 project_accession
  • *BioSample name:同上 sample_name
  • BioSample accession:不填
  • *Platform:选择测序平台,有几十种可选,宏基因组PE150测序常用 Illumina HiSeq X ten,NovaSeq 6000两种平台,PE100常用 BGISEQ-500 平台。这里我们使用的是 BGISEQ-500 产出的PE100数据,支持国产测序仪。
  • *DNA for each sample was extracted with FastDNA SPIN Kit (MP Biomedicals), sheared to approximately 300-500 bp using a Covaris S220 instrument. Then the libraries were constructed through end-repair, A-tailing, adapter ligation. Then it was sequenced on BGISEQ-500 platform in PE100 mode.”
  • Library name:文库名称,样本来源的文库ID,可用于研究批次效应,可不填
  • *Strategy:建库类型,选择“WGS”
  • *Source:实验材料来源类型,选择“METAGENOMIC”
  • *Selection:片段的富集或选择方法,鸟枪法宏基因组选“unspecified”
  • *Layout:测序模式,这里选“PAIRED”
  • *Read length for mate1(bp):填写 100。Illumina 平台产出数据多为150,华大BGISEQ-500产出为100
  • Read Insert size (bp)length for mate 2(bp):填写 100,同上
  • Insert size (bp):填写400,为片段的中位数,可以查看建库的胶图,也可以问实验人员打断的长度主体。

image
实验信息填写的结果预览。

测序样品信息

填写说明,请阅读:
image

下有是我的填写经验:

  • ID: R1, R2, …,不够的按顺序补,多余的删除。12个样删除R12后面的行
  • *Run title:与Experiment title 一致。注:存在一个Experiemnt有多个Run的情况,在宏基因组中很常见,如一个样本需要300GB的数据,可能需要几个文库分别建库测序才能获得目标数据量。
  • *BioProject accession: 同上project_accession
  • *Experiment accession,复制自Experiment页第一列
  • *Run data file type: 选择 fastq
  • *File name 1: 如命令 ls|grep '_1.' 获得左端序列文件名,并复制填入表(默认按字母顺序,需要确定样本已经按名称排序才能对应)
  • MD5 checksum 1: 在命令行 用md5sum *_1.fq.gz 计算左端数据md5值,并按Alt矩形选择数据粘贴入表格即可
  • File name 2: 如 ls|grep '_2.' 获得右端序列文件名,并复制填入表(默认按字母顺序,需要确定样本已经按名称排序才能对应)
  • MD5 checksum 2: 在命令行用 md5sum *_2.fq.gz 计算右端数据md5值,并按Alt矩形选择数据粘贴入表格即可

image

获取文件名列表 和 计算md5sum值和过程。注意文件名和顺序。

image
测序文件信息填写的结果预览。

填写并保存好Excel样本信息后,点击请选择文件选择样本信息文件,然后点上传,校验。没问题会提示Checked OK

点击保存并进入下一项

06 文件上传

image

我们之前已经通过Filezilla的FTP方式上传了文件,此处什么也不用操作。

点击保存并进入下一项即可。

image

如果提示 “离开此网站”,点击“离开”即可。

07概况信息

image

展示提交项目的基本信息,最后阅读确定。有问题可以点击上方的各步数字按扭跳转修改。

image

下面是每个样本的信息,没问题点击 提交

image

大功告成。

注:宏基因组一般几G-几十G要等1-2天,数据检查通过后才会分配GSA编号。

文件校验需要时间,上TB级别的数据,可能校验需要几周。而且过大的文件也容易报错,如果归档失败,请及时联系数据中心工作人员处理。如果自己文件有问题,需要删除损坏的文件重新上传。

常见问题

数据上传速度

我使用GSA上传数据,推荐使用Filezilla的FTP模式,支持断点续传,速度非常快。建义在教育网、科技网环境下使用,最快可达40 MB/S,即一般千兆网速的速度(代宽是由你的网络供应商决定的),和移动硬盘往电脑上复制飞一般的感觉。

如果你的数据特别多,而且传输速度也不快,可以联系GSA的邮箱或QQ(见主页),应该可以邮寄硬盘的。在北京,离基因组所不远可以亲自去现场复制。

上传Clean data还是Raw data

一般公司返回的数据,分有clean data和raw data两类,区别是raw data是下机按index拆分的原始数据,clean data是去除建库引物、接头污染和低质量后的序列。公司一般是按clean data收费的,而用户推荐直接使用 clean data开展下游分析。clean data 去掉的都是垃圾,raw data一般情况下真的没什么用,即浪费空间,又增长传输时间。除非你发现clean data中有问题,需要自己设置规则重新过滤,才需要使用raw data。

结论:一般只使用或上传clean data即可。

上传宏基因组数据是否要去除宿主

关于这个问题,答案是都可以。但人类最好要去除宿主在上传,因为有个人隐私的问题。

对于宿主污染特别高的宏基因组样本,如阴道液、皮肤、口腔、植物根或叶相关等。也建议去除宿主后再上传。

举个简单的例子,研究叶片的宏基因组,微生物含量仅为0.2%。你想获得6 Gb的宏基因组数据,如果叶片不进行微生物富集实验,则需要测序 6 / 0.2% = 3000 Gb的数据,一是成本过高,二是数据上传也是极耗时的。这种情况非常推荐你过滤宿主基因组相关序列,仅上传非宿主部分的宏基因组即可。

猜你喜欢

写在后面

为鼓励读者交流、快速解决科研困难,我们建立了“宏基因组”专业讨论群,目前己有国内外5000+ 一线科研人员加入。参与讨论,获得专业解答,欢迎分享此文至朋友圈,并扫码加主编好友带你入群,务必备注“姓名-单位-研究方向-职称/年级”。技术问题寻求帮助,首先阅读《如何优雅的提问》学习解决问题思路,仍未解决群内讨论,问题不私聊,帮助同行。
image

学习扩增子、宏基因组科研思路和分析实战,关注“宏基因组”
image

image

点击阅读原文,跳转最新文章目录阅读
https://mp.weixin.qq.com/s/5jQspEvH5_4Xmart22gjMA



https://blog.sciencenet.cn/blog-3334560-1219649.html

上一篇:16S扩增子数据提交GSA实操手册—发表文章前必备技能
下一篇:PlantCom:基于内参的宿主相关丰度定量分析揭示植物根系微生物组的微生物总量变化
收藏 IP: 210.75.224.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-20 10:14

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部