不积小流 , 无以成江海 !分享 http://blog.sciencenet.cn/u/xiongchaoliang

博文

Aspera快速下载NGS数据

已有 11184 次阅读 2016-4-19 18:23 |个人分类:【技术-软件】|系统分类:科研笔记

关于速铂Aspera

速铂Aspera是一套商业的高速文件传输解决方案,随着高通量数据的大量产生,从而对于大文件快速传输的需求,开始应用到生物领域,目前NCBIEBISRA库都提供这样的服务。

传统的FTPHTTP等数据传输协议都是基于TCP的,TCP在远距离数据传输中存在一些先天的不足,文件越大、距离越远,其丢包、延时等问题对于传输速度的影响就越大。速铂Aspera通过应用了一个名为fasp的 底层技术,替换了传统的TCP传输协议。它彻底克服了TCP固有瓶颈,实现了在各种共享和私有网络环境中传输速度的最大化。这种技术可以获得完美的传输效 率,不为网络延迟和丢包所限制。并且,用户享有对传输速度以及不同传输流之间带宽共享的无以伦比的控制。不管网络距离和动态性能如何,即便是在最困难的网 络条件下(例如卫星,无线和洲际远程链接),文件传输时间仍然可以得到保障。FASP具有内置的,完整的安全性,包括连接节点安全验证,传输中数据加密以 及数据完整性验证。与FTP传输相比快了3-184倍。它可以灵活地部署在C/S B/S构架的应用上,并利用普通的IP网络最大限度地利用带宽进行高效传输。同时,它也有着极好的跨平台性,支持几乎所有的主要操作系统。该软件同时也 包含一种文件接力技术,使得在传输大量极小文件时,其效率与传输单个大尺寸文件有着相同的效率与速度。

一句话,远距离,大文件,Aspera优势巨大。

客户端的下载与安装

即便Aspera是商业软件,但是作为客户应用方(相对于NCBI),我们使用其客户对进行数据的上传与下载是不用支付费用的。

Aspera Connect下载, 下载地址:http://www.asperasoft.com/downloads,根据不同的操作系统,下载相应的版本。注意下载的是Aspera Connect


安装,windows下直接双击,下一步,安装,注意安装目录有别与常规软件,安装目录为C:Users[usename]AppDataLocalProgramsAsperaAspera Connectlinux:sh aspera-connect-xx-linux-64.sh


浏览器下使用Aspera下载SRA数据(win 7

开始菜单中,点击Aspera Connect,注意没有窗口显示,但是在右下角的运行程序的托盘中,会增加Aspera Connect的图标。

链接配置,右击图标点击Preferences,选择Networks选项卡,配置网络连接类型或者速度限制。

web浏览器打开资源站点,如:http://www.ncbi.nlm.nih.gov/projects/faspftp/1000genomes/,浏览器目前只支持iefirefox,点击要下载的资源,保存。

asperaTransfers窗口,就可以看见下载了

使用ascp下载SRA数据

ascpAspera Connect的命令行程序。

相关的参数

· –Q (for adaptive flow control) – needed for disk throttling!

· –T to disable encryption

· –k1 enable resume of failed transfers

· –l (maximum bandwidth of request, try 200M and go up from there)

· –r recursive copy

· –i <private key file>

命令格式

ascp -i <path-to-asperaweb_id_dsa.putty> -k1 -QTr –l200manonftp@ftp-private.ncbi.nlm.nih.gov:/<files to transfer> <local destination>

命令示例:

ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.putty -Q -l100m anonftp@ftp-private.ncbi.nlm.nih.gov:/1GB .

ascp -i ucdbioinfo.ppk -QTr <file to transfer> -l 300M asp-ucdbioinfo@upload.ncbi.nlm.nih.gov:incoming/

ascp -QT -l640M -i "/Applications/Aspera Connect.app/Contents/Resources/asperaweb_id_dsa.putty" anonftp@ftp-private.ncbi.nlm.nih.gov:1GB /tmp/

ascp -QT -l640M -i /opt/aspera/etc/asperaweb_id_dsa.putty anonftp@ftp-private.ncbi.nlm.nih.gov:1GB /tmp/

提供Aspera的数据库

· NCBISequence Read Archive (SRA), dbGaP, .

· 1000genomes - EBI Aspera site, the NCBI Aspera site

参考

· http://asperasoft.com/

· Aspera Transfer Guide

· Using Aspera Connect Software for NCBI Data Downloads

· Aspera upload/download to NCBI

· http://www.ebi.ac.uk/ena/about/sra_data_download

(转自:云生信)



https://blog.sciencenet.cn/blog-1509670-971240.html

上一篇:用R做heatmap图,附代码~
下一篇:生物信息软件集锦
收藏 IP: 159.226.43.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-30 08:14

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部