Aspera的安装与使用

当我们需要一些NGS数据时,一般会想到去NCBI或者EBI的数据库中下载。但是当我们用wget下载时,如果网络不给力的话,那只能是龟速的下载,对于那些几十G或者上百G的数据,那就实在无能为力了。这时我们可以使用Aspera来下载NGS数据

Aspera有浏览器插件Aspera Connect,跟迅雷之类的类似,但我没用过,因为我需要下载到自己的服务器上,不然只是下载到自己的PC记的话,还需要在传输到服务器,这样比较麻烦也耗时,所以下面主要的讲的是在服务器上的操作

安装

  1. 根据电脑版本下载对应aspera connect server,下载地址:http://downloads.asperasoft.com/en/downloads/8?list

  2. 下载获得的是shell脚本,直接安装

    sh aspera-connect-3.7.1.139846-linux-64.sh
    #bash aspera-connect-3.7.1.139846-linux-64.sh
    
  3. 如果安装报错,提示openssl版本过旧,那么我们还需要重新安装一个最近的openssl,这个情况在我在使用Ubuntu 14.04的时候遇到过,安装过程参考http://blog.csdn.net/skymanwww/article/details/69498794?locationNum=3&fps=1

    #卸载旧版本的openssl
    sudo apt-get remove openssl libssl-dev
    
    #下载最近版本的openssl-1.0.2l.tar.gz
    
    #安装openssl
    ./config
    make
    make install
    
    #建立软连接
    ln -s /usr/local/ssl/bin/openssl    /usr/bin/openssl
    ln -s /usr/local/ssl/include/openssl    /usr/include/openssl
    
    #刷新动态配置
    vim /etc/ld.so.conf
    #末尾插入一行
    /usr/local/ssl/lib
    #执行命令
    ldconfig -v
    
    #测试是否安装成功,查看版本号是否是1.0.2
    openssl version -a
    
  4. 安装好后,找到home目录下的会有一个.aspera目录,里面有可执行文件ascp以及秘钥文件asperaweb_id_dsa.putty,一般建议将秘钥复制到home目录下使用比较方便

    cp ~/.aspera/connect/etc/asperaweb_id_dsa.putty ~/
    

使用

从NCBI上下载SRA文件

    ascp -i /home/anlan/.aspera/connect/etc/asperaweb_id_dsa.putty anonftp@ftp-private.ncbi.nlm.nih.gov:sra/sra-instant/reads/ByStudy/sra/SRP/SRP018/SRP018998/SRR799575/SRR799575.sra ./

注意点

  1. 最好要使用秘钥的绝对路径,如:

    /home/anlan/.aspera/connect/etc/asperaweb_id_dsa.putty  
    
  2. 有时putty可能不能使用,这时可选用asperaweb_id_dsa.openssh

    /home/anlan/.aspera/connect/etc/asperaweb_id_dsa.openssh
    
  3. 如果报错:Error: Server aborted session: Client requests stronger encryption than server allows,那么可以参考https://support.asperasoft.com/hc/en-us/articles/216126788-Error-Client-requests-stronger-encryption-than-server-allows的处理方法,也就是加个-T命令

    ascp -T -i /home/anlan/.aspera/connect/etc/asperaweb_id_dsa.openssh anonftp@ftp-private.ncbi.nlm.nih.gov:sra/sra-instant/reads/ByStudy/sra/SRP/SRP018/SRP018998/SRR799575/SRR799575.sra ./
    
  4. 从EBI上下载也类似,给个例子:

    ascp -i ~/asperaweb_id_dsa.putty era-fasp@fasp.sra.ebi.ac.uk:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff
    

使用后会发现,从NCBI上下载SRA速度,一般的宽带的话,也可以达到100M/s,大大节约了下载的时间,非常给力