luyuyang的个人博客分享 http://blog.sciencenet.cn/u/luyuyang

博文

UCSC Genome Browser 本地安装指南

已有 90894 次阅读 2012-5-11 17:10 |个人分类:Academic|系统分类:科研笔记|关键词:Genome,Browser,安装| 安装, Browser


UCSC Genome Browser 本地安装

 

提示:1、本安装说明的系统ubuntu-11.10-desktop-i38632bits。当然也可以用本说明在其他系统下安装,具体的不同之处会在文中指明。

2、本安装说明参考官网安装指南:http://genome.ucsc.edu/admin/mirror.html

3、欢迎转载,注明出处Lyy@Zlab@BIG  http://blog.sciencenet.cn/u/luyuyang

4UCSC Genome Browser的使用方法见http://genome.ucsc.edu/training.html

 

来到BIG不久后就收到了第一个Training:在本地安装UCSC Genome Browser。虽然以前听过几次,但是一直没有用过,更别提安装了。外加自己没有LinuxMysql的基础,所以花了一个多星期才算把它安好。其实安装并不难,但这中间走了很多弯路,也遇见了各种各样的问题,主要的原因是官网的安装指南不太详细,有多种安装方法,不尝试就不知道那种最简单,有一种自己下载安装文件,然后装,就比下载麻烦!!本安装是尽量下载别人配置好的文件,少安装。官网的指南默认了你对LinuxApacheMysql都熟悉。还有就是关于这方面的中文信息很少,所以自己想写一个中文的安装说明,提高安装效率,使得对LinuxMysql零基础的人也能实现快速本地安装,时间是没有必要浪费在这里的,学会了就好。

 

LinuxMysqlApache的安装。

 

Linux:以前总听说Linux的安装和卸载很繁琐。在有了wubi以后,这一切都变得简单了。就像你在windows下安装一个软件而已。即使用盘安装,也不难,严格按照提示或者下载个安装指南就好了。

 

MysqlUCSC Genome Browser一个特点就是能够对大型数据库进行操作,免费好用的Mysql自然不能缺少。第一种安装方法是打开命令行(终端)输入:
sudo apt-get install mysql-server mysql-client libdbd-mysql-perl libmysqlclient-dev postgresql libdbd-pg-perl
第二种方法更容易,打开ubuntu的软件中心,输入mysql搜索,然后点击安装。安装过程中会要求输入密码,这个将是以后登录mysql的密码。 Apache:发布就靠它了。命令行安装:
sudo apt-get install apache2 libapache2-mod-fcgid libapache2-mod-perl2
同样也可以在软件中心里面找到安装。

 

 

UCSC Genome Browser

 

这一部分可以实现:在本地安装Browser浏览某一特定的Genome以及开通永久的Custom Track

1、  建立一个数据库备用。

mysql  –u 用户名 –p 密码

create user 'user'@'localhost' identified by 'PASSWORD';

flush privileges;

这里面的密码是进入user这个数据库的密码,非mysql登录。user作为名称可以随意替换,但是下文相应的部分也要改。不熟练的话不建议修改。

 

2、  下载必须的libraries

apt-get install libssl0.9.8

ln -s /usr/lib/libssl.so.0.9.8 /usr/lib/libssl.so.6

ln -s /usr/lib/libcrypto.so.0.9.8 /usr/lib/libcrypto.so.6

 

3、  建立一个genomebrowser文件夹,并下载html文件。

 

mkdir /var/www/genomebrowser

rsync -avzP rsync://hgdownload.cse.ucsc.edu/htdocs/ /var/www/genomebrowser/

 

4、  安装Genome Browser

第一种方法,直接下载安装好的。

mkdir -p /var/www/genomebrowser/cgi-bin

rsync -avzP rsync://hgdownload.cse.ucsc.edu/cgi-bin/ /var/www/genomebrowser/cgi-bin/

chown -R www-data.www-data cgi-bin

chown是改变权限的命令,使得cgi-bin可以用。

这一步就是安装Genome Browser这个“软件”。

cgi-bin         UCSC Human Genome Web Site CGI Binaries x86_64

cgi-bin-i386    UCSC Human Genome Web Site CGI Binaries i386

这里要注意一下,32位机器应该在命令中加i386。服务器一般都是64位机,UCSC的也不例外,所以默认下载的都是64的。不改会出问题。

 

另外一种安装方法是下载源文件,然后自己makemake compilemake install….过程也不算麻烦,但网速还可以的话就直接按照上面的办法下载吧。源文件下载地址和安装说明如下:

http://hgdownload.cse.ucsc.edu/admin/jksrc.zip

http://genome.ucsc.edu/admin/jk-install.html

 

 

5、  配置Apache服务器,使下载的htmlcgi-bin可以正常显示。

进入/etc/apache2/ 目录。用文本编辑器建立httpd.conf并添加如下内容

XBitHack on

 <Directory /var/www/genomebrowser>

   AllowOverride AuthConfig

   Options +Includes

 </Directory>

 

 # the ScriptAlias directive is crucial

 ScriptAlias /genomebrowser/cgi-bin /var/www/genomebrowser/cgi-bin

 <Directory "/var/www/genomebrowser/cgi-bin">

   AllowOverride None

   Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch

   Order allow,deny

   Allow from all

   AddHandler cgi-script cgi pl

      </Directory>

 

 

 

6、设置Apache解析有执行权限的文件中的SSI指令,然后重启apache

ln -s /etc/apache2/mods-available/include.load /etc/apache2/mods-enabled/

/etc/init.d/apache2 restart

 

 

7、配置数据库。

进入/var/www/genomebrowser/cgi-bin/ 目录,建立hg.conf并写入:

# Configuration file for the UCSC Human Genome server

# the format is in the form of name/value pairs, written as 'name=value'

# note that there is no space between the name and its value. Also, no blank lines #should be in this file.

# db.host is the name of the MySQL host to connect to

db.host=localhost

#

# db.user is the username used when connecting to the host

db.user=user

#

# this is the password to use with the above hostname

db.password=PASSWORD

#

db.trackDb=trackDb

 

# central.host is the name of the host of the central MySQL

# database where stuff common to all versions of the genome

# and the user database is stored.

central.db=hgcentral

central.host=localhost

central.user=user

central.password=PASSWORD

central.domain=

 

backupcentral.db=hgcentral

backupcentral.host=localhost

backupcentral.user=user

backupcentral.password=PASSWORD

backupcentral.domain=

这个文件很重要,如果不能正确配置,Browser无法进入数据库,显示数据。里面的名称可以改,不建议初次安装者修改。这是一个简化版的.conf。官网提供的.conf有很多额外的功能,下载地址如下:

http://genome-test.cse.ucsc.edu/~kent/src/unzipped/product/ex.hg.conf

 

8、给www-data权限

sudo chown www-data /var/www/genomebrowser/cgi-bin/hg.conf

 

9、建立缓存文件夹

rm /var/www/genomebrowser/trash

mkdir /var/www/genomebrowser/trash

chown www-data.www-data /var/www/genomebrowser/trash

 

10、提供Javascript文件

mkdir -p /usr/local/apache/htdocs/

ln -s /var/www/genomebrowser/js/ /usr/local/apache/htdocs/js

ln -s /var/www/genomebrowser/style/ /usr/local/apache/htdocs/style

每次重启服务器后,可能要重复上述操作。

 

这个时候网页就搭建好了,数据库也连上了。

成功的标志就是访问http://localhost/genomebrowser 会看到

 

11、建立Mysql tables

 

首先要下载hgcentral.sql,把他放进mysql的目录,然后写入本地数据库文件。

wget http://hgdownload.cse.ucsc.edu/admin/hgcentral.sql

mysql  –u 用户名 –p 密码 -e "create database hgcentral"

mysql  –u 用户名 –p 密码 hgcentral < hgcentral.sql

mysql  –u 用户名 –p 密码 -e "grant all privileges on hgcentral.* to 'user'@'localhost'"

mysql  –u 用户名 –p 密码 -e "create database hgFixed"

mysql  –u 用户名 –p 密码 -e "grant select on hgFixed.* to 'user'@'localhost'"

 

12、下载Genome数据库

 

UCSC提供了很多物种的Genome数据库。现决定自己需要什么,剩下要做的就是准备好硬盘和网速吧(几百G在这里都是小数目)。这里也可以下载源数据,然后自己导入mysql,网站上说导入hg19大概要几天。具体的怎么样,我也不太清楚,没有尝试。

 

这里我以dm3为例。具体的数据库缩写见http://genome.ucsc.edu/admin/mirror.html

mysql文件夹下面建立dm3

mkdir /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/

 

下载过程比较漫长,如果仅仅想看看安装是否成功,下载下面这几个文件就可以了。

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.MYD /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.MYI /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.frm /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.MYD /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.MYI /home/mysql/dm3

rsync –avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.frm /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.MYD /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.MYI /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.frm /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.MYD /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.MYI /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.frm /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.MYD /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.MYI /home/mysql/dm3

rsync -avzP  rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.frm /home/mysql/dm3

 

接下来给数据库permission

chown -R mysql.mysql /home/mysql/dm3

 

重启mysql后,给user进入dm3赋权

mysql –u name –p password -e "grant all privileges on dm3.* to 'user'@'localhost'"

 

 

下载gbdb数据

mkdir -p /home/genomebrowser/gbdb/dm3

rsync -avzP --delete --max-delete=20 rsync://hgdownload.cse.ucsc.edu/gbdb/dm3/ /home/genomebrowser/gbdb/dm3/

这个过程也很慢,根据Prof.Zhang的意思是可以下载部分数据,想要什么,就下什么。这要求安装者对数据库有较好的了解,而且patient显得格外重要,首先要去UCSC上浏览或下载你想要的部分,然后看这部分对应着UCSC数据库的那一个文件,然后下载dm3/XXXX

 

设置关联

ln -s /home/genomebrowser/gbdb /gbdb

 

到这里,UCSC Genome Browser就安装完成了。

可以试一下访问http://localhost/cgi-bin/hgGateway?db=dm3

 

但是离正确的应用还有一段距离。这是因为运行的时候不报错都罕见,可以根据报错来google,你的错误通常就是大家经常遇见的错误。不用抱怨,作为一个这么大型的公开数据库,维护起来确实很不容易。按照网上的说明解决就好了。本文在最后也会提供几个我遇见的错误的解决办法。

 

添加Custom Track

对于UCSCGenome Browser,用户也可以添加Custom Track。但是有效期只有两天,两天不用就会自动删除。而且用户的data是不会进入UCSCmysql数据库的。想永久保存数据还要提交申请,UCSC对你的身份、学术能力进行考核,挺麻烦。这也是安装本地Genome Browser的一个原因。另一个就是不愿意share…

 

其实本地添加永久的Custom Track是很容易的。直接让安装者多建立一个数据库就可以了。

mysql –u xx –p xx -e "insert into grp set name='$name', label='$label', priority=$priority;"

Custom的数据导入mysql就可以了。

 

 

一些常见的问题。

1、  Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (13)

这个问题很普遍,也花费了最久的时间。ucsc说这是ubuntu特有的问题。可能是由于mysql版本的更新,.sock文件放的位置不同了。新版本一般放在/var/run/mysqld/mysqld.sockBrowser在老的地方找sock当然找不到了。所以设置一个关联,赋权就可以了:

ln -s /var/run/mysqld/mysqld.sock /var/lib/mysql/mysql.sock

chmod 666 /var/lib/mysql/mysql.sock

chmod 755 /var/lib/mysql/

重启mysql,看一下问题解决没。如果还不行,说明mysql可能有问题或者版本不对,去软件中心在下一个,重装,问题就会解决。

 

2、  无法显示自己的数据库,并且提示找不到hg19

这是由于Browser默认显示是hg19。改一下地址栏,hgGateway?db=**  其中**代表自己下载的数据库,如本文的dm3

 

3、  提示数据太旧,建议更新到最新版本(我翻译过来的)。

根本不用更新什么数据库版本,事实上,即使下载最新的也会出现同样的问题。解决方法就是修改一下数据库的密码。具体是为什么我也没有去探

 

4Exec format error: exec of ‘/var/www/genomebrowser/cgi-bin/hgGateway’ failed

主要原因就是32位系统运行64位系统binary会出错。,从UCSC上下载的文件都是默认给64位机器用的,安装的时候注意看提示,哪些地方需要下载32位机器的文件原文有指出。

 

结束语

 

限于水平有限,文笔不好,只能到此为止了。欢迎大家提问,指出错误。But I will appreciate more if you can google the problem before that。最后感谢张老师和丽佳在这个过程中给予的大力帮助。I learn so much from you!这也是头一次写博文,我把安装说明的pdf也上传到这篇博文里面了,有需要的就下载吧。

 

                                                                                                                                                                 ------2012/04/28



(说起来这篇博客身世很可怜..很早就写好了,找不到地方挂载。本来想挂在别人博客下面,自己实在懒得开通博客,结果碰壁,理由说太技术!怕被人调侃...人人也没有了,空间一直没开放,所以开了博客,而这个安装说明也作为第一篇博文把...祝一切都好...)

UCSC Genome Browser安装.pdf

 

 

 



http://blog.sciencenet.cn/blog-723745-569746.html


下一篇:[转载]悲伤的分子生物学(转)

1 许培扬

发表评论 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-10-20 01:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部