博文

UCSC Genome Browser 本地安装指南

已有 95930 次阅读 2012-5-11 17:10 |个人分类:Academic|系统分类:科研笔记| 安装, Browser

提示：1、本安装说明的系统ubuntu-11.10-desktop-i386，32bits。当然也可以用本说明在其他系统下安装，具体的不同之处会在文中指明。

2、本安装说明参考官网安装指南：http://genome.ucsc.edu/admin/mirror.html

3、欢迎转载，注明出处Lyy@Zlab@BIG http://blog.sciencenet.cn/u/luyuyang

4、UCSC Genome Browser的使用方法见http://genome.ucsc.edu/training.html

来到BIG不久后就收到了第一个Training：在本地安装UCSC Genome Browser。虽然以前听过几次，但是一直没有用过，更别提安装了。外加自己没有Linux和Mysql的基础，所以花了一个多星期才算把它安好。其实安装并不难，但这中间走了很多弯路，也遇见了各种各样的问题，主要的原因是官网的安装指南不太详细，有多种安装方法，不尝试就不知道那种最简单，有一种自己下载安装文件，然后装，就比下载麻烦！！本安装是尽量下载别人配置好的文件，少安装。官网的指南默认了你对Linux、Apache和Mysql都熟悉。还有就是关于这方面的中文信息很少，所以自己想写一个中文的安装说明，提高安装效率，使得对Linux和Mysql零基础的人也能实现快速本地安装，时间是没有必要浪费在这里的，学会了就好。

①Linux、Mysql和Apache的安装。

Linux：以前总听说Linux的安装和卸载很繁琐。在有了wubi以后，这一切都变得简单了。就像你在windows下安装一个软件而已。即使用盘安装，也不难，严格按照提示或者下载个安装指南就好了。

Mysql：UCSC Genome Browser一个特点就是能够对大型数据库进行操作，免费好用的Mysql自然不能缺少。第一种安装方法是打开命令行（终端）输入：

sudo apt-get install mysql-server mysql-client libdbd-mysql-perl libmysqlclient-dev postgresql libdbd-pg-perl

第二种方法更容易，打开ubuntu的软件中心，输入mysql搜索，然后点击安装。安装过程中会要求输入密码，这个将是以后登录mysql的密码。 Apache：发布就靠它了。命令行安装：

sudo apt-get install apache2 libapache2-mod-fcgid libapache2-mod-perl2

同样也可以在软件中心里面找到安装。

② UCSC Genome Browser

这一部分可以实现：在本地安装Browser浏览某一特定的Genome以及开通永久的Custom Track。

1、建立一个数据库备用。

mysql –u 用户名 –p 密码

create user 'user'@'localhost' identified by 'PASSWORD';

flush privileges;

这里面的密码是进入user这个数据库的密码，非mysql登录。user作为名称可以随意替换，但是下文相应的部分也要改。不熟练的话不建议修改。

2、下载必须的libraries

apt-get install libssl0.9.8

ln -s /usr/lib/libssl.so.0.9.8 /usr/lib/libssl.so.6

ln -s /usr/lib/libcrypto.so.0.9.8 /usr/lib/libcrypto.so.6

3、建立一个genomebrowser文件夹，并下载html文件。

mkdir /var/www/genomebrowser

rsync -avzP rsync://hgdownload.cse.ucsc.edu/htdocs/ /var/www/genomebrowser/

4、安装Genome Browser

第一种方法，直接下载安装好的。

mkdir -p /var/www/genomebrowser/cgi-bin

rsync -avzP rsync://hgdownload.cse.ucsc.edu/cgi-bin/ /var/www/genomebrowser/cgi-bin/

chown -R www-data.www-data cgi-bin

chown是改变权限的命令，使得cgi-bin可以用。

这一步就是安装Genome Browser这个“软件”。

cgi-bin UCSC Human Genome Web Site CGI Binaries x86_64

cgi-bin-i386 UCSC Human Genome Web Site CGI Binaries i386

这里要注意一下，32位机器应该在命令中加i386。服务器一般都是64位机，UCSC的也不例外，所以默认下载的都是64的。不改会出问题。

另外一种安装方法是下载源文件，然后自己make、make compile、make install….过程也不算麻烦，但网速还可以的话就直接按照上面的办法下载吧。源文件下载地址和安装说明如下：

http://hgdownload.cse.ucsc.edu/admin/jksrc.zip

http://genome.ucsc.edu/admin/jk-install.html

5、配置Apache服务器，使下载的html、cgi-bin可以正常显示。

进入/etc/apache2/ 目录。用文本编辑器建立httpd.conf并添加如下内容

XBitHack on

AllowOverride AuthConfig

Options +Includes

</Directory>

# the ScriptAlias directive is crucial

ScriptAlias /genomebrowser/cgi-bin /var/www/genomebrowser/cgi-bin

AllowOverride None

Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch

Order allow,deny

Allow from all

AddHandler cgi-script cgi pl

</Directory>

6、设置Apache解析有执行权限的文件中的SSI指令，然后重启apache

ln -s /etc/apache2/mods-available/include.load /etc/apache2/mods-enabled/

/etc/init.d/apache2 restart

7、配置数据库。

进入/var/www/genomebrowser/cgi-bin/ 目录，建立hg.conf并写入：

# Configuration file for the UCSC Human Genome server

# the format is in the form of name/value pairs, written as 'name=value'

# note that there is no space between the name and its value. Also, no blank lines #should be in this file.

# db.host is the name of the MySQL host to connect to

db.host=localhost

# db.user is the username used when connecting to the host

db.user=user

# this is the password to use with the above hostname

db.password=PASSWORD

db.trackDb=trackDb

# central.host is the name of the host of the central MySQL

# database where stuff common to all versions of the genome

# and the user database is stored.

central.db=hgcentral

central.host=localhost

central.user=user

central.password=PASSWORD

central.domain=

backupcentral.db=hgcentral

backupcentral.host=localhost

backupcentral.user=user

backupcentral.password=PASSWORD

backupcentral.domain=

这个文件很重要，如果不能正确配置，Browser无法进入数据库，显示数据。里面的名称可以改，不建议初次安装者修改。这是一个简化版的.conf。官网提供的.conf有很多额外的功能，下载地址如下：

http://genome-test.cse.ucsc.edu/~kent/src/unzipped/product/ex.hg.conf

8、给www-data权限

sudo chown www-data /var/www/genomebrowser/cgi-bin/hg.conf

9、建立缓存文件夹

rm /var/www/genomebrowser/trash

mkdir /var/www/genomebrowser/trash

chown www-data.www-data /var/www/genomebrowser/trash

10、提供Javascript文件

mkdir -p /usr/local/apache/htdocs/

ln -s /var/www/genomebrowser/js/ /usr/local/apache/htdocs/js

ln -s /var/www/genomebrowser/style/ /usr/local/apache/htdocs/style

每次重启服务器后，可能要重复上述操作。

这个时候网页就搭建好了，数据库也连上了。

成功的标志就是访问http://localhost/genomebrowser 会看到

11、建立Mysql tables。

首先要下载hgcentral.sql，把他放进mysql的目录，然后写入本地数据库文件。

wget http://hgdownload.cse.ucsc.edu/admin/hgcentral.sql

mysql –u 用户名 –p 密码 -e "create database hgcentral"

mysql –u 用户名 –p 密码 hgcentral < hgcentral.sql

mysql –u 用户名 –p 密码 -e "grant all privileges on hgcentral.* to 'user'@'localhost'"

mysql –u 用户名 –p 密码 -e "create database hgFixed"

mysql –u 用户名 –p 密码 -e "grant select on hgFixed.* to 'user'@'localhost'"

12、下载Genome数据库

UCSC提供了很多物种的Genome数据库。现决定自己需要什么，剩下要做的就是准备好硬盘和网速吧（几百G在这里都是小数目）。这里也可以下载源数据，然后自己导入mysql，网站上说导入hg19大概要几天。具体的怎么样，我也不太清楚，没有尝试。

这里我以dm3为例。具体的数据库缩写见http://genome.ucsc.edu/admin/mirror.html

在mysql文件夹下面建立dm3

mkdir /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/

下载过程比较漫长，如果仅仅想看看安装是否成功，下载下面这几个文件就可以了。

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.MYD /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.MYI /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.frm /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.MYD /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.MYI /home/mysql/dm3

rsync –avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.frm /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.MYD /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.MYI /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.frm /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.MYD /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.MYI /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.frm /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.MYD /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.MYI /home/mysql/dm3

rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.frm /home/mysql/dm3

接下来给数据库permission

chown -R mysql.mysql /home/mysql/dm3

重启mysql后，给user进入dm3赋权

mysql –u name –p password -e "grant all privileges on dm3.* to 'user'@'localhost'"

下载gbdb数据

mkdir -p /home/genomebrowser/gbdb/dm3

rsync -avzP --delete --max-delete=20 rsync://hgdownload.cse.ucsc.edu/gbdb/dm3/ /home/genomebrowser/gbdb/dm3/

这个过程也很慢，根据Prof.Zhang的意思是可以下载部分数据，想要什么，就下什么。这要求安装者对数据库有较好的了解，而且patient显得格外重要，首先要去UCSC上浏览或下载你想要的部分，然后看这部分对应着UCSC数据库的那一个文件，然后下载dm3/XXXX。

设置关联

ln -s /home/genomebrowser/gbdb /gbdb

到这里，UCSC Genome Browser就安装完成了。

可以试一下访问http://localhost/cgi-bin/hgGateway?db=dm3

但是离正确的应用还有一段距离。这是因为运行的时候不报错都罕见，可以根据报错来google，你的错误通常就是大家经常遇见的错误。不用抱怨，作为一个这么大型的公开数据库，维护起来确实很不容易。按照网上的说明解决就好了。本文在最后也会提供几个我遇见的错误的解决办法。

③添加Custom Track

对于UCSC的Genome Browser，用户也可以添加Custom Track。但是有效期只有两天，两天不用就会自动删除。而且用户的data是不会进入UCSC的mysql数据库的。想永久保存数据还要提交申请，UCSC对你的身份、学术能力进行考核，挺麻烦。这也是安装本地Genome Browser的一个原因。另一个就是不愿意share…

其实本地添加永久的Custom Track是很容易的。直接让安装者多建立一个数据库就可以了。

mysql –u xx –p xx -e "insert into grp set name='$name', label='$label', priority=$priority;"

把Custom的数据导入mysql就可以了。

④一些常见的问题。

1、 Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (13)

这个问题很普遍，也花费了最久的时间。ucsc说这是ubuntu特有的问题。可能是由于mysql版本的更新，.sock文件放的位置不同了。新版本一般放在/var/run/mysqld/mysqld.sock，Browser在老的地方找sock当然找不到了。所以设置一个关联，赋权就可以了：

ln -s /var/run/mysqld/mysqld.sock /var/lib/mysql/mysql.sock

chmod 666 /var/lib/mysql/mysql.sock

chmod 755 /var/lib/mysql/

重启mysql，看一下问题解决没。如果还不行，说明mysql可能有问题或者版本不对，去软件中心在下一个，重装，问题就会解决。

2、无法显示自己的数据库，并且提示找不到hg19。

这是由于Browser默认显示是hg19。改一下地址栏，hgGateway?db=** 其中**代表自己下载的数据库，如本文的dm3。

3、提示数据太旧，建议更新到最新版本（我翻译过来的）。

根本不用更新什么数据库版本，事实上，即使下载最新的也会出现同样的问题。解决方法就是修改一下数据库的密码。具体是为什么我也没有去探究。

4、Exec format error: exec of ‘/var/www/genomebrowser/cgi-bin/hgGateway’ failed

主要原因就是32位系统运行64位系统binary会出错。，从UCSC上下载的文件都是默认给64位机器用的，安装的时候注意看提示，哪些地方需要下载32位机器的文件原文有指出。

⑤结束语

限于水平有限，文笔不好，只能到此为止了。欢迎大家提问，指出错误。But I will appreciate more if you can google the problem before that。最后感谢张老师和丽佳在这个过程中给予的大力帮助。I learn so much from you！这也是头一次写博文，我把安装说明的pdf也上传到这篇博文里面了，有需要的就下载吧。

------2012/04/28

（说起来这篇博客身世很可怜..很早就写好了，找不到地方挂载。本来想挂在别人博客下面，自己实在懒得开通博客，结果碰壁，理由说太技术！怕被人调侃...人人也没有了，空间一直没开放，所以开了博客，而这个安装说明也作为第一篇博文把...祝一切都好...）

UCSC Genome Browser安装.pdf

转载本文请联系原作者获取授权，同时请注明本文来自卢金龙科学网博客。
链接地址：https://blog.sciencenet.cn/blog-723745-569746.html

下一篇：最后一次数学分析课

收藏 IP: 124.16.129.*| 热度|

当前推荐数：1 推荐人：许培扬

发表评论评论 (3 个评论)

数据加载中...

返回顶部

博文发布时间已经超过87600小时，评论已关闭。

卢金龙

扫一扫，分享此博文

全部作者的其他最新博文

• 也没有那么失败...
• 最后一次数学分析课

luyuyang的个人博客分享 http://blog.sciencenet.cn/u/luyuyang

博文

UCSC Genome Browser 本地安装指南

当前推荐数：1 推荐人：许培扬

发表评论评论 (3 个评论)

卢金龙

全部作者的其他最新博文

全部精选博文导读

相关博文

luyuyang的个人博客分享 http://blog.sciencenet.cn/u/luyuyang

博文

UCSC Genome Browser 本地安装指南

当前推荐数：1 推荐人： 许培扬

发表评论 评论 (3 个评论)

卢金龙

全部作者的其他最新博文

全部精选博文导读

相关博文

当前推荐数：1 推荐人：许培扬

发表评论评论 (3 个评论)