博文
UCSC Genome Browser 本地安装指南
|||
UCSC Genome Browser 本地安装
提示：1、本安装说明的系统ubuntu-11.10-desktop-i386，32bits。当然也可以用本说明在其他系统下安装，具体的不同之处会在文中指明。
2、本安装说明参考官网安装指南：http://genome.ucsc.edu/admin/mirror.html
3、欢迎转载，注明出处Lyy@Zlab@BIG http://blog.sciencenet.cn/u/luyuyang
4、UCSC Genome Browser的使用方法见http://genome.ucsc.edu/training.html
来到BIG不久后就收到了第一个Training：在本地安装UCSC Genome Browser。虽然以前听过几次，但是一直没有用过，更别提安装了。外加自己没有Linux和Mysql的基础，所以花了一个多星期才算把它安好。其实安装并不难，但这中间走了很多弯路，也遇见了各种各样的问题，主要的原因是官网的安装指南不太详细，有多种安装方法，不尝试就不知道那种最简单，有一种自己下载安装文件，然后装，就比下载麻烦！！本安装是尽量下载别人配置好的文件，少安装。官网的指南默认了你对Linux、Apache和Mysql都熟悉。还有就是关于这方面的中文信息很少，所以自己想写一个中文的安装说明，提高安装效率，使得对Linux和Mysql零基础的人也能实现快速本地安装，时间是没有必要浪费在这里的，学会了就好。
①Linux、Mysql和Apache的安装。
Linux：以前总听说Linux的安装和卸载很繁琐。在有了wubi以后，这一切都变得简单了。就像你在windows下安装一个软件而已。即使用盘安装，也不难，严格按照提示或者下载个安装指南就好了。
Mysql：UCSC Genome Browser一个特点就是能够对大型数据库进行操作，免费好用的Mysql自然不能缺少。第一种安装方法是打开命令行（终端）输入：
② UCSC Genome Browser
这一部分可以实现：在本地安装Browser浏览某一特定的Genome以及开通永久的Custom Track。
1、 建立一个数据库备用。
mysql –u 用户名 –p 密码
create user 'user'@'localhost' identified by 'PASSWORD';
flush privileges;
这里面的密码是进入user这个数据库的密码，非mysql登录。user作为名称可以随意替换，但是下文相应的部分也要改。不熟练的话不建议修改。
2、 下载必须的libraries
apt-get install libssl0.9.8
ln -s /usr/lib/libssl.so.0.9.8 /usr/lib/libssl.so.6
ln -s /usr/lib/libcrypto.so.0.9.8 /usr/lib/libcrypto.so.6
3、 建立一个genomebrowser文件夹，并下载html文件。
mkdir /var/www/genomebrowser
rsync -avzP rsync://hgdownload.cse.ucsc.edu/htdocs/ /var/www/genomebrowser/
4、 安装Genome Browser
第一种方法，直接下载安装好的。
mkdir -p /var/www/genomebrowser/cgi-bin
rsync -avzP rsync://hgdownload.cse.ucsc.edu/cgi-bin/ /var/www/genomebrowser/cgi-bin/
chown -R www-data.www-data cgi-bin
chown是改变权限的命令，使得cgi-bin可以用。
这一步就是安装Genome Browser这个“软件”。
cgi-bin UCSC Human Genome Web Site CGI Binaries x86_64
cgi-bin-i386 UCSC Human Genome Web Site CGI Binaries i386
这里要注意一下，32位机器应该在命令中加i386。服务器一般都是64位机，UCSC的也不例外，所以默认下载的都是64的。不改会出问题。
另外一种安装方法是下载源文件，然后自己make、make compile、make install….过程也不算麻烦，但网速还可以的话就直接按照上面的办法下载吧。源文件下载地址和安装说明如下：
http://hgdownload.cse.ucsc.edu/admin/jksrc.zip
http://genome.ucsc.edu/admin/jk-install.html
5、 配置Apache服务器，使下载的html、cgi-bin可以正常显示。
进入/etc/apache2/ 目录。用文本编辑器建立httpd.conf并添加如下内容
XBitHack on
<Directory /var/www/genomebrowser>
AllowOverride AuthConfig
Options +Includes
</Directory>
# the ScriptAlias directive is crucial
ScriptAlias /genomebrowser/cgi-bin /var/www/genomebrowser/cgi-bin
<Directory "/var/www/genomebrowser/cgi-bin">
AllowOverride None
Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
Order allow,deny
Allow from all
AddHandler cgi-script cgi pl
</Directory>
6、设置Apache解析有执行权限的文件中的SSI指令，然后重启apache
ln -s /etc/apache2/mods-available/include.load /etc/apache2/mods-enabled/
/etc/init.d/apache2 restart
7、配置数据库。
进入/var/www/genomebrowser/cgi-bin/ 目录，建立hg.conf并写入：
# Configuration file for the UCSC Human Genome server
# the format is in the form of name/value pairs, written as 'name=value'
# note that there is no space between the name and its value. Also, no blank lines #should be in this file.
# db.host is the name of the MySQL host to connect to
db.host=localhost
#
# db.user is the username used when connecting to the host
db.user=user
#
# this is the password to use with the above hostname
db.password=PASSWORD
#
db.trackDb=trackDb
# central.host is the name of the host of the central MySQL
# database where stuff common to all versions of the genome
# and the user database is stored.
central.db=hgcentral
central.host=localhost
central.user=user
central.password=PASSWORD
central.domain=
backupcentral.db=hgcentral
backupcentral.host=localhost
backupcentral.user=user
backupcentral.password=PASSWORD
backupcentral.domain=
这个文件很重要，如果不能正确配置，Browser无法进入数据库，显示数据。里面的名称可以改，不建议初次安装者修改。这是一个简化版的.conf。官网提供的.conf有很多额外的功能，下载地址如下：
http://genome-test.cse.ucsc.edu/~kent/src/unzipped/product/ex.hg.conf
8、给www-data权限
sudo chown www-data /var/www/genomebrowser/cgi-bin/hg.conf
9、建立缓存文件夹
rm /var/www/genomebrowser/trash
mkdir /var/www/genomebrowser/trash
chown www-data.www-data /var/www/genomebrowser/trash
10、提供Javascript文件
mkdir -p /usr/local/apache/htdocs/
ln -s /var/www/genomebrowser/js/ /usr/local/apache/htdocs/js
ln -s /var/www/genomebrowser/style/ /usr/local/apache/htdocs/style
每次重启服务器后，可能要重复上述操作。
这个时候网页就搭建好了，数据库也连上了。
成功的标志就是访问http://localhost/genomebrowser 会看到
11、建立Mysql tables。
首先要下载hgcentral.sql，把他放进mysql的目录，然后写入本地数据库文件。
wget http://hgdownload.cse.ucsc.edu/admin/hgcentral.sql
mysql –u 用户名 –p 密码 -e "create database hgcentral"
mysql –u 用户名 –p 密码 hgcentral < hgcentral.sql
mysql –u 用户名 –p 密码 -e "grant all privileges on hgcentral.* to 'user'@'localhost'"
mysql –u 用户名 –p 密码 -e "create database hgFixed"
mysql –u 用户名 –p 密码 -e "grant select on hgFixed.* to 'user'@'localhost'"
12、下载Genome数据库
UCSC提供了很多物种的Genome数据库。现决定自己需要什么，剩下要做的就是准备好硬盘和网速吧（几百G在这里都是小数目）。这里也可以下载源数据，然后自己导入mysql，网站上说导入hg19大概要几天。具体的怎么样，我也不太清楚，没有尝试。
这里我以dm3为例。具体的数据库缩写见http://genome.ucsc.edu/admin/mirror.html
在mysql文件夹下面建立dm3
mkdir /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/
下载过程比较漫长，如果仅仅想看看安装是否成功，下载下面这几个文件就可以了。
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.MYD /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.MYI /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/chromInfo.frm /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.MYD /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.MYI /home/mysql/dm3
rsync –avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/cytoBandIdeo.frm /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.MYD /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.MYI /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/grp.frm /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.MYD /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.MYI /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/hgFindSpec.frm /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.MYD /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.MYI /home/mysql/dm3
rsync -avzP rsync://hgdownload.cse.ucsc.edu/mysql/dm3/trackDb.frm /home/mysql/dm3
接下来给数据库permission
chown -R mysql.mysql /home/mysql/dm3
重启mysql后，给user进入dm3赋权
mysql –u name –p password -e "grant all privileges on dm3.* to 'user'@'localhost'"
下载gbdb数据
mkdir -p /home/genomebrowser/gbdb/dm3
rsync -avzP --delete --max-delete=20 rsync://hgdownload.cse.ucsc.edu/gbdb/dm3/ /home/genomebrowser/gbdb/dm3/
这个过程也很慢，根据Prof.Zhang的意思是可以下载部分数据，想要什么，就下什么。这要求安装者对数据库有较好的了解，而且patient显得格外重要，首先要去UCSC上浏览或下载你想要的部分，然后看这部分对应着UCSC数据库的那一个文件，然后下载dm3/XXXX。
设置关联
ln -s /home/genomebrowser/gbdb /gbdb
到这里，UCSC Genome Browser就安装完成了。
可以试一下访问http://localhost/cgi-bin/hgGateway?db=dm3
但是离正确的应用还有一段距离。这是因为运行的时候不报错都罕见，可以根据报错来google，你的错误通常就是大家经常遇见的错误。不用抱怨，作为一个这么大型的公开数据库，维护起来确实很不容易。按照网上的说明解决就好了。本文在最后也会提供几个我遇见的错误的解决办法。
③添加Custom Track
对于UCSC的Genome Browser，用户也可以添加Custom Track。但是有效期只有两天，两天不用就会自动删除。而且用户的data是不会进入UCSC的mysql数据库的。想永久保存数据还要提交申请，UCSC对你的身份、学术能力进行考核，挺麻烦。这也是安装本地Genome Browser的一个原因。另一个就是不愿意share…
其实本地添加永久的Custom Track是很容易的。直接让安装者多建立一个数据库就可以了。
mysql –u xx –p xx -e "insert into grp set name='$name', label='$label', priority=$priority;"
把Custom的数据导入mysql就可以了。
④一些常见的问题。
1、 Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (13)
这个问题很普遍，也花费了最久的时间。ucsc说这是ubuntu特有的问题。可能是由于mysql版本的更新，.sock文件放的位置不同了。新版本一般放在/var/run/mysqld/mysqld.sock，Browser在老的地方找sock当然找不到了。所以设置一个关联，赋权就可以了：
ln -s /var/run/mysqld/mysqld.sock /var/lib/mysql/mysql.sock
chmod 666 /var/lib/mysql/mysql.sock
chmod 755 /var/lib/mysql/
重启mysql，看一下问题解决没。如果还不行，说明mysql可能有问题或者版本不对，去软件中心在下一个，重装，问题就会解决。
2、 无法显示自己的数据库，并且提示找不到hg19。
这是由于Browser默认显示是hg19。改一下地址栏，hgGateway?db=** 其中**代表自己下载的数据库，如本文的dm3。
3、 提示数据太旧，建议更新到最新版本（我翻译过来的）。
根本不用更新什么数据库版本，事实上，即使下载最新的也会出现同样的问题。解决方法就是修改一下数据库的密码。具体是为什么我也没有去探究。
4、Exec format error: exec of ‘/var/www/genomebrowser/cgi-bin/hgGateway’ failed
主要原因就是32位系统运行64位系统binary会出错。，从UCSC上下载的文件都是默认给64位机器用的，安装的时候注意看提示，哪些地方需要下载32位机器的文件原文有指出。
⑤结束语
限于水平有限，文笔不好，只能到此为止了。欢迎大家提问，指出错误。But I will appreciate more if you can google the problem before that。最后感谢张老师和丽佳在这个过程中给予的大力帮助。I learn so much from you！这也是头一次写博文，我把安装说明的pdf也上传到这篇博文里面了，有需要的就下载吧。
------2012/04/28
（说起来这篇博客身世很可怜..很早就写好了，找不到地方挂载。本来想挂在别人博客下面，自己实在懒得开通博客，结果碰壁，理由说太技术！怕被人调侃...人人也没有了，空间一直没开放，所以开了博客，而这个安装说明也作为第一篇博文把...祝一切都好...）
https://blog.sciencenet.cn/blog-723745-569746.html
下一篇：最后一次数学分析课
全部作者的其他最新博文
- • 也没有那么失败...
- • 最后一次数学分析课