生物信息学 之 计算表观遗传学分享 http://blog.sciencenet.cn/u/hongbo919 森罗万象是表观, 追根溯源系遗传。 计算精研千淘漉, 生物殿堂乐其间。

博文

Linux实用命令

已有 2830 次阅读 2018-9-30 23:17 |个人分类:科研经验|系统分类:科研笔记| linux

1、查看系统访问日志(实时)

tail --lines=100 -f /var/log/secure

2、按列合并文件
paste file1 file2 >combind.txt

3、按行合并文件
cat file1 file2 >combind.txt

4、Linux:使用awk命令获取文本的某一行,某一列
1)、打印文件的第一列(域)                 : awk '{print $1}' filename
2)、打印文件的前两列(域)                 : awk '{print $1,$2}' filename
3)、打印完第一列,然后打印第二列  : awk '{print $1 $2}' filename
4)、打印文本文件的总行数                : awk 'END{print NR}' filename
5)、打印文本第一行                          :awk 'NR==1{print}' filename
6)、打印文本第二行第一列                :sed -n "2, 1p" filename | awk 'print $1'
7)、输出包含某个字符串的行            :awk -F: '/chr1/' filename >chr1.bed


5、替换字符
#替换ruby为bird
sed -n '/ruby/p' ab | sed 's/ruby/bird/g'

6、挂载硬盘
##先查新插入的硬盘,一般是最后一个
fdisk -l
##mount
mount -t vfat /dev/sda /mnt/usb 
##若是NTFS格式,用下面命令
mount -t ntfs-3g /dev/sda /mnt/usb

7、统计文件行数
de>wc - l file1 file2de>

8、搜索含特定字符串的行并输出

使用-n的时候将只打印包含模板的行。

 /etc/ |  -n   root:x:::root:/root:/bin/bash

9、添加路径
以bash为例:1)打开配置文件 vi ~/.bash_profile   2)找到PATH变量 3)如将 ~/bin 目录添加到PATH中 则可以编辑文件 将PATH的值改成 PATH = $PATH;~/bin;  4)保存退出 5)使用source命令刷新加载的.bash_profile (source ~/.bash_profile) 
如果是为所有用户添加的变量还可以编辑 /etc/profile 文件 方式同上。

10、查看文件夹下文件的大小
du -h --max-depth=1 work/testing


11、同步与复制
###将原pub3(现pub5)下的所有文件同步到CentOS7的pub3中
rsync -avrtopgL  --max-size  --progress /pub5/ /pub3
rsync -avrtopgL  --progress /mnt/USB/pub3/mysql /pub3/mysql

###Linux rsync实现断点续传

rsync -rP --rsh=ssh /home/oracle/TestDB/ oracle@192.168.1.173:/home/oracle/TestDB

利用cp(速度会更快一点)
cp -Rvun /media/New\ Volume/gbdb_Bei /media/SeagateBackupDrive/pub3/
cp -Rvun /media/New\ Volume/mysql /media/SeagateBackupDrive/pub3/

12、按关键词合并文件

join [options] file1 file2

http://www.cnblogs.com/mfryf/p/3402200.html


13、linux文件合并,去重,分割

http://www.cnblogs.com/giraffe/p/3193085.html

第一:两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
3. 删除交集,留下其他的行
1. cat file1 file2 | sort | uniq > file3
2. cat file1 file2 | sort | uniq -d > file3
3. cat file1 file2 | sort | uniq -u > file3

第二:两个文件合并
一个文件在上,一个文件在下
cat file1 file2 > file3
一个文件在左,一个文件在右
paste file1 file2 > file3

第三:一个文件去掉重复的行:
sort file |uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
sort file |uniq -u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!

具体细节可以查看,cat,sort,uniq等命令的详细介绍


14、 Sort

sort -t $'\t' -k1,1 -k2,2n -V input.txt > Sorted.txt

分解:

-t $'\t'          :    tab分隔

-k1,1 -k2,2n :    按第一和第二列(数字)正序排序

-V                :    按 de >1 2 10de> 排序,而不是 de >1 10 2de>

http://stackoverflow.com/questions/17430470/sort-a-tab-delimited-file-based-on-column-sort-command-bash



15、如何只拷贝目录结构,不拷贝里面的文件

find -maxdepth 5 -type d -exec mkdir -p  /outfolder/\{\} \;

  1. 複製目前目錄之下的所有子目錄結構,但是不包含目錄中的檔案。

  2. 將目錄結構複製到 /destination/path/you/want 之下

  3. -maxdepth 選項設定複製子目錄的最大深度

  4. -type d 設定只搜尋目錄名稱

http://dodgelin.blogspot.com/2011/04/linux.html


16、grep用法详解

[root@www ~]# grep [-acinv] [--color=auto] '搜寻字符串' filename
选项与参数:-a :将 binary 文件以 text 文件的方式搜寻数据-c :计算找到 '搜寻字符串' 的次数-i :忽略大小写的不同,所以大小写视为相同-n :顺便输出行号-v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行!--color=auto :可以将找到的关键词部分加上颜色的显示喔!
http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2856896.html





https://blog.sciencenet.cn/blog-97949-1138078.html

上一篇:PHP7升级后Mysql报错的解决方案
下一篇:从一则招聘启事看生物信息研究者应掌握的十种能力
收藏 IP: 165.123.66.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-26 20:22

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部