woodcorpse的个人博客分享 http://blog.sciencenet.cn/u/woodcorpse

博文

Github上传大于100M文件:LFS

已有 327 次阅读 2020-2-13 22:55 |个人分类:Linux|系统分类:科研笔记

Git 简介

Git是目前世界上最先进的分布式版本控制系统。其原理如下所示:

fig0

首先我们安装git。官方下载位置 https://git-scm.com/ ,下载完成后我们按照普通软件安装即可:

fig1

安装完成之后我们的鼠标右键就会出现Git GUI/bash here选项:

创建项目并推送文件

首先我们来测试一下git上传普通文件的方法,为此我在github上新建了一个名为Test的项目

fig2

接下来进行本地目录操作,右键进行Git bash环境并运行如下代码:

mkdir Test
cd Test
echo "# Test" >> README.md#构造文件,用于测试
git init#初始化库
git add README.md#添加缓存
git commit -m "first commit"#添加版本记录
# 注意下面为你自己的帐号,并会提示输入密码
git remote add origin https://github.com/taowenmicro/Test.git#链接远程库
git push -u origin master# 推送到远程库中

我们可以看到这是完全可以推出去的:如果首次运行,需要输入github账号密码。在弹出的位置对应输入就好了,完成测试。

fig3

推送大文件Git Large File Storage (LFS)

下面我使用SILVA_SSU_r132_March2018.RData数据库(153 Mb)演示大文件的上传方法:

fig4

Git Large File Storage (LFS) 是 GitHub 开发的 Git 扩展项目, 用于增强 Git 对大文件追踪的支持. 众所周知, Git 在储存二进制文件时, 非常缓慢, 因为 Git 默认会压缩和储存每一次提交的快照, 如果二进制文件很多, 会让Git 的 clone 效率变得非常低. Git LFS的诞生在 处理大型二进制文件的方式是用 “文件指针” 进行, 这些文本指针实际上是包含二进制文件信息的文本文件, 大小不到 1kb。文本指针存储在 Git 中,而大文件本身通过 HTTPS 托管在 Git LFS 服务器上。

首先我们需要下载Git LFS:https://git-lfs.github.com/

fig5

下载之后双击安装即可。

鼠标右键———-git bash:进入bash命令行界面:(在仓库文件夹中操作免去修改文件夹步骤)

fig6

运行:

git lfs install

fig7

使用github上的仓库更新一下本地仓库:

git pull origin master

fig8

使用 Git LFS 管理托管文件:

git lfs track "SILVA_SSU_r132_March2018.RData"

fig9

追踪文件 .gitattributes

git add .gitattributes

添加本地仓库:

git add SILVA_SSU_r132_March2018.RData
git commit -m "third commit"

fig10

push到Github上:

git push -u origin master

fig11

到Github上查看上传的文件,这是本次测试的地址:https://github.com/taowenmicro/Test

fig12

Reference

Git Large File Storage 初见指南 https://mp.weixin.qq.com/s/gyJlP_0O5UufvAUQaV_Scw

撰文:文涛 南京农业大学

责编:刘永鑫 中科院遗传发育所

猜你喜欢

写在后面

为鼓励读者交流、快速解决科研困难,我们建立了“宏基因组”专业讨论群,目前己有国内外5000+ 一线科研人员加入。参与讨论,获得专业解答,欢迎分享此文至朋友圈,并扫码加主编好友带你入群,务必备注“姓名-单位-研究方向-职称/年级”。技术问题寻求帮助,首先阅读《如何优雅的提问》学习解决问题思路,仍末解决群内讨论,问题不私聊,帮助同行。
image

学习扩增子、宏基因组科研思路和分析实战,关注“宏基因组”
image

image

点击阅读原文,跳转最新文章目录阅读
https://mp.weixin.qq.com/s/5jQspEvH5_4Xmart22gjMA



http://blog.sciencenet.cn/blog-3334560-1218394.html

上一篇:MIMOSA2: 基于微生物组和代谢组数据的整合分析
下一篇:中国核酸数据库GSA数据提交指南

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-3-30 22:35

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部