jiajf的个人博客分享 http://blog.sciencenet.cn/u/jiajf

博文

Lustre (infiniband)客户端安装记录

已有 2634 次阅读 2022-12-18 20:26 |系统分类:科研笔记

上次安完就忘了细节,这次又捉摸了半天。这次记得清晰一点。

操作系统: CentOS 8.3

客户端所需要的包的下载地址:Index of /public/lustre/lustre-2.14.0-ib/MOFED-5.2-1.0.4.0/el8.3.2011/client/RPMS/x86_64 (whamcloud.com)

1)需要下载的包:

ibutils2-2.1.1-0.128.MLNX20201210.g311e385.52104.x86_64.rpm  

librdmacm-utils-52mlnx1-1.52104.x86_64.rpm

infiniband-diags-52mlnx1-1.52104.x86_64.rpm

lustre-client-2.14.0-1.el8.x86_64.rpm

kmod-lustre-client-2.14.0-1.el8.x86_64.rpm

mlnx-ofa_kernel-5.2-OFED.5.2.1.0.4.1.x86_64.rpm

kmod-mlnx-ofa_kernel-5.2-OFED.5.2.1.0.4.1.x86_64.rpm

MLNX_OFED_LINUX-5.2-1.0.4.0-rhel8.3-x86_64.iso

libibumad-52mlnx1-1.52104.x86_64.rpm

opensm-5.8.0.MLNX20201210.e0a89f5-0.1.52104.x86_64.rpm

libibverbs-52mlnx1-1.52104.x86_64.rpm

opensm-libs-5.8.0.MLNX20201210.e0a89f5-0.1.52104.x86_64.rpm

libibverbs-utils-52mlnx1-1.52104.x86_64.rpm 

librdmacm-52mlnx1-1.52104.x86_64.rpm

rdma-core-52mlnx1-1.52104.x86_64.rpm

2)下载好后:

rpm -ivh *.rpm  --force --nodeps

3) 关掉防火墙与selinux

vi /etc/selinux/config

SELINUX=disabled

systemctl disable firewalld.service

4) vi /etc/modprobe.d/lustre.conf

加入:

options lnet networks="o2ib0(ib0),tcp0(ens41f0)"

5)设置ib的IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ib0

CONNECTED_MODE=no

TYPE=InfiniBand

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ib0

DEVICE=ib0

ONBOOT=yes

IPADDR=11.11.1.26

PREFIX=24

IPV6_PRIVACY=no

6) vi /etc/rc.local

modprobe lnet

modprobe lustre

lnetctl set discovery 0

mount -t lustre 11.11.1.101@o2ib0:/lustre /lustre

umount -l /lustre

mount -t nfs mu01:/opt /opt

mount -t lustre 11.11.1.101@o2ib0:/lustre /lustre

7) mkdir /lustre

8) reboot

启动后执行 /etc/rc.local 第一次挂载较慢,可以ctrl+c,多试几次就好了。





https://blog.sciencenet.cn/blog-3367558-1368342.html

上一篇:Cp2k 2022.1安装记录
下一篇:在我的机群中增加一台节点机的详细过程
收藏 IP: 218.26.109.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-26 22:35

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部