NFS 服务搭建与配置

发表于 | 分类于 | | 阅读次数:
字数统计: 3.1k | 阅读时长 ≈ 15

image

本文讲解在 CentOS 5.x、CentOS 6.x 和 CentOS 7.x 环境下，如何安装与部署 NFS 服务。

注意：一台机器不要同时做 NFS 的服务端和 NFS 的客户端。如果同时作了 NFS 的服务端和客户端，那么在关机的时候，会一直夯住，可能十分钟之后甚至更久才能关闭成功。

NFS 工作原理简介

image

启动 NFS SERVER 之前，首先要启动 RPC 服务（CentOS 5.x 下为 portmap 服务，CentOS 6.x 和 CentOS 7.x 下为 rpcbind 服务，下同），否则 NFS SERVER 就无法向 RPC 服务注册了。

另外，如果 RPC 服务重新启动，原来已经注册好的NFS端口数据就会丢失，因此，此时 RPC 服务管理的NFS程序也需要重新启动以重新向RPC注册。

要特别注意的是：一般修改NFS配置文件后，是不需要重启NFS的，直接在命令行执行 /etc/init.d/nfs reload 「针对CentOS 5.x 或 CentOS 6.x」 或 systemctl reload nfs.service 「针对CentOS 7.x」 或 exportfs -rv 即可使修改的 /etc/exports 生效。

NFS 服务所需的安装包

安装 NFS 和 RPC 「服务端、客户端都安装」

1
2
3
4
5
[root@backup ~]# rpm -qa nfs-utils rpcbind
[root@backup ~]# yum install nfs-utils rpcbind -y    #nfs需要的安装包
[root@backup ~]# rpm -qa nfs-utils rpcbind
nfs-utils-1.2.3-64.el6.x86_64
rpcbind-0.2.0-11.el6_7.x86_64

查看用户信息

1
2
3
4
5
6
7
8
9
10
11
[root@nfs01 ~]# tail /etc/passwd
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
oldboy:x:500:500::/home/oldboy:/bin/bash
rpc:x:32:32:Rpcbind Daemon:/var/cache/rpcbind:/sbin/nologin        #yum安装rpc服务时创建的
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin        #yum安装rpc服务时创建的
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin    #yum安装nfs服务时创建的

NFS 版本查看

服务端版本查看

1
nfsstat -s

客户端版本查看

1
nfsstat  -c

NFS服务端搭建

配置exports

1
2
3
4
5
6
7
8
9
10
11
[root@nfs01 ~]# mkdir /data
[root@nfs01 ~]# ll -d /data/
drwxr-xr-x. 3 root root 4096 Apr 11 09:49 /data/
[root@nfs01 ~]# chown -R nfsnobody.nfsnobody /data/    
[root@nfs01 ~]# ll -d /data/                       
drwxr-xr-x. 3 nfsnobody nfsnobody 4096 Apr 11 09:49 /data/
[root@nfs01 ~]# cat /etc/exports    
# share /data for web created by zhangliang at 2016-05-21
/data   172.16.1.0/24(rw,sync)
#172.16.1.0/24(rw,sync) 没有空格
#/data  172.16.1.0/24(rw,sync,root_squash,all_squash,anonuid=XXXX,anongid=XXXX) # 推荐配置

其他配置示例：

1
2
3
4
# 指定 IP 配置
/opt    192.168.0.1(ro) 192.168.0.2(rw)
# 指定 网段
/data   172.16.1.0/24(rw,sync)

启动rpcbind服务

CentOS 5.x 和 CentOS 6.x 启动方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@nfs01 ~]# /etc/init.d/rpcbind start    
[root@nfs01 ~]# netstat -anp | grep 'rpc'    
tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN      1346/rpcbind        
tcp        0      0 0.0.0.0:38420               0.0.0.0:*                   LISTEN      1368/rpc.statd      
tcp        0      0 :::13894                    :::*                        LISTEN      1368/rpc.statd      
tcp        0      0 :::111                      :::*                        LISTEN      1346/rpcbind        
udp        0      0 0.0.0.0:673                 0.0.0.0:*                               1346/rpcbind        
udp        0      0 127.0.0.1:703               0.0.0.0:*                               1368/rpc.statd      
udp        0      0 0.0.0.0:15306               0.0.0.0:*                               1368/rpc.statd      
udp        0      0 0.0.0.0:111                 0.0.0.0:*                               1346/rpcbind        
udp        0      0 :::673                      :::*                                    1346/rpcbind        
udp        0      0 :::50537                    :::*                                    1368/rpc.statd      
udp        0      0 :::111                      :::*                                    1346/rpcbind        
unix  2      [ ACC ]     STREAM     LISTENING     10120  1346/rpcbind        /var/run/rpcbind.sock
unix  2      [ ]         DGRAM                    10207  1368/rpc.statd      
[root@nfs01 ~]# rpcinfo -p localhost    
   program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp  15306  status
    100024    1   tcp  38420  status
#### 由上可知，暂时只有自己的端口服务，没有其他的

CentOS 7.x 启动方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@nginx_cdn ~]# systemctl start rpcbind.service  
[root@nginx_cdn ~]# netstat -anp | grep 'rpc' 
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1930/rpcbind        
tcp6       0      0 :::111                  :::*                    LISTEN      1930/rpcbind        
udp        0      0 0.0.0.0:832             0.0.0.0:*                           1930/rpcbind        
udp        0      0 0.0.0.0:111             0.0.0.0:*                           1930/rpcbind        
udp6       0      0 :::832                  :::*                                1930/rpcbind        
udp6       0      0 :::111                  :::*                                1930/rpcbind        
unix  2      [ ACC ]     STREAM     LISTENING     17999    1/systemd            /var/run/rpcbind.sock
[root@nginx_cdn ~]# rpcinfo -p localhost    
   program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper

启动NFS

CentOS 5.x 和 CentOS 6.x 启动方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
[root@nfs01 ~]# /etc/init.d/nfs start    
Starting NFS services:                                     [  OK  ]
Starting NFS quotas:                                       [  OK  ]
Starting NFS mountd:                                       [  OK  ]
Starting NFS daemon:                                       [  OK  ]
正在启动 RPC idmapd：                                      [确定]
[root@nfs01 ~]# rpcinfo -p localhost    
   program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp  15306  status
    100024    1   tcp  38420  status
    100011    1   udp    875  rquotad
    100011    2   udp    875  rquotad
    100011    1   tcp    875  rquotad
    100011    2   tcp    875  rquotad
    100005    1   udp  11473  mountd
    100005    1   tcp  62369  mountd
    100005    2   udp  17528  mountd
    100005    2   tcp  47308  mountd
    100005    3   udp  11312  mountd
    100005    3   tcp  51724  mountd
    100003    2   tcp   2049  nfs
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    2   tcp   2049  nfs_acl
    100227    3   tcp   2049  nfs_acl
    100003    2   udp   2049  nfs
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100227    2   udp   2049  nfs_acl
    100227    3   udp   2049  nfs_acl
    100021    1   udp  25181  nlockmgr
    100021    3   udp  25181  nlockmgr
    100021    4   udp  25181  nlockmgr
    100021    1   tcp  20093  nlockmgr
    100021    3   tcp  20093  nlockmgr
    100021    4   tcp  20093  nlockmgr

CentOS 7.x 启动方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
[root@nginx_cdn ~]# systemctl start nfs.service 
[root@nginx_cdn ~]# rpcinfo -p localhost 
   program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp  44741  status
    100024    1   tcp  23203  status
    100005    1   udp  20048  mountd
    100005    1   tcp  20048  mountd
    100005    2   udp  20048  mountd
    100005    2   tcp  20048  mountd
    100005    3   udp  20048  mountd
    100005    3   tcp  20048  mountd
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    3   tcp   2049  nfs_acl
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100227    3   udp   2049  nfs_acl
    100021    1   udp  48638  nlockmgr
    100021    3   udp  48638  nlockmgr
    100021    4   udp  48638  nlockmgr
    100021    1   tcp  16146  nlockmgr
    100021    3   tcp  16146  nlockmgr
    100021    4   tcp  16146  nlockmgr

加入开始自启动

CentOS 5.x 和 CentOS 6.x 环境

使用 /etc/rc.local

1
2
3
4
5
6
7
8
9
[root@nfs01 ~]# tail /etc/rc.local    
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

# start rpc and nfs server
/etc/init.d/rpcbind start
/etc/init.d/nfs start

使用chkconfig

1
2
3
4
5
6
7
8
9
[root@nfs01 ~]# chkconfig rpcbind on    
[root@nfs01 ~]# chkconfig nfs on    
[root@nfs01 ~]# ls /etc/rc.d/rc3.d/* | grep -E 'rpc|nfs'  
/etc/rc.d/rc3.d/K61nfs-rdma
/etc/rc.d/rc3.d/K69rpcsvcgssd
/etc/rc.d/rc3.d/S13rpcbind
/etc/rc.d/rc3.d/S14nfslock
/etc/rc.d/rc3.d/S19rpcgssd
/etc/rc.d/rc3.d/S30nfs

查看rpc服务和NFS服务的开机启动顺序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[root@nfs01 ~]# head /etc/init.d/rpcbind 
#! /bin/sh
#
# rpcbind       Start/Stop RPCbind
#
# chkconfig: 2345 13 87                    #运行级别  开机顺序  关机顺序【其中 2345 指的是 运行级别】
# description: The rpcbind utility is a server that converts RPC program \
#              numbers into universal addresses. It must be running on the \
#              host to be able to make RPC calls on a server on that machine.
#
# processname: rpcbind
[root@nfs01 ~]# head /etc/init.d/nfs    
#!/bin/sh
#
# nfs           This shell script takes care of starting and stopping
#               the NFS services.
#
# chkconfig: - 30 60
# description: NFS is a popular protocol for file sharing across networks.
#              This service provides NFS server functionality, which is \
#              configured via the /etc/exports file.
# probe: true

CentOS 7.x 环境

1
2
[root@nginx_cdn ~]# systemctl enable rpcbind.service 
[root@nginx_cdn ~]# systemctl enable nfs.service

查看具体状态情况

1
2
3
4
5
6
7
8
[root@nginx_cdn ~]# systemctl status rpcbind.service 
● rpcbind.service - RPC bind service
   Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset: enabled)
………………
[root@nginx_cdn ~]# systemctl status nfs.service 
● nfs-server.service - NFS server and services
   Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; enabled; vendor preset: disabled)
………………

查看有哪些参数生效

1
2
[root@nfs01 ~]# cat /var/lib/nfs/etab 
/data   172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,no_all_squash)

参数说明：
ro：只读设置，这样 NFS 客户端只能读、不能写（默认设置）；
rw：读写设置，NFS 客户端可读写；
sync：将数据同步写入磁盘中，效率低，但可以保证数据的一致性（默认设置）；
async：将数据先保存在内存缓冲区中，必要时才写入磁盘；如果服务器重新启动，这种行为可能会导致数据损坏，但效率高；
root_squash：当客户端用 root 用户访问该共享文件夹时，将 root 用户映射成匿名用户（默认设置）；
no_root_squash：客户端的 root 用户不映射。这样客户端的 root 用户与服务端的 root 用户具有相同的访问权限，这可能会带来严重的安全影响。没有充分的理由，不应该指定此选项；
all_squash：客户端所有普通用户及所属组都映射为匿名用户及匿名用户组；「推荐设置」
no_all_squash：客户端所有普通用户及所属组不映射（默认设置）；
subtree_check：如果共享，如：/usr/bin之类的子目录时，强制NFS检查父目录的权限；
no_subtree_check：即使共享 NFS 服务端的子目录时，nfs服务端也不检查其父目录的权限，这样可以提高效率（默认设置）；
secure：限制客户端只能从小于1024的tcp/ip端口连接nfs服务器（默认设置）；
insecure：允许客户端从大于1024的tcp/ip端口连接服务器；
wdelay：检查是否有相关的写操作，如果有则将这些写操作一起执行，这样可以提高效率（默认设置）；
no_wdelay：若有写操作则立即执行，当使用async时，无需此设置；
anonuid=xxx：将远程访问的所有用户主都映射为匿名用户主账户，并指定该匿名用户主为本地用户主（UID=xxx）；
anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组为本地用户组（GID=xxx）；

检查是否成功

1
2
3
[root@nfs01 ~]# showmount -e 172.16.1.31  # 其中 172.16.1.31 为 NFS 服务端IP 
Export list for 172.16.1.31:
/data 172.16.1.0/24

NFS客户端配置

启动rpcbind服务

CentOS 5.x 和 CentOS 6.x 环境

1
2
[root@web01 ~]# /etc/init.d/rpcbind start        
Starting rpcbind:                                          [  OK  ]

CentOS 7.x 环境

1
[root@nginx_proxy01 ~]# systemctl start rpcbind.service

检查共享信息

1
2
3
[root@web01 ~]# showmount -e 172.16.1.31    
Export list for 172.16.1.31:
/data 172.16.1.0/24

NFS挂载

在2台机器都挂载 NFS，好用于后面的测试。

1
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt

查看挂载信息

查询方式1

1
2
3
4
5
6
[root@web01 ~]# df -h        #有时可能会被卡主
Filesystem         Size  Used Avail Use% Mounted on
/dev/sda3          8.8G  1.5G  6.9G  18% /
tmpfs              495M     0  495M   0% /dev/shm
/dev/sda1          190M   40M  141M  23% /boot
172.16.1.31:/data  8.8G  1.5G  6.9G  18% /mnt

查询方式2

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@web01 ~]# cat /proc/mounts                     # 优先使用，监控时使用该命令
rootfs / rootfs rw 0 0
proc /proc proc rw,relatime 0 0
sysfs /sys sysfs rw,relatime 0 0
devtmpfs /dev devtmpfs rw,relatime,size=490920k,nr_inodes=122730,mode=755 0 0
devpts /dev/pts devpts rw,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /dev/shm tmpfs rw,relatime 0 0
/dev/sda3 / ext4 rw,relatime,barrier=1,data=ordered 0 0
/proc/bus/usb /proc/bus/usb usbfs rw,relatime 0 0
/dev/sda1 /boot ext4 rw,relatime,barrier=1,data=ordered 0 0
none /proc/sys/fs/binfmt_misc binfmt_misc rw,relatime 0 0
sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
172.16.1.31:/data/ /mnt nfs4 rw,relatime,vers=4,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=172.16.1.8,minorversion=0,local_lock=none,addr=172.16.1.31 0 0

测试

在客户端和服务端之间测试
「2个客户端，1个服务端」

1、任意客户端创建文件夹或创建文件并且输入数据，在服务端是否可以查看；

2、服务端创建文件夹或创建文件并且输入数据，在任意客户端是否可以查看；

3、在客户端A 删除客户端B 创建的文件

4、在客户端B 删除客户端A 创建的文件

加入开机自启动

如果是 CentOS 7 环境，那么必须保证 /etc/rc.d/rc.local 文件具有可执行权限，否则该脚本不会执行也不会生效。

开机自启动方式1

1
2
3
4
5
6
[root@web01 mnt]$ ll /etc/rc.local 
lrwxrwxrwx. 1 root root 13 Nov 14  2018 /etc/rc.local -> rc.d/rc.local
[root@web01 mnt]# tail -3 /etc/rc.local    

# mount nfs
mount -t nfs 172.16.1.31:/data /mnt

开机自启动方式2

1
2
3
[root@web01 mnt]$ cat /etc/fstab 
# 添加如下信息
172.16.1.31:/data                        /mnt   nfs   defaults   0 0

存在问题

加入了开机自启动，当重启 NFS 客户端机器时，如果此时 NFS 服务端机器已关机，或者网络存在问题等等。使 NFS 客户端连接 NFS 服务端失败，那么此时会造成 NFS 客户端机器起不来的情况。

因此为了避免该情况发生，不建议机器开机自启动就挂载 NFS。

如果一台机器必须挂载 NFS，那么我们就做好监控。当该机器未挂载 NFS 时就告警给我们，然后我们去手动挂载。

当然如果实际环境中你们的 NFS 服务极其稳定，且几乎不再改变 NFS 服务端地址，那么此时你也可以加入开机自启动。

这些都是根据实际具体情况具体分析的。

<-------------the end------------->
lightzhang wechat
欢迎扫一扫，订阅我的微信公众号！
坚持原创分享，你的支持就是我最大的动力！