Debian10安装iSCSI Target服务并挂载在Proxmox的ZFS-on-iSCSI上

硬件配置

我们的Proxmox集群配置目前是1存储节点：A（14盘RaidZ3）+ 2计算节点：B&C（纯SSD）+2存储备份节点：D&E。其中存储节点A与B&C是10G网卡直连的，其余节点通过1G交换机互联。原本是试用NFS进行挂载然后虚拟化的，但是NFS的IO存在严重的瓶颈，因此打算改为ZFS-on-iSCSI
这里注意！硬件上必须10Gb网卡直连，否则网速瓶颈非常影响性能！

配置iSCSI Target

以下内容均在存储服务器A中操作。

安装管理软件包

apt -y install tgt dkms

新建目录并dd一个块

root@PVE-EU-3 ~ # df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             63G     0   63G   0% /dev
tmpfs            13G  1.7M   13G   1% /run
/dev/sda3       5.5T   25G  5.2T   1% /
tmpfs            63G   66M   63G   1% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            63G     0   63G   0% /sys/fs/cgroup
/dev/sda2       488M  108M  355M  24% /boot
pve-eu-3-zfs     54T  1.4T   53T   3% /pve-eu-3-zfs
/dev/fuse        30M  144K   30M   1% /etc/pve
tmpfs            13G     0   13G   0% /run/user/0

可以看到存储空间在/pve-eu-3-zfs，所以新建一个5T的区域

root@PVE-EU-3 ~ # mkdir /pve-eu-3-zfs/iscsi_disks
root@PVE-EU-3 ~ # dd if=/dev/zero of=/pve-eu-3-zfs/iscsi_disks/iscsi_eu_1.img count=0 bs=1 seek=5T
0+0 records in
0+0 records out
0 bytes copied, 6.2989e-05 s, 0.0 kB/s
root@PVE-EU-3 ~ # cd /pve-eu-3-zfs/iscsi_disks/
root@PVE-EU-3 /pve-eu-3-zfs/iscsi_disks # ls -lht
total 512
-rw-r--r-- 1 root root 5.0T Jan 28 13:40 iscsi_eu_1.img

配置iSCSI Target

新建配置文件 /etc/tgt/conf.d/target_eu_1.conf，写入以下信息：

<target iqn.2020-01.pve-eu-3:iscsieu1>
    backing-store /pve-eu-3-zfs/iscsi_disks/iscsi_eu_1.img
    initiator-address 172.17.1.1
    incominguser pve-eu-1 这里输入密码
</target>

然后systemctl restart tgt重启服务。

验证一下服务运行情况

root@PVE-EU-3 /pve-eu-3-zfs/iscsi_disks # service istgt status
● istgt.service - LSB: iSCSI userspace target for kFreeBSD systems
   Loaded: loaded (/etc/init.d/istgt; generated)
   Active: active (exited) since Tue 2020-01-28 14:11:40 CET; 32s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 1492 ExecStart=/etc/init.d/istgt start (code=exited, status=0/SUCCESS)

Jan 28 14:11:35 PVE-EU-3 systemd[1]: Starting LSB: iSCSI userspace target for kFreeBSD systems...
Jan 28 14:11:36 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:37 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:38 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:39 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:40 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:40 PVE-EU-3 systemd[1]: Started LSB: iSCSI userspace target for kFreeBSD systems.