将系统配置为使用支持 RDMA 的以太网端口进行节点到节点通信

系统支持使用以太网协议的节点到节点连接，这些协议支持远程直接存储器存取 (RDMA) 技术，如 RDMA over Converged Ethernet (RoCE) 或 iWARP。要使用这些协议，系统要求在每个节点上安装一个支持 RDMA 的适配器和仅为节点到节点通信配置支持 RDMA 的专用以太网端口。

通过使用 RDMA 技术（如 RoCE 和 iWARP），支持 RDMA 的适配器可以在节点之间直接传输数据，绕过 CPU 和高速缓存，从而实现更快的传输。相比于传统 iSCSI 连接，RDMA 技术可更快进行连接且处理时间更短。

先决条件

节点之间使用的所有支持 RDMA 的以太网端口都需要以下先决条件：

节点硬件的所有安装已完成。
在每个节点上安装支持 RDMA 技术的 25-Gbps 以太网适配器。如果是使用 RDMA 技术进行节点到节点通信，请确保支持 RDMA 的适配器使用同一技术，如 RoCE 或 iWARP。这些支持 RDMA 的适配器必须安装在系统所有节点上的相同插槽中。这些安装需求确保端口标识在系统中的所有节点上都相同。
正确连接了每个节点之间的以太网电缆。
源和目标适配器上的协议技术相同。
可访问本地和远程 IP 地址。
支持 RDMA 的以太网端口的每个 IP 地址及其关联子网掩码在每个节点上都唯一。
不得将路由器放置在使用支持 RDMA 的以太网端口进行节点到节点通信的节点之间。
本地和远程适配器上的协商速度相同。
本地和远程端口虚拟 LAN 标识相同。
节点到节点通信至少需要两个支持 RDMA 的专用以太网端口，以确保最佳性能和可靠性。这些端口只能配置为用于节点间流量，不能用于主机连接、以太网连接的外部存储器的虚拟化或 IP 复制流量。
节点到节点通信最多允许每个节点有 4 个支持 RDMA 的以太网端口。

下图描绘使用支持 RDMA 的以太网端口进行节点到节点通信的系统的示例配置。该配置使用环境和网络配置的先决条件和建议。在此示例中，系统中所有节点上的端口 1 和 2（紫色）都配置用于节点到节点通信，而端口 3 和 4（红色）则用于主机连接。所有节点上的端口 1 和 2 与所有节点上的端口 3 和 4 位于不同的子网中，以将节点到节点流量与主机流量分隔开来。所有端口都连接到两个用于相应路由流量的冗余 100-GB 交换机。

配置具有支持 RDMA 的以太网端口的系统 — 图 1. 配置具有支持 RDMA 的连接的系统

使用服务助手和管理 GUI

要创建使用支持 RDMA 的以太网端口的系统，请完成以下步骤：

定义系统中每个节点上所有支持 RDMA 的以太网端口的所有 IP 地址

通过完成以下步骤，使用服务助手 GUI 以定义每个节点上的端口 IP 地址：

在支持的浏览器中，输入系统中一个节点的服务 IP 地址。
在服务助手 GUI 中，选择其中一个节点，然后选择更改节点 IP。
在更改节点 IP 面板上，选择端口以定义 IP 地址，然后单击修改。
输入所选支持 RDMA 的以太网端口的 IP 地址、子网掩码、网关和 VLAN 标识。
注：每个端口的 IP 地址和子网掩码都必须唯一，并且不能在系统上的其他任何位置使用。但是，所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同，否则使用这些 IP 地址的节点之间的连接将失败。配置支持 RDMA 的以太网端口时，请勿超过节点到节点通信的最大端口数（四个）。
单击保存。
针对所选节点的每个支持 RDMA 的以太网端口重复这些步骤。根据系统中的节点数，最多可以配置 8 个支持 RDMA 的以太网端口，其中每个节点具有两个端口。这些端口必须专用于节点间通信，不能用于主机连接、以太网连接的外部存储器的虚拟化或 IP 复制。
在配置第一个节点的所有 IP 地址后，从下拉列表中选择另一个节点，然后选择执行。
针对系统中的其他节点，重复步骤 2 到 6。更新第二个节点后，可使用管理 GUI 将其添加到系统。

将节点添加到系统

使用管理 GUI，通过完成以下步骤将节点添加到系统：

选择监控 > 系统。
从系统操作菜单中选择添加节点。
在将节点添加到系统后，在系统 - 概述页面上验证节点的状态是否为联机。如果节点列为脱机或者如果发生错误，那么选择监控 > 事件以查看错误消息，或者选择设置 > 网络 > 以太网连接以查看节点的端口连接，找出可能的连接问题。您还可以使用 ping 命令对节点之间的连接问题进行故障诊断。此页面显示节点之间的连接状态。如果存在连接问题，那么将提供错误数据信息以帮助确定导致问题的原因：

已发现

指示已配置所选节点上的以太网端口，但无法建立连接。此状态指示可能存在需要解决的问题。错误数据列指示已发现状态的原因。错误数据列中可能包含以下值：

协议不匹配

指示源适配器和目标适配器上的协议不同。当系统中的某一个节点未安装 25 Gbps 以太网适配器时，会发生此错误。

不可访问

指示无法访问本地和远程 IP 地址。如果系统中的一个节点脱机，那么会发生此错误。选择监视 > 事件以查看错误，并运行任何必要的修复过程，使节点恢复联机状态。

IP 地址重复

指示一个或多个 IP 地址已在网络中使用。每个节点 IP 地址都必须唯一。要修复此错误，可以使用服务助手界面来更改节点 IP 地址。

已降级

指示本地和远程适配器上的协商速度不同。当为其中一个或两个适配器配置的速度低于该适配器支持的最大速度时，会出现“已降级”状态。要修复此问题，请确保两个节点上的适配器均配置为最大速度。

VLAN 标识不匹配

指示本地和远程端口虚拟 LAN 标识不同。要修复此错误，请确保本地节点和远程节点属于同一 VLAN。如果要在网络中使用 VLAN，那么必须先通过将 VLAN 设置为“中继”模式并在交换机上指定 VLAN 标识来配置交换机上的 VLAN，然后再为系统中节点上支持 RDMA 的以太网端口配置 IP 地址和其他设置。

使用命令行界面

要创建使用支持 RDMA 的以太网端口的系统，请完成以下步骤：

要定义支持 RDMA 的以太网端口的端口 IP 地址，请在系统内每个节点的每个端口上输入以下命令：
```
satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
```
其中，ip_address 是其端口标识 (port_number) 和节点名称 (panel_name) 所标识的端口的 IP 地址。通过为支持 RDMA 的以太网端口上的每个 IP 地址指定同一 vlanid，确保所有端口都在同一 VLAN 中。
注：每个端口的 IP 地址和子网掩码都必须唯一，并且不能在系统上的其他任何位置使用。但是，所有节点上支持 RDMA 的以太网端口的 VLAN 标识都必须相同，否则使用这些 IP 地址的节点之间的连接将失败。
要向系统添加节点，请完成以下步骤：
1. 通过输入以下命令，确保将节点列为候选节点：
```
svcinfo lsnodecandidate
```
  在显示的结果中，验证 id 参数是否显示节点的 WWNN。如果检测不到该节点，请验证节点的连线。
2. 输入以下命令以确定必须添加节点的 I/O 组：
```
lsiogrp
```
3. 记录节点计数为零的第一个 I/O 组的名称或标识。您在后续步骤中需要该名称或标识。
  注：必须对添加的第一个节点执行此步骤。不必对节点对中的第二个节点执行此步骤，因为它使用相同的 I/O 组号。
4. 输入此命令以将节点添加到系统中：
```
addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
```
  其中 WWNN 是节点的 WWNN，iogrp_name 是要添加节点的 I/O 组的名称，而 new_name_arg 是要分配给节点的名称。如果未指定新的节点名称，那么将分配缺省名称。
通过输入以下命令，验证使用支持 RDMA 的以太网端口的节点之间的连接：
```
sainfo lsnodeipconnectivity
```
在显示的结果中，值 Status:Connected 指示成功连接。Status:Discovered 的值指示已配置所选节点上的端口，但无法建立连接。如果发生连接错误，那么将在 error_data 参数中显示这些错误的可能原因。有关这些错误状态的描述，请参阅管理 GUI 指示信息。您还可以使用 ping 命令对节点之间的连接问题进行故障诊断。