使用支持 RDMA 的以太网端口进行节点间通信的配置详细信息

在将系统配置为使用支持 RDMA 的以太网端口进行节点间通信之前，请考虑以下建议。

要点： 在配置使用支持 RDMA 的以太网端口进行节点间通信并包含 IBM® HyperSwap® 或延伸系统配置的系统之前，请联系产品支持代表。
在配置支持 RDMA 的以太网端口以进行节点间通信时，请采用以下建议：
  • 为用于节点间通信的端口和用于主机连接的端口分配不同的子网。对于使用支持 RDMA 的以太网端口实现的节点间通信，系统中所有节点的物理端口标识都必须匹配，并且必须位于同一子网中。
  • 使用双冗余交换机配置以避免在以太网连接中发生单点故障。
  • 在系统中的节点上配置支持 RDMA 的以太网端口之前，请验证所有交换机上是否支持 RDMA。
  • 确保往返时间 (RTT) 最长为 3 毫秒且未发生任何丢包情况。
  • 要形成无损以太网光纤网，请始终对标准拓扑使用以太网流量控制机制 (IEEE 802.3x)。
  • 尽可能使用虚拟 LAN 为不相关系统建立物理网络隔离。必须为用于节点间通信的所有端口分配一个 VLAN 标识，而用于主机连接的端口必须具有不同的 VLAN 标识。如果计划使用 VLAN 建立这种隔离，那么必须先在网络中的所有以太网交换机上配置 VLAN 支持，然后才能在系统中的节点上定义支持 RDMA 的以太网端口。在网络中的每个交换机上，将 VLAN 设置为中继方式，并指定将位于同一 VLAN 中的 RDMA 端口的 VLAN 标识。此外，如果需要更新支持 RDMA 的以太网端口的 VLAN 设置，那么不能独立于其他配置设置来更新这些设置。在更新支持 RDMA 的特定以太网端口的 VLAN 设置之前，必须取消配置该端口，对交换机配置进行任何必要的更改，然后在系统中的每个节点上重新配置支持 RDMA 的以太网端口。
  • 不属于当前所配置系统的所有系统都必须以物理方式与以太网光纤网隔离。可以配置不同的 VLAN 来实现系统间的隔离。
  • 验证网络上的 IP 地址配置，以确保未指定重复的 IP 地址。
  • 如果在网络配置中使用防火墙，那么确保开放 TCP 端口 21455 和 UDP 端口 4791、21451 和 21452 的流量。使用支持 RDMA 的以太网连接的节点间通信会将 TCP 端口 21455 用于数据流量，将 UDP 端口 21451 和 21452 用于系统服务发现。如果使用 RoCE 协议，确保还开放 UDP 端口的流量。此外，支持 RDMA 的以太网端口使用因特网组管理协议 (IGMP) 进行组多点广播通信以便发现服务，因此请确保在防火墙上已启用 IGMP 流量来实现冗余站点配置。
  • 为每个节点上每个支持 RDMA 的独立以太网端口分配具有不同子网的 IP 地址，以便系统可以根据其连接到的目标 IP 地址来选择唯一路径。
  • 支持 RDMA 的以太网端口可用于节点间通信和主机连接；但是，主机通信和节点间通信不能共享支持 RDMA 的以太网端口。与外部存储器的连接不支持支持 RDMA 的端口。外部存储器的主机连接和虚拟化还支持各种其他协议。
  • 对于 HyperSwap 或延伸系统配置，请确保交换机间链路的数量足以支持节点间的 RDMA 连接。使用可在故障场景（例如，单站点故障、高速镜像连接或站点之间的卷镜像）中的站点之间流动的峰值流量，确定系统的交换机需求。
对于使用支持 RDMA 的以太网端口进行节点间通信的系统，此类系统存在以下限制：
  • 在支持 RDMA 的以太网端口上仅支持 IPv4 地址。
  • 对于使用支持 RDMA 的以太网端口的节点间通信的最大传输单元 (MTU)，仅支持缺省值 1500。
  • 在支持 RDMA 的以太网端口上不支持端口掩码。由于存在此限制，因此请勿超出节点间通信的最大端口数（四个）。
  • 在使用支持 RDMA 的以太网端口进行节点间通信的系统上，不支持热备用节点。
  • 在交换机光纤网中包含 2 个以上中继段的网络配置中，不支持使用支持 RDMA 的以太网端口实现的节点间通信。
  • 某些环境可能不包括扩展的第 2 层子网。这些情况下，第 3 层网络适用，例如使用标准拓扑或长距离 RDMA 节点间 HyperSwap 配置时。为了支持第 3 层以太网，可以采用单播发现方法进行 RDMA 节点间通信。此方法依赖于基于单播的光纤网发现，而不是多播发现。 要配置单播发现，请参阅 addnodediscoverysubnet、rmnodediscoverysubnet 或 lsnodediscoverysubnet 命令。
  • 只有特定系统型号才支持使用支持 RDMA 的以太网端口进行节点间通信。有关可使用支持 RDMA 的以太网端口的系统硬件型号的列表，请访问以下 Web 站点：

    http://www-03.ibm.com/systems/support/storage/ssic/interoperability.wss

    有关在系统上使用支持 RDMA 的以太网端口的其他信息，请转至以下 Web 站点并搜索 Configuration Limits and Restrictions：

    www.ibm.com/support