RDMA 対応イーサネット・ポートの接続を使用するノードの管理

システムは、Remote Direct Memory Access (RDMA) テクノロジーをサポートするイーサネット・プロトコル (RDMA over Converged Ethernet (RoCE) や iWARP など) を使用するノード間接続をサポートします。これらのプロトコルを使用するためには、システムで、RDMA 対応アダプターが各ノードに取り付けられており、専用の RDMA 対応イーサネット・ポートがノード間通信に対応できるように構成されている必要があります。

RDMA テクノロジー (RoCE や iWARP など) によって、RDMA 対応アダプターが、CPU およびキャッシュをバイパスしてノード間で直接データを転送できるようになり、転送が高速化されます。RDMA テクノロジーは、従来の iSCSI 接続より高速な接続と処理時間を提供します。

ノード間で使用される RDMA 対応イーサネット・ポートすべてについて、以下の前提条件を満たす必要があります。
  • ノード・ハードウェアの取り付けがすべて完了している。
  • RDMA テクノロジーをサポートする 25 Gbps イーサネット・アダプターが各ノードに取り付けられている。 ノード間通信に RDMA テクノロジーを使用する場合、RDMA 対応アダプターが同じテクノロジー (RoCE や iWARP など) を使用していることを確認してください。これらの RDMA 対応アダプターは、システムのすべてのノードで同じスロットに取り付ける必要があります。これらの取り付け要件を守ることで、システム内のすべてのノードが確実に同じポート ID になります。
  • 各ノード間のイーサネット・ケーブルが正しく接続されている。
  • ソースと宛先のアダプターのプロトコル・テクノロジーが同じである。
  • ローカルとリモートの IP アドレスに到達できる。
  • RDMA 対応イーサネット・ポートとそれぞれの関連サブネット・マスクの各 IP アドレスが各ノードで固有である。
  • ノード間通信用に RDMA 対応イーサネット・ポートを使用する場合、ノード間にルーターを配置してはならない。
  • ローカルとリモートのアダプター上のネゴシエーション速度が同じである。
  • ローカルとリモートのポート仮想 LAN ID が同じである。可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。VLAN を使用してこの分離を行う場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成する必要があります。ネットワーク内の各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN 内に配置する RDMA ポートの VLAN ID を指定します。また、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合、これらの設定を他の構成設定とは独立させて更新することはできません。特定の RDMA 対応イーサネット・ポートの VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
  • 最適なパフォーマンスと信頼性を確保するために、ノード間通信には最小 2 個の専用 RDMA 対応イーサネット・ポートが必要である。これらのポートはノード間トラフィック専用に構成する必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、および IP 複製トラフィックに使用してはなりません。
  • ノード間通信ではノード当たり最大 4 個の RDMA 対応イーサネット・ポートが許可される。

ノードの追加や除去など、ノードに関する基本的なタスクはファイバー・チャネル・ベースのノード間接続と RDMA ベースのノード間接続の両方で同じですが、ノード・レベルの管理タスクを完了する前に、RDMA 対応イーサネット・ポートで管理アクションを実行する必要がある場合があります。

ノードの RDMA 対応イーサネット・ポートに関連する管理タスクを実行する前に、以下のベスト・プラクティスを使用してそれらのポートを管理してください。
  • RDMA 対応イーサネット・ポートを使用するようにシステムが既に構成されている場合は、RDMA 対応イーサネット・ポートの設定を追加、削除、または更新する前に、冗長パスが 1 つ使用可能であることを確認する必要があります。
  • 設定の追加、削除、または更新は、一度に 1 つの RDMA 対応イーサネット・ポートでのみ行ってください。これらの変更と変更の間では、15 秒間待ってから、他の RDMA 対応イーサネット・ポートを更新します。
  • 仮想 LAN を使用してネットワークを物理的に分離する場合は、関連タスクの管理を実行する際に、以下の追加ガイドラインに従ってください。
    • VLAN ID の更新または追加は、RDMA 対応イーサネット・ポートの他の設定 (IP アドレスなど) から独立して行うことはできません。
    • VLAN ID 情報を RDMA 対応イーサネット・ポートに追加または更新する前に、ネットワーク内のすべてのイーサネット・スイッチで VLAN サポートを構成する必要があります。例えば、各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN に属す RDMA 対応イーサネット・ポートの VLAN ID を指定します。