RDMA 対応イーサネット・ポートの接続を使用するノードの管理

システムは、Remote Direct Memory Access (RDMA) テクノロジー (RDMA over Converged Ethernet (RoCE) や iWARP など) をサポートするイーサネット・プロトコルを使用したノード間接続をサポートします。これらのプロトコルを使用するためには、システムで、RDMA 対応アダプターが各ノードに取り付けられており、専用の RDMA 対応イーサネット・ポートがノード間通信に対応できるように構成されている必要があります。

RDMA テクノロジー (RoCE や iWARP など) によって、RDMA 対応アダプターが、CPU およびキャッシュをバイパスしてノード間で直接データを転送できるようになり、転送が高速化されます。RDMA テクノロジーは、従来の iSCSI 接続より高速な接続と処理時間を提供します。

ノード間で使用されるすべての RDMA 対応イーサネット・ポートには、以下の必須前提条件があります。

ノード・ハードウェアの取り付けがすべて完了している。
RDMA テクノロジーをサポートする 25 Gbps イーサネット・アダプターが各ノードに取り付けられている。ノード間通信に RDMA テクノロジーを使用する場合は、RDMA 対応アダプターが同じテクノロジー (RoCE や iWARP など) を使用していることを確認してください。これらの RDMA 対応アダプターは、システムのすべてのノードで同じスロットに取り付けられている必要があります。これらの取り付け要件により、システム内のすべてのノードでポート ID が同じであることが保証されます。
各ノード間のイーサネット・ケーブルが正しく接続されている。
ソースと宛先のアダプターのプロトコル・テクノロジーが同じである。
ローカルとリモートの IP アドレスに到達できる。
RDMA 対応イーサネット・ポートとそれぞれの関連サブネット・マスクの各 IP アドレスが各ノードで固有である。
ノード間通信用の RDMA 対応イーサネット・ポートを使用するノード間に、ルーターを配置してはならない。
ローカルとリモートのアダプター上のネゴシエーション速度が同じである。
ローカルとリモートのポート仮想 LAN ID が同じである。可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。 VLAN を使用してこの分離を行う計画である場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成しておく必要があります。ネットワーク内の各スイッチで、VLAN を Trunk モードに設定し、同じ VLAN に含まれる RDMA ポートの VLAN ID を指定してください。さらに、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合は、それらの設定を他の構成設定とは独立に更新することはできません。特定の RDMA 対応イーサネット・ポートで VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
最適なパフォーマンスと信頼性を確保するために、ノード間通信には最小 2 個の専用 RDMA 対応イーサネット・ポートが必要である。これらのポートはノード間トラフィック専用に構成する必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、または IP 複製トラフィックに使用してはなりません。
ノード間通信ではノード当たり最大 4 個の RDMA 対応イーサネット・ポートが許可される。

ノードの追加や除去など、ノードに関する基本的なタスクは、ファイバー・チャネル・ベースと RDMA ベースのどちらのノード間接続でも同じですが、ノード・レベルの管理タスクを実行する前に、RDMA 対応イーサネット・ポートに対して管理アクションを実行することが必要になる場合があります。

ノードの RDMA 対応イーサネット・ポートに関連する管理タスクを実行する前に、以下のベスト・プラクティスを使用してそれらのポートを管理してください。

RDMA 対応イーサネット・ポートを使用するようにシステムが既に構成されている場合は、RDMA 対応イーサネット・ポートの設定の追加、削除、または更新を行う前に、1 つの冗長パスが使用可能であることを確認する必要がある。
一度に 1 つの RDMA 対応イーサネット・ポートについてのみ、設定の追加、削除、または更新を行う。これらの変更の間は、15 秒待ってから、他の RDMA 対応イーサネット・ポートを更新してください。
仮想 LAN を使用してネットワークを物理的に分離する場合は、関連タスクの管理を実行するときに、必ず以下の追加ガイドラインに従う。
- VLAN ID を、RDMA 対応イーサネット・ポートの他の設定 (IP アドレスなど) とは独立に更新したり追加したりすることはできません。
- VLAN ID 情報を RDMA 対応イーサネット・ポートに追加または更新する前に、ネットワーク内のすべてのイーサネット・スイッチで VLAN サポートを構成する必要があります。例えば、各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN に属す RDMA 対応イーサネット・ポートの VLAN ID を指定します。