ノード間通信に RDMA 対応イーサネット・ポートを使用するための構成の詳細
ノード間通信用の RDMA 対応イーサネット・ポートを使用するようにシステムを構成する前に、以下の推奨事項を考慮してください。
重要: ノード間通信用の RDMA 対応のイーサネット・ポートを使用するようにシステムを構成し、IBM®
HyperSwap® または拡張システム構成を組み込む前に、製品サポート担当員にお問い合わせください。
RDMA 対応のイーサネット・ポートをノード間通信で構成する場合、
次の推奨事項を使用してください。- ノード間通信に使用されるポートと、ホスト接続に使用されるポートには異なるサブネットを割り当てます。RDMA 対応イーサネット・ポートを使用するノード間通信の場合は、システム内のすべてのノードの物理ポート ID が一致していて、同じサブネット内に存在している必要があります。
- イーサネット接続での Single Point of Failure を回避するため、複式の冗長スイッチ構成を使用します。
- システム内のノードに RDMA 対応イーサネット・ポートを構成する前に、すべてのスイッチの RDMA サポートを確認してください。
- 往復時間 (RTT) がパケット・ドロップなしで 3 ミリ秒以下になるようにします。
- ロスレス・イーサネット・ファブリックを作成するには、常に、標準トポロジーにイーサネット・フロー制御メカニズム (IEEE 802.3x) を使用します。
- 可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。VLAN を使用してこの分離を行う場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成する必要があります。ネットワーク内の各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN 内に配置する RDMA ポートの VLAN ID を指定します。また、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合、これらの設定を他の構成設定とは独立させて更新することはできません。特定の RDMA 対応イーサネット・ポートの VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
- 構成中の現行システムに含まれていないすべてのシステムは、イーサネット・ファブリックから物理的に分離する必要があります。異なる VLAN を構成して、システム間の分離を達成することができます。
- ネットワーク上の IP アドレスの構成を検査して、重複した IP アドレスが割り当てられていないことを確認します。
- ネットワーク構成でファイアウォールを使用する場合は、TCP ポート 21455 と UDP ポート 4791、21451、および 21452 のトラフィックがオープンしていることを確認します。RDMA 対応イーサネット接続を使用するノード間通信では、データ・トラフィックに TCP ポート 21455 を使用して、システム上のサービス・ディスカバリーに UDP ポート 21451 およびポート 21452 を使用します。RoCE プロトコルを使用する場合は、UDP ポートのトラフィックも開いていることを確認してください。また、RDMA 対応のイーサネット・ポートは、サービス・ディスカバリーのために、グループ・マルチキャスト通信でインターネット・グループ管理プロトコル (IGMP) を使用します。そのため、冗長サイト構成に対応するよう、ファイアウォール上で IGMP トラフィックが有効になっていることを確認します。
- 各ノードの RDMA 対応イーサネット・ポートのそれぞれに異なるサブネットで IP アドレスを割り当てます。これにより、システムは接続先の宛先 IP アドレスに応じて固有のルートを選択できます。
- RDMA 対応イーサネット・ポートは、ノード間通信およびホスト接続のどちらにも使用できます。ただし、RDMA 対応イーサネット・ポートをホストとノード間通信に共有しないでください。RDMA 対応ポートは、外部ストレージへの接続にはサポートされていません。 外部ストレージのホスト接続および仮想化のために、他のさまざまなプロトコルもサポートされています。
- HyperSwap または拡張システムの構成の場合、スイッチ間リンクの数が、ノード間の RDMA 対応接続には十分であることを確認します。障害シナリオ (単一サイト障害、メトロ・ミラー接続、またはサイト間のボリューム・ミラーリングなど) でサイト間を流れるピーク・トラフィックを使用して、システムのスイッチ要件を判別します。
ノード間通信に RDMA 対応イーサネット・ポートを使用するシステムの場合、システムには以下の制限があります。
- RDMA 対応イーサネット・ポートでは、IPv4 アドレスのみがサポートされています。
- RDMA 対応イーサネット・ポートを使用するノード間通信の場合、最大伝送単位 (MTU) では、デフォルト値の 1500 のみがサポートされます。
- RDMA 対応イーサネット・ポートでは、ポート・マスキングはサポートされません。この制限があるため、ノード間通信のポート数は最大でも 4 つを超えないようにしてください。
- ノード間通信用の RDMA 対応イーサネット・ポートを使用するシステムでは、ホット・スペア・ノードはサポートされません。
- RDMA 対応イーサネット・ポートを使用するノード間通信は、スイッチのファブリック内のホップ数が 2 ホップを超えるネットワーク構成ではサポートされません。
- 一部の環境では、拡張層 2 サブネットが組み込まれていない場合があります。そのようなシナリオでは、例えば、標準トポロジーまたは長距離 RDMA ノード間 HyperSwap 構成内の層 3 ネットワークは利用可能です。層 3 イーサネット・ネットワークをサポートするために、RDMA ノード間通信用にユニキャスト・ディスカバリー・メソッドを使用できます。このメソッドでは、マルチキャスト・ディスカバリーではなく、ユニキャスト・ベースのファブリック・ディスカバリーを利用します。 ユニキャスト・ディスカバリーを構成する場合は、addnodediscoverysubnet コマンド、rmnodediscoverysubnet コマンド、または lsnodediscoverysubnet コマンドを参照してください。
- ノード間通信用の RDMA 対応イーサネット・ポートをサポートするのは特定のモデルのシステムのみです。RDMA 対応イーサネット・ポートをサポートするシステム・ハードウェア・モデルのリストについては、以下の Web サイトを参照してください。
http://www-03.ibm.com/systems/support/storage/ssic/interoperability.wss
システムで RDMA 対応のイーサネット・ポートを使用する方法の詳細については、次の Web サイトにアクセスし、Configuration Limits and Restrictions を検索してください。