ノード間通信用の RDMA 対応イーサネット・ポートを使用するための構成の詳細
ノード間通信用の RDMA 対応イーサネット・ポートを使用するようにシステムを構成する前に、以下の推奨事項を考慮してください。
ノード間通信用の RDMA 対応イーサネット・ポートを構成する場合、以下の推奨事項を使用してください。
- ノード間通信に使用するポートとホスト接続に使用するポートには、異なるサブネットを割り当てます。RDMA 対応イーサネット・ポートを使用するノード間通信の場合は、システム内のすべてのノードの物理ポート ID が一致していて、同じサブネット内に存在している必要があります。
- イーサネット接続での Single Point of Failure を回避するため、複式の冗長スイッチ構成を使用します。
- システム内のノードに RDMA 対応イーサネット・ポートを構成する前に、すべてのスイッチの RDMA サポートを確認してください。
- 往復時間 (RTT) が、パケット・ドロップなしで 80 ミリ秒以下になるようにします。
- 可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。VLAN を使用してこの分離を行う場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成する必要があります。ネットワーク内の各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN 内に存在する RDMA ポートの VLAN ID を指定します。また、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合、これらの設定を他の構成設定とは独立させて更新することはできません。特定の RDMA 対応イーサネット・ポートの VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
- 構成中の現行システムに含まれていないすべてのシステムは、イーサネット・ファブリックから物理的に分離する必要があります。異なる VLAN を構成して、システム間の分離を達成することができます。
- ネットワーク上の IP アドレスの構成を検査して、重複した IP アドレスが割り当てられていないことを確認します。
- ネットワーク構成でファイアウォールを使用する場合は、TCP ポート 21455 と、UDP ポートの 21451 および 21452 のトラフィックが開いていることを確認してください。RDMA 対応イーサネット・ポートは、システム上の TCP ポート 21455 をデータ・トラフィック用に、UDP ポートの 21451 および 21452 をサービス・ディスカバリー用に使用します。さらに、RDMA 対応イーサネット・ポートはサービス・ディスカバリー用のグループ・マルチキャスト通信に Internet Group Management Protocol (IGMP) を使用するので、ファイアウォール上で IGMP トラフィックが冗長サイト構成に使用可能であることを確認してください。
- 各ノードの RDMA 対応イーサネット・ポートのそれぞれに異なるサブネットでIP アドレスを割り当てます。これにより、システムは接続先の宛先 IP アドレスに応じて固有のルートを選択できます。
- RDMA 対応イーサネット・ポートは、ノード間通信およびホスト接続のどちらにも使用できます。ただし、RDMA 対応イーサネット・ポートをホストとノード間通信に共有しないでください。RDMA 対応ポートは、外部ストレージへの接続にはサポートされていません。 外部ストレージのホスト接続および仮想化のために、他のさまざまなプロトコルもサポートされています。
- HyperSwap® 構成または拡張システム構成の場合は、スイッチ間リンクの数が、ノード間の RDMA 対応接続に十分であることを確認してください。障害シナリオ (単一サイト障害、メトロ・ミラー接続、またはサイト間のボリューム・ミラーリングなど) でサイト間を流れるピーク・トラフィックを使用して、システムのスイッチ要件を判別します。
ノード間通信用の RDMA 対応イーサネット・ポートを使用するシステムの場合、以下のシステム制限があります。
- RDMA 対応イーサネット・ポートでは、IPv4 アドレスのみがサポートされます。
- RDMA 対応イーサネット・ポートを使用するノード間通信の場合、最大伝送単位 (MTU) では、デフォルト値の 1500 のみがサポートされます。
- RDMA 対応イーサネット・ポートでは、ポート・マスキングはサポートされません。この制限があるため、ノード間通信のポート数は最大でも 4 つを超えないようにしてください。
- ノード間通信用の RDMA 対応イーサネット・ポートを使用するシステムでは、ホット・スペア・ノードはサポートされません。
- スイッチのファブリックに 2 ホップを超えるホップを含むネットワーク構成では、RDMA 対応イーサネット・ポートを使用するノード間通信はサポートされません。
- ノード間通信用の RDMA 対応イーサネット・ポートをサポートするのは特定のモデルのシステムのみです。RDMA 対応イーサネット・ポートをサポートするシステム・ハードウェア・モデルのリストについては、以下の Web サイトを参照してください。
http://www-03.ibm.com/systems/support/storage/ssic/interoperability.wss
システムで RDMA 対応イーサネット・ポートを使用する場合のその他の情報については、以下の Web サイトにアクセスして、「Configuration Limits and Restrictions」を検索してください。