ノード間通信用の RDMA 対応イーサネット・ポートを使用するための構成の詳細
ノード間通信用の RDMA 対応イーサネット・ポートを使用するようにシステムを構成する前に、以下の推奨事項を考慮してください。
ノード間通信用に RDMA 対応イーサネット・ポートを構成する場合は、以下の推奨事項を考慮してください。
- ノード間通信に使用するポートとホスト接続に使用するポートには、異なるサブネットを割り当てます。RDMA 対応イーサネット・ポートを使用したノード間通信の場合、システム内のすべてのノードの物理ポート ID が一致している必要があり、しかも同じサブネット内に存在している必要があります。
- デュアル冗長スイッチ構成を使用して、イーサネット接続での Single Point of Failure を回避します。
- システム内のノードで RDMA 対応イーサネット・ポートを構成する前に、すべてのスイッチで RDMA サポートを確認してください。
- 往復時間 (RTT) が、パケット・ドロップなしで最大 80 ミリ秒になるようにします。
- 可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。 VLAN を使用してこの分離を行う計画である場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成しておく必要があります。ネットワーク内の各スイッチで、VLAN を Trunk モードに設定し、同じ VLAN に含まれる RDMA ポートの VLAN ID を指定してください。さらに、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合は、それらの設定を他の構成設定とは独立に更新することはできません。特定の RDMA 対応イーサネット・ポートで VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
- 構成中の現行システムに含まれていないすべてのシステムは、イーサネット・ファブリックから物理的に分離する必要があります。システム間の分離を実現するために、さまざまな VLAN を構成できます。
- ネットワーク上の IP アドレスの構成を確認して、重複した IP アドレスが割り当てられていないことを確認してください。
- ネットワーク構成内でファイアウォールを使用する場合は、TCP ポート 21455 と、UDP ポートの 21451 および 21452 のトラフィックが開いていることを確認してください。RDMA 対応イーサネット・ポートは、TCP ポート 21455 をデータ・トラフィックに使用し、UDP ポートの 21451 および 21452 をシステム上のサービス・ディスカバリーに使用します。さらに、RDMA 対応イーサネット・ポートはサービス・ディスカバリーのグループ・マルチキャスト通信に Internet Group Management Protocol (IGMP) を使用するので、ファイアウォール上で IGMP トラフィックが冗長サイト構成に使用可能であることを確認してください。
- 各ノードの RDMA 対応イーサネット・ポートのそれぞれに異なるサブネットでIP アドレスを割り当てます。これにより、システムは接続先の宛先 IP アドレスに応じて固有のルートを選択できます。
- RDMA 対応イーサネット・ポートは、ノード間通信とホスト接続のどちらにも使用できます。ただし、RDMA 対応イーサネット・ポートをホスト用とノード間通信用に共有しないでください。 RDMA 対応ポートは、外部ストレージへの接続用にはサポートされていません。ホスト接続用と外部ストレージの仮想化用には、他のさまざまなプロトコルもサポートされています。
- HyperSwap® 構成または拡張システム構成の場合は、スイッチ間リンクの数がノード間の RDMA 対応接続に十分であることを確認してください。障害シナリオ (単一サイト障害、メトロ・ミラー接続、またはサイト間のボリューム・ミラーリングなど) においてもサイト間でのフローが可能なピーク・トラフィックを使用して、システムのスイッチ要件を判別してください。
ノード間通信用の RDMA 対応イーサネット・ポートを使用するシステムには、以下の制限があります。
- RDMA 対応イーサネット・ポート上では、IPv4 アドレスのみがサポートされます。
- RDMA 対応イーサネット・ポートを使用するノード間通信の最大伝送単位 (MTU) については、デフォルト値の 1500 のみがサポートされます。
- RDMA 対応イーサネット・ポートでは、ポート・マスキングはサポートされません。この制限のため、ノード間通信用のポートの数は最大 4 個を超えないようにしてください。
- ノード間通信用の RDMA 対応イーサネット・ポートを使用するシステムでは、ホット・スペア・ノードはサポートされません。
- RDMA 対応イーサネット・ポートを使用するノード間通信は、スイッチのファブリック内のホップ数が 2 ホップを超えるネットワーク構成ではサポートされません。
- ノード間通信用に RDMA 対応イーサネット・ポートをサポートするのは、特定のモデルのシステムだけです。RDMA 対応イーサネット・ポートをサポートするシステム・ハードウェア・モデルのリストについては、次の Web サイトを参照してください。
http://www-03.ibm.com/systems/support/storage/ssic/interoperability.wss
システム上の RDMA 対応イーサネット・ポートの使用に関するその他の情報については、次の Web サイトにアクセスして、「Configuration Limits and Restrictions」を検索してください。