RDMA 対応イーサネット・ポートを使用する拡張システムの要件

リモート直接メモリー・アクセス (RDMA) 対応イーサネット・ポートを使用する拡張システムを構成する場合は、RDMA 固有の要件がすべて満たされていることを確認してください。

以下の要件に従って、RDMA 対応イーサネット・ポートを使用する拡張システムを構成します。

• 各ノードは、1 次サイトおよび 2 次サイトの 2 つ以上の RDMA 対応イーサネット・ファブリックに直接接続する (2 個から 4 個のファブリックがサポートされている)。iSCSI 接続では、各ノードを 1 次サイトと 2 次サイトにある 2 つ以上の RDMA 対応イーサネット・ファブリックに接続します。サイトは独立した障害ドメインとして定義されます。境界内の障害 (電源障害、火災、または洪水など) が境界内に留まり、障害がその境界の外側にある部分に伝搬したり影響を与えたりしないように、障害ドメインが境界内のシステムに含まれます。 障害ドメインは、データ・センター内の同じ部屋あるいはデータ・センター内の複数の部屋にまたがって配置することができ、また、同じ構内にある複数の建物、あるいは別の町にある複数の建物に配置することができます。異なる種類の障害ドメインが存在することにより、さまざまなタイプの障害からの保護が可能です。
• RDMA 対応イーサネット・ポートは、ノード間通信とホスト接続のどちらにも使用できます。ただし、RDMA 対応イーサネット・ポートをホスト用とノード間通信用に共有しないでください。RDMA 対応ポートは、外部ストレージへの接続用にはサポートされていません。ホスト接続用と外部ストレージの仮想化用には、他のさまざまなプロトコルもサポートされています。
• 3 番目のサイトでストレージ・システムが使用されている場合、そのストレージ・システムは、拡張クォーラム・ディスクをサポートしている必要があります。詳しい情報は、以下の Web サイトで利用できるインターオペラビリティー・マトリックスに記載されています。

  www.ibm.com/support

• 独立したストレージ・システムを 1 次サイトおよび 2 次サイトに配置し、 ボリューム・ミラーリングを使用して、2 つのサイトのストレージ・システムの間でホスト・データをミラーリングする。可能であれば、各ボリュームの優先ノードを、そのボリュームがマップされるホストと同じサイト内にあるノードに設定します。
• ノードと外部ストレージ・システムの間のパスでのスイッチ間リンク (ISL) の使用は避ける。この構成が避けられない場合は、ISL 間の大量の RDMA トラフィックによる ISL の定量オーバーが起きないようにしてください。大部分の構成で、トランキングが必要です。 ISL の問題は診断が難しいので、障害を検出するために、スイッチ・ポートのエラー統計を収集し、定期的にモニターする必要があります。
• 3 番目のサイトで単一スイッチを使用することは、2 つの独立で予備のファブリックではなく、 単一ファブリックの作成につながる可能性がある。 単一ファブリックは、サポートされていない構成です。
• すべてのノードで、ノードのイーサネット・ポート 1 を、同じサブネット (複数可) に接続する必要がある。すべてのノードのイーサネット・ポート 2 (使用している場合) は、同じサブネット (ポート 1 とは別のサブネットを推奨) に接続する必要があります。別のイーサネット・ポートにも同じ原則が適用されます。
• 一部のサービス・アクションでは、 システム内のすべてのノードに物理的にアクセスする必要がある。拡張システム内のノードが 100 メートルを超えて分離されている場合、サービス・アクションに複数のサービス担当員が必要な場合がある。複数サイトのサポートについて サービス担当員に連絡を取ってください。
• 3 番目の専用サイトを使用して、クォーラム・ディスクまたは IP クォーラム・アプリケーションを格納する。拡張システムの場合は、1 次サイトと 2 次サイトの間で通信が失われると、クォーラム・ディスクまたは IP クォーラム・アプリケーションが冗長性を提供します。また、どちらも、必要な場合にシステムをリカバリーするために使用される構成メタデータを含んでいます。IP クォーラム・アプリケーションは、拡張システムが iSCSI 接続ストレージ・システムに接続するときに使用されます。iSCSI ストレージは第 3 のサイトに構成することはできません。

  拡張システムは、アクティブ・クォーラム・ディスクまたは IP クォーラム・アプリケーションを 3 番目のサイトに配置します。1 次サイトと 2 次サイトの間の通信が失われた場合、 アクティブ・クォーラム・ディスクにアクセスできるサイトがトランザクションの処理を続行します。 アクティブ・クォーラム・ディスクへの通信が失われた場合は、 別のサイトの代わりのクォーラム・ディスクがアクティブ・クォーラム・ディスクになることができます。

  ノードのシステムは、最大 3 つのクォーラム・ディスクを使用するように構成できますが、システムがサイズの等しい 2 組のノードに分割されている場合の状態を解決するためには、1 つのクォーラム・ディスクしか選択されません。それ以外のクォーラム・ディスクの目的は、システムが分割される前にクォーラム・ディスクに障害が起きた場合の冗長性を提供することです。

RDMA 対応イーサネット・ポートを使用してノードを接続する拡張システムの例を 図 1 に示します。

この構成では、1 次サイトまたは 2 次サイトのどちらに障害が起こった場合でも、残りのサイトが、クォーラム・ディスクをホストするストレージ・システムへの直接アクセスを保持するようにする必要があります。

この構成には以下の制限があります。