ノード間通信に RDMA 対応イーサネット・ポートを使用したシステムの構成

システムは、Remote Direct Memory Access (RDMA) テクノロジーをサポートするイーサネット・プロトコル (RDMA over Converged Ethernet (RoCE) や iWARP など) を使用するノード間接続をサポートします。これらのプロトコルを使用するためには、システムで、RDMA 対応アダプターが各ノードに取り付けられており、専用の RDMA 対応イーサネット・ポートがノード間通信に対応できるように構成されている必要があります。

RDMA テクノロジー (RoCE や iWARP など) によって、RDMA 対応アダプターが、CPU およびキャッシュをバイパスしてノード間で直接データを転送できるようになり、転送が高速化されます。RDMA テクノロジーは、従来の iSCSI 接続より高速な接続と処理時間を提供します。

前提条件

ノード間で使用される RDMA 対応イーサネット・ポートすべてについて、以下の前提条件を満たす必要があります。

ノード・ハードウェアの取り付けがすべて完了している。
RDMA テクノロジーをサポートする 25 Gbps イーサネット・アダプターが各ノードに取り付けられている。ノード間通信に RDMA テクノロジーを使用する場合、RDMA 対応アダプターが同じテクノロジー (RoCE や iWARP など) を使用していることを確認してください。これらの RDMA 対応アダプターは、システムのすべてのノードで同じスロットに取り付ける必要があります。これらの取り付け要件を守ることで、システム内のすべてのノードが確実に同じポート ID になります。
各ノード間のイーサネット・ケーブルが正しく接続されている。
ソースと宛先のアダプターのプロトコル・テクノロジーが同じである。
ローカルとリモートの IP アドレスに到達できる。
RDMA 対応イーサネット・ポートとそれぞれの関連サブネット・マスクの各 IP アドレスが各ノードで固有である。
ノード間通信用に RDMA 対応イーサネット・ポートを使用する場合、ノード間にルーターを配置してはならない。
ローカルとリモートのアダプター上のネゴシエーション速度が同じである。
ローカルとリモートのポート仮想 LAN ID が同じである。可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。VLAN を使用してこの分離を行う場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成する必要があります。ネットワーク内の各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN 内に配置する RDMA ポートの VLAN ID を指定します。また、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合、これらの設定を他の構成設定とは独立させて更新することはできません。特定の RDMA 対応イーサネット・ポートの VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
最適なパフォーマンスと信頼性を確保するために、ノード間通信には最小 2 個の専用 RDMA 対応イーサネット・ポートが必要である。これらのポートはノード間トラフィック専用に構成する必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、および IP 複製トラフィックに使用してはなりません。
ノード間通信ではノード当たり最大 4 個の RDMA 対応イーサネット・ポートが許可される。

以下の図は、ノード間通信で RDMA 対応イーサネット・ポートを使用したシステムの構成例を示しています。この構成は、環境およびネットワーク構成に関する前提条件と推奨事項に従っています。この例では、システム内のすべてのノードでポート 1 およびポート 2 (紫色) がノード間通信用に構成されているのに対し、ポート 3 およびポート 4 (赤色) はホスト接続に使用されます。すべてのノードのポート 1 およびポート 2 は、すべてのノードのポート 3 およびポート 4 と異なるサブネットに属し、ノード間トラフィックとホスト・トラフィックが分離されています。すべてのポートは、トラフィックを適切に経路指定する 2 つの冗長 100 GB スイッチに接続されています。

サービス・アシスタントおよび管理 GUI の使用

RDMA 対応イーサネット・ポートを使用するシステムを作成するには、以下のステップを実行します。

システム内の各ノードで、すべての RDMA 対応イーサネット・ポートのすべての IP アドレスを定義します。

サービス・アシスタント GUI を使用して各ノードのポート IP アドレスを定義するには、以下のステップを実行します。

サポートされているブラウザーで、システム内のいずれかのノードのサービス IP アドレスを入力します。
サービス・アシスタント GUI で、ノードの 1 つを選択して、「ノード IP の変更」を選択します。
「ノード IP の変更」パネルで、IP アドレスを定義するポートを選択して、「変更」をクリックします。
上記で選択した RDMA 対応イーサネット・ポートの IP アドレス、サブネット・マスク、ゲートウェイ、および VLAN ID を入力します。
注: 各ポートの IP アドレスおよびサブネット・マスクは固有でなければならず、システム上の他の場所で使用することはできません。ただし、すべてのノード上の RDMA 対応イーサネット・ポートの VLAN ID は同じでなければなりません。そうでないと、これらの IP アドレスを使用するノード間の接続は失敗します。RDMA 対応イーサネット・ポートを構成する場合は、ノード間通信用のポートの数が最大 4 個を超えないようにしてください。
「保存」をクリックします。
選択したノードの各 RDMA 対応イーサネット・ポートについて上記のステップを繰り返します。システム内のノードの数に応じて、最大 8 個 (ノード当たり 2 個) の RDMA 対応イーサネット・ポートを構成できます。これらのポートは、ノード間通信専用にする必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、あるいは IP 複製に使用することはできません。
最初のノードのすべての IP アドレスが構成された後、ドロップダウンから他のノードを選択して、「実行」を選択します。
システム内の他のノードについて、ステップ 2 から 6 を繰り返します。2 番目のノードが更新された後、管理 GUI を使用して、そのノードをシステムに追加できます。

ノードをシステムに追加します

管理 GUI を使用してノードをシステムに追加するには、以下のステップを実行します。

「モニター」 > 「システム」を選択します。
「システム・アクション」メニューから「ノードの追加」を選択します。
ノードがシステムに追加された後、「システム - 概要」ページでノードの状況が「オンライン」であることを確認します。ノードがオフラインとしてリストされるか、エラーが発生する場合は、「モニター」 > 「イベント」を選択してエラー・メッセージを表示するか、「設定」 > 「ネットワーク」 > 「イーサネット接続」を選択して、ノードのポート接続を表示し、潜在的な接続の問題を確認します。ping コマンドを使用して、ノード間の接続の問題をトラブルシューティングすることもできます。このページには、ノード間の接続状況が表示されます。接続の問題が存在する場合、問題の原因を判別できるように、エラー・データ情報が提供されます。

ディスカバー済み

選択されたノード上のイーサネット・ポートは構成されているが、接続を確立できないことを示します。この状況は、解決する必要がある潜在的な問題があることを示しています。「エラー・データ」列は、「ディスカバー済み」状況の理由を示します。「エラー・データ」列に示される値は、以下のいずれかです。

プロトコルの不一致

送信元アダプターと宛先アダプターのプロトコルが同じでないことを示します。このエラーは、システム内の 1 つのノードに 25 Gbps イーサネット・アダプターが取り付けられていない場合に発生します。

到達不能

ローカルおよびリモートの IP アドレスに到達できないことを示します。このエラーは、システム内の 1 つのノードがオフラインである場合に発生する可能性があります。「モニター」 > 「イベント」を選択してエラーを確認し、必要な修正手順を実行して、ノードをオンライン状況に戻してください。

重複した IP アドレス

1 つ以上の IP アドレスがネットワーク内で使用されていることを示します。各ノード IP アドレスは、固有でなければなりません。このエラーは、「サービス・アシスタント」インターフェースを使用して、ノード IP アドレスを変更することで修正できます。

機能低下

ローカル・アダプターとリモート・アダプターの両者でネゴシエーションされた速度が同じではないことを示します。機能低下状況は、一方または両方のアダプターが、そのアダプターがサポートする最大速度より低速で構成されている場合に発生します。この問題を修正するには、両方のノードのアダプターを最大速度で構成する必要があります。

VLAN ID の不一致

ローカルおよびリモートのポート仮想 LAN ID が同じではないことを示します。このエラーを修正するには、ローカルおよびリモートのノードが同じ VLAN に属している必要があります。ネットワークで VLAN を使用している場合は、VLAN を「Trunk」モードに設定し、スイッチの VLAN ID を指定することによってスイッチ上に VLAN を構成してから、システム内のノード上の RDMA 対応イーサネット・ポートの IP アドレスおよびその他の設定を構成する必要があります。

コマンド・ライン・インターフェースの使用

RDMA 対応イーサネット・ポートを使用するシステムを作成するには、以下のステップを実行します。

RDMA 対応イーサネット・ポート用にポート IP アドレスを定義するには、システム内の各ノードの各ポートに対して次のコマンドを入力します。
```
satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
```
ここで、ip_address は、ポート ID (port_number) およびノード名 (panel_name) で識別されるポートの IP アドレスです。RDMA 対応イーサネット・ポートの各 IP アドレスに同じ vlanid を指定して、すべてのポートが同じ VLAN 内にあるようにしてください。
注: 各ポートの IP アドレスおよびサブネット・マスクは固有でなければならず、システム上の他の場所で使用することはできません。ただし、すべてのノード上の RDMA 対応イーサネット・ポートの VLAN ID は同じでなければなりません。そうでないと、これらの IP アドレスを使用するノード間の接続は失敗します。
ノードをシステムに追加するには、以下のステップを実行します。
1. 次のコマンドを入力して、ノードが候補ノードとしてリストされることを確認します。
```
svcinfo lsnodecandidate
```
  表示される結果で、id パラメーターにノードの WWNN が表示されていることを確認します。ノードが検出されない場合は、ノードのケーブル接続を確認します。
2. 次のコマンドを入力して、ノードを追加する必要がある入出力グループを判別します。
```
lsiogrp
```
3. ノード・カウントがゼロの最初の入出力グループの名前または ID を記録します。その名前または ID は次のステップで必要になります。
  注: このステップは、追加する最初のノードについて行う必要があります。ペアの 2 番目のノードでは、同じ入出力グループ番号を使用するため、このステップは実行しません。
4. 次のコマンドを入力して、ノードをシステムに追加します。
```
addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
```
  ここで、WWNN はノードの WWNN、iogrp_name はノードの追加先の入出力グループの名前、new_name_arg はノードに割り当てる名前です。新規ノード名を指定しないと、デフォルト名が割り当てられます。
以下のコマンドを入力して、RDMA 対応イーサネット・ポートを使用するノード間の接続を検証します。
```
sainfo lsnodeipconnectivity
```
表示される結果で、値 Status:Connected は、接続が正常に行われたことを示しています。値 Status:Discovered は、選択されたノード上のポートは構成されているが、接続を確立できないことを示します。接続エラーが発生した場合は、それらのエラーの考えられる理由が error_data パラメーターに表示されます。これらのエラー状態の説明については、管理 GUI の説明を参照してください。ping コマンドを使用して、ノード間の接続の問題をトラブルシューティングすることもできます。