ノード間通信に RDMA 対応イーサネット・ポートを使用したシステムの構成

システムは、Remote Direct Memory Access (RDMA) テクノロジーをサポートするイーサネット・プロトコル (RDMA over Converged Ethernet (RoCE) や iWARP など) を使用するノード間接続をサポートします。これらのプロトコルを使用するためには、システムで、RDMA 対応アダプターが各ノードに取り付けられており、専用の RDMA 対応イーサネット・ポートがノード間通信に対応できるように構成されている必要があります。

RDMA テクノロジー (RoCE や iWARP など) によって、RDMA 対応アダプターが、CPU およびキャッシュをバイパスしてノード間で直接データを転送できるようになり、転送が高速化されます。RDMA テクノロジーは、従来の iSCSI 接続より高速な接続と処理時間を提供します。

前提条件

ノード間で使用される RDMA 対応イーサネット・ポートすべてについて、以下の前提条件を満たす必要があります。

ノード・ハードウェアの取り付けがすべて完了している。
RDMA テクノロジーをサポートする 25 Gbps イーサネット・アダプターが各ノードに取り付けられている。ノード間通信に RDMA テクノロジーを使用する場合、RDMA 対応アダプターが同じテクノロジー (RoCE や iWARP など) を使用していることを確認してください。これらの RDMA 対応アダプターは、システムのすべてのノードで同じスロットに取り付ける必要があります。これらの取り付け要件を守ることで、システム内のすべてのノードが確実に同じポート ID になります。
各ノード間のイーサネット・ケーブルが正しく接続されている。
ソースと宛先のアダプターのプロトコル・テクノロジーが同じである。
ローカルとリモートの IP アドレスに到達できる。
RDMA 対応イーサネット・ポートとそれぞれの関連サブネット・マスクの各 IP アドレスが各ノードで固有である。
ノード間通信用に RDMA 対応イーサネット・ポートを使用する場合、ノード間にルーターを配置してはならない。
ローカルとリモートのアダプター上のネゴシエーション速度が同じである。
ローカルとリモートのポート仮想 LAN ID が同じである。
最適なパフォーマンスと信頼性を確保するために、ノード間通信には最小 2 個の専用 RDMA 対応イーサネット・ポートが必要である。これらのポートはノード間トラフィック専用に構成する必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、および IP 複製トラフィックに使用してはなりません。
ノード間通信ではノード当たり最大 4 個の RDMA 対応イーサネット・ポートが許可される。

以下の図は、ノード間通信で RDMA 対応イーサネット・ポートを使用したシステムの構成例を示しています。この構成は、環境およびネットワーク構成に関する前提条件と推奨事項に従っています。この例では、システム内のすべてのノードでポート 1 およびポート 2 (紫色) がノード間通信用に構成されているのに対し、ポート 3 およびポート 4 (赤色) はホスト接続に使用されます。すべてのノードのポート 1 およびポート 2 は、すべてのノードのポート 3 およびポート 4 と異なるサブネットに属し、ノード間トラフィックとホスト・トラフィックが分離されています。すべてのポートは、トラフィックを適切に経路指定する 2 つの冗長 100 GB スイッチに接続されています。

サービス・アシスタントおよび管理 GUI の使用

RDMA 対応イーサネット・ポートを使用するシステムを作成するには、以下のステップを実行します。

システム内の各ノードで、すべての RDMA 対応イーサネット・ポートのすべての IP アドレスを定義します。

サービス・アシスタント GUI を使用して各ノードのポート IP アドレスを定義するには、以下のステップを実行します。

サポートされているブラウザーで、システム内のいずれかのノードのサービス IP アドレスを入力します。
サービス・アシスタント GUI で、ノードの 1 つを選択して、「ノード IP の変更」を選択します。
「ノード IP の変更」パネルで、IP アドレスを定義するポートを選択して、「変更」をクリックします。
上記で選択した RDMA 対応イーサネット・ポートの IP アドレス、サブネット・マスク、ゲートウェイ、および VLAN ID を入力します。
注: 各ポートの IP アドレスおよびサブネット・マスクは固有でなければならず、システム上の他の場所で使用することはできません。ただし、すべてのノード上の RDMA 対応イーサネット・ポートの VLAN ID は同じでなければなりません。そうでないと、これらの IP アドレスを使用するノード間の接続は失敗します。RDMA 対応イーサネット・ポートを構成する場合は、ノード間通信用のポートの数が最大 4 個を超えないようにしてください。
「保存」をクリックします。
選択したノードの各 RDMA 対応イーサネット・ポートについて上記のステップを繰り返します。システム内のノードの数に応じて、最大 8 個 (ノード当たり 2 個) の RDMA 対応イーサネット・ポートを構成できます。これらのポートは、ノード間通信専用にする必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、あるいは IP 複製に使用することはできません。
最初のノードのすべての IP アドレスが構成された後、ドロップダウンから他のノードを選択して、「実行」を選択します。
システム内の他のノードについて、ステップ 2 から 6 を繰り返します。2 番目のノードが更新された後、管理 GUI を使用して、そのノードをシステムに追加できます。

ノードをシステムに追加します

管理 GUI を使用してノードをシステムに追加するには、以下のステップを実行します。

「モニター」 > 「システム」を選択します。
「システム・アクション」メニューから「ノードの追加」を選択します。
ノードがシステムに追加された後、「システム - 概要」ページでノードの状況が「オンライン」であることを確認します。ノードがオフラインとしてリストされるか、エラーが発生する場合は、「モニター」 > 「イベント」を選択してエラー・メッセージを表示するか、「設定」 > 「ネットワーク」 > 「イーサネット接続」を選択して、ノードのポート接続を表示し、潜在的な接続の問題を確認します。ping コマンドを使用して、ノード間の接続の問題をトラブルシューティングすることもできます。このページには、ノード間の接続状況が表示されます。接続の問題が存在する場合、問題の原因を判別できるように、エラー・データ情報が提供されます。

ディスカバー済み

選択されたノード上のイーサネット・ポートは構成されているが、接続を確立できないことを示します。この状況は、解決する必要がある潜在的な問題があることを示しています。「エラー・データ」列は、「ディスカバー済み」状況の理由を示します。「エラー・データ」列に示される値は、以下のいずれかです。

プロトコルの不一致

送信元アダプターと宛先アダプターのプロトコルが同じでないことを示します。このエラーは、システム内の 1 つのノードに 25 Gbps イーサネット・アダプターが取り付けられていない場合に発生します。

到達不能

ローカルおよびリモートの IP アドレスに到達できないことを示します。このエラーは、システム内の 1 つのノードがオフラインである場合に発生する可能性があります。「モニター」 > 「イベント」を選択してエラーを確認し、必要な修正手順を実行して、ノードをオンライン状況に戻してください。

重複した IP アドレス

1 つ以上の IP アドレスがネットワーク内で使用されていることを示します。各ノード IP アドレスは、固有でなければなりません。このエラーは、「サービス・アシスタント」インターフェースを使用して、ノード IP アドレスを変更することで修正できます。

劣化

ローカル・アダプターとリモート・アダプターの両者でネゴシエーションされた速度が同じではないことを示します。機能低下状況は、一方または両方のアダプターが、そのアダプターがサポートする最大速度より低速で構成されている場合に発生します。この問題を修正するには、両方のノードのアダプターを最大速度で構成する必要があります。

VLAN ID の不一致

ローカルおよびリモートのポート仮想 LAN ID が同じではないことを示します。このエラーを修正するには、ローカルおよびリモートのノードが同じ VLAN に属している必要があります。ネットワークで VLAN を使用している場合は、VLAN を「Trunk」モードに設定し、スイッチの VLAN ID を指定することによってスイッチ上に VLAN を構成してから、システム内のノード上の RDMA 対応イーサネット・ポートの IP アドレスおよびその他の設定を構成する必要があります。

コマンド・ライン・インターフェースの使用

RDMA 対応イーサネット・ポートを使用するシステムを作成するには、以下のステップを実行します。

RDMA 対応イーサネット・ポート用にポート IP アドレスを定義するには、システム内の各ノードの各ポートに対して次のコマンドを入力します。
```
satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
```
ここで、ip_address は、ポート ID (port_number) およびノード名 (panel_name) で識別されるポートの IP アドレスです。RDMA 対応イーサネット・ポートの各 IP アドレスに同じ vlanid を指定して、すべてのポートが同じ VLAN 内にあるようにしてください。
注: 各ポートの IP アドレスおよびサブネット・マスクは固有でなければならず、システム上の他の場所で使用することはできません。ただし、すべてのノード上の RDMA 対応イーサネット・ポートの VLAN ID は同じでなければなりません。そうでないと、これらの IP アドレスを使用するノード間の接続は失敗します。
ノードをシステムに追加するには、以下のステップを実行します。
1. 次のコマンドを入力して、ノードが候補ノードとしてリストされることを確認します。
```
svcinfo lsnodecandidate
```
  表示される結果で、id パラメーターにノードの WWNN が表示されていることを確認します。ノードが検出されない場合は、ノードのケーブル接続を確認します。
2. 次のコマンドを入力して、ノードを追加する必要がある入出力グループを判別します。
```
lsiogrp
```
3. ノード・カウントがゼロの最初の入出力グループの名前または ID を記録します。その名前または ID は次のステップで必要になります。
  注: このステップは、追加する最初のノードについて行う必要があります。ペアの 2 番目のノードでは、同じ入出力グループ番号を使用するため、このステップは実行しません。
4. 次のコマンドを入力して、ノードをシステムに追加します。
```
addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
```
  ここで、WWNN はノードの WWNN、iogrp_name はノードの追加先の入出力グループの名前、new_name_arg はノードに割り当てる名前です。新規ノード名を指定しないと、デフォルト名が割り当てられます。
以下のコマンドを入力して、RDMA 対応イーサネット・ポートを使用するノード間の接続を検証します。
```
sainfo lsnodeipconnectivity
```
表示される結果で、値 Status:Connected は、接続が正常に行われたことを示しています。値 Status:Discovered は、選択されたノード上のポートは構成されているが、接続を確立できないことを示します。接続エラーが発生した場合は、それらのエラーの考えられる理由が error_data パラメーターに表示されます。これらのエラー状態の説明については、管理 GUI の説明を参照してください。ping コマンドを使用して、ノード間の接続の問題をトラブルシューティングすることもできます。