ノード間のファイバー・チャネル接続から RDMA over Ethernet 接続への移行

システムは、Remote Direct Memory Access (RDMA) テクノロジーをサポートするイーサネット・プロトコル (RDMA over Converged Ethernet (RoCE) や iWARP など) を使用するノード間接続をサポートします。これらのプロトコルを使用するためには、システムで、RDMA 対応アダプターが各ノードに取り付けられており、専用の RDMA 対応イーサネット・ポートがノード間通信に対応できるように構成されている必要があります。システムで現在、ファイバー・チャネル・ポートを使用している場合は、ノード間通信用の RDMA 対応イーサネット・ポートに移行できます。

RDMA テクノロジー (RoCE や iWARP など) によって、RDMA 対応アダプターが、CPU およびキャッシュをバイパスしてノード間で直接データを転送できるようになり、転送が高速化されます。RDMA テクノロジーは、従来の iSCSI 接続より高速な接続と処理時間を提供します。

ノード間で使用される RDMA 対応イーサネット・ポートすべてについて、以下の前提条件を満たす必要があります。

ノード・ハードウェアの取り付けがすべて完了している。
RDMA テクノロジーをサポートする 25 Gbps イーサネット・アダプターが各ノードに取り付けられている。ノード間通信に RDMA テクノロジーを使用する場合、RDMA 対応アダプターが同じテクノロジー (RoCE や iWARP など) を使用していることを確認してください。これらの RDMA 対応アダプターは、システムのすべてのノードで同じスロットに取り付ける必要があります。これらの取り付け要件を守ることで、システム内のすべてのノードが確実に同じポート ID になります。
各ノード間のイーサネット・ケーブルが正しく接続されている。
ソースと宛先のアダプターのプロトコル・テクノロジーが同じである。
ローカルとリモートの IP アドレスに到達できる。
RDMA 対応イーサネット・ポートとそれぞれの関連サブネット・マスクの各 IP アドレスが各ノードで固有である。
ノード間通信用に RDMA 対応イーサネット・ポートを使用する場合、ノード間にルーターを配置してはならない。
ローカルとリモートのアダプター上のネゴシエーション速度が同じである。
ローカルとリモートのポート仮想 LAN ID が同じである。可能な場合は常に、仮想 LAN を使用して、関連のないシステムのネットワークを物理的に分離します。ノード間通信に使用するすべてのポートに 1 つの VLAN ID を割り当て、ホスト接続に使用するポートには別の VLAN ID を割り当てる必要があります。VLAN を使用してこの分離を行う場合は、システム内のノードに RDMA 対応イーサネット・ポートを定義する前に、ネットワーク内のすべてのイーサネット・スイッチに VLAN サポートを構成する必要があります。ネットワーク内の各スイッチで、VLAN を「Trunk」モードに設定し、同じ VLAN 内に配置する RDMA ポートの VLAN ID を指定します。また、RDMA 対応イーサネット・ポートの VLAN 設定を更新する必要がある場合、これらの設定を他の構成設定とは独立させて更新することはできません。特定の RDMA 対応イーサネット・ポートの VLAN 設定を更新するには、前もってそのポートを構成解除し、スイッチ構成に必要な変更を加えてから、システム内の各ノードの RDMA 対応イーサネット・ポートを再構成する必要があります。
最適なパフォーマンスと信頼性を確保するために、ノード間通信には最小 2 個の専用 RDMA 対応イーサネット・ポートが必要である。これらのポートはノード間トラフィック専用に構成する必要があり、ホスト接続、イーサネット接続された外部ストレージの仮想化、および IP 複製トラフィックに使用してはなりません。
ノード間通信ではノード当たり最大 4 個の RDMA 対応イーサネット・ポートが許可される。

サービス・アシスタントおよび管理 GUI の使用

ファイバー・チャネル・ポートからノード間通信用の RDMA 対応イーサネット・ポートに移行するには、以下のステップを実行します。

ファイバー・チャネルで接続されているすべてのノードで、ソフトウェアを 8.2.1 リリースにアップグレードします。
すべてのノードがアップグレードされた後、サービス・アシスタント GUI にログインして、以下のステップを実行します。
1. サポートされるブラウザーを使用して、https://ip_address/service と入力します。ここで、ip_address は、システムの管理 IP アドレスです。
2. 「ホーム」ページで、システムの構成ノード以外のノードを選択します。ノードが構成ノードであるかどうかが不明な場合は、ノードを選択して、「ノードの詳細」タブで情報を確認します。
3. ノードを選択した後、「アクション」メニューから「電源オフ」を選択します。「実行」をクリックします。
ノードの電源オフが完了した後、ノードに 25 Gbps イーサネット・アダプターを取り付ける必要があります。25 Gbps イーサネット・アダプターの取り付け手順を使用して、このステップを完了します。
サービス・アシスタント GUI で以下のステップを実行して、アダプター上の RDMA 対応イーサネット・ポートの IP アドレスを構成します。
1. サービス・アシスタント GUI で、電源をオフにしたノードを選択して、「ノード IP の変更」を選択します。
2. 「ノード IP の変更」パネルで、IP アドレスを定義するポートを選択して、「変更」をクリックします。
3. 上記で選択した RDMA 対応イーサネット・ポートの IP アドレス、サブネット・マスク、ゲートウェイ、および VLAN ID を入力します。
  注: 各ポートの IP アドレスおよびサブネット・マスクは固有でなければならず、システム上の他の場所で使用することはできません。ただし、すべてのノード上の RDMA 対応イーサネット・ポートの VLAN ID は同じでなければなりません。そうでないと、これらの IP アドレスを使用するノード間の接続は失敗します。
4. 「保存」をクリックします。
5. ノードに関連付けられた、RDMA 対応イーサネット・ポートのすべてについて、上記のステップを繰り返します。
RDMA 対応イーサネット・ポートのすべてを更新した後、管理 GUI で以下のステップを実行して、ノードをシステムに追加します。
1. 「モニター」 > 「システム」を選択します。
2. 「システム・アクション」メニューから「ノードの追加」を選択します。
3. ノードがシステムに追加された後、「システム - 概要」ページでノードの状況が「オンライン」であることを確認します。ノードがオフラインとしてリストされるか、エラーが発生する場合は、「モニター」 > 「イベント」を選択してエラー・メッセージを表示するか、「設定」 > 「ネットワーク」 > 「イーサネット接続」を選択して、ノードのポート接続を表示し、潜在的な接続の問題を確認します。ping コマンドを使用して、ノード間の接続の問題をトラブルシューティングすることもできます。このページには、ノード間の接続状況が表示されます。接続の問題が存在する場合、問題の原因を判別できるように、エラー・データ情報が提供されます。
  
  ディスカバー済み
  
  選択されたノード上のイーサネット・ポートは構成されているが、接続を確立できないことを示します。この状況は、解決する必要がある潜在的な問題があることを示しています。「エラー・データ」列は、「ディスカバー済み」状況の理由を示します。「エラー・データ」列に示される値は、以下のいずれかです。
  
  プロトコルの不一致
  
  送信元アダプターと宛先アダプターのプロトコルが同じでないことを示します。このエラーは、システム内の 1 つのノードに 25 Gbps イーサネット・アダプターが取り付けられていない場合に発生します。
  
  到達不能
  
  ローカルおよびリモートの IP アドレスに到達できないことを示します。このエラーは、システム内の 1 つのノードがオフラインである場合に発生する可能性があります。「モニター」 > 「イベント」を選択してエラーを確認し、必要な修正手順を実行して、ノードをオンライン状況に戻してください。
  
  重複した IP アドレス
  
  1 つ以上の IP アドレスがネットワーク内で使用されていることを示します。各ノード IP アドレスは、固有でなければなりません。このエラーは、「サービス・アシスタント」インターフェースを使用して、ノード IP アドレスを変更することで修正できます。
  
  機能低下
  
  ローカル・アダプターとリモート・アダプターの両者でネゴシエーションされた速度が同じではないことを示します。機能低下状況は、一方または両方のアダプターが、そのアダプターがサポートする最大速度より低速で構成されている場合に発生します。この問題を修正するには、両方のノードのアダプターを最大速度で構成する必要があります。
  
  VLAN ID の不一致
  
  ローカルおよびリモートのポート仮想 LAN ID が同じではないことを示します。このエラーを修正するには、ローカルおよびリモートのノードが同じ VLAN に属している必要があります。ネットワークで VLAN を使用している場合は、VLAN を「Trunk」モードに設定し、スイッチの VLAN ID を指定することによってスイッチ上に VLAN を構成してから、システム内のノード上の RDMA 対応イーサネット・ポートの IP アドレスおよびその他の設定を構成する必要があります。
すべてのノードが RDMA 対応イーサネット・ポートで構成されるまで、各ノードでステップ 2 から 4 を繰り返します。
以下のステップを実行して、システムに残っている各ノードの電源を一度に 1 つずつオフにします。
1. サポートされるブラウザーを使用して、https://ip_address/service と入力します。ここで、ip_address は、システムの管理 IP アドレスです。
2. 「ホーム」ページで、システムの構成ノード以外のノードを選択します。ノードが構成ノードであるかどうかが不明な場合は、ノードを選択して、「ノードの詳細」タブで情報を確認します。
3. ノードを選択した後、「アクション」メニューから「電源オフ」を選択します。「実行」をクリックします。
ノードが完全に電源オフ状態になってからでないと、次のノードの電源をオフにすることはできません。
ノード上のすべてのファイバー・チャネル・アダプターについて、移行元のファイバー・チャネル・アダプターのタイプに対応する適切な取り外し手順を使用します。
ホストがノードに接続できるようになったことを確認します。

コマンド・ライン・インターフェースの使用

ファイバー・チャネルで接続されているすべてのノードで、ソフトウェアを 8.2.1 リリースにアップグレードします。
システムの現行の構成ノードではないノードで、次のコマンドを入力します。
```
satask stopnode -poweroff
```
ノードの電源オフが完了した後、ノードに 25 Gbps イーサネット・アダプターを取り付ける必要があります。25 Gbps イーサネット・アダプターの取り付け手順を使用して、このステップを完了します。
コマンド・ラインで RDMA 対応イーサネット・ポートの IP アドレスを定義するには、以下のステップを実行します。
1. RDMA 対応イーサネット・ポート用にポート IP アドレスを定義するには、システム内の各ノードの各ポートに対して次のコマンドを入力します。
```
satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
```
  ここで、ip_address は、ポート ID (port_number) およびノード名 (panel_name) で識別されるポートの IP アドレスです。RDMA 対応イーサネット・ポートの各 IP アドレスに同じ vlanid を指定して、すべてのポートが同じ VLAN 内にあるようにしてください。
  注: 各ポートの IP アドレスおよびサブネット・マスクは固有でなければならず、システム上の他の場所で使用することはできません。ただし、すべてのノード上の RDMA 対応イーサネット・ポートの VLAN ID は同じでなければなりません。そうでないと、これらの IP アドレスを使用するノード間の接続は失敗します。
2. ノードをシステムに追加するには、以下のステップを実行します。
  1. 次のコマンドを入力して、ノードが候補ノードとしてリストされることを確認します。
```
svcinfo lsnodecandidate
```
    表示される結果で、id パラメーターにノードの WWNN が表示されていることを確認します。ノードが検出されない場合は、ノードのケーブル接続を確認します。
  2. 次のコマンドを入力して、ノードを追加する必要がある入出力グループを判別します。
```
lsiogrp
```
  3. ノード・カウントがゼロの最初の入出力グループの名前または ID を記録します。その名前または ID は次のステップで必要になります。
    注: このステップは、追加する最初のノードについて行う必要があります。ペアの 2 番目のノードでは、同じ入出力グループ番号を使用するため、このステップは実行しません。
  4. 次のコマンドを入力して、ノードをシステムに追加します。
```
addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
```
    ここで、WWNN はノードの WWNN、iogrp_name はノードの追加先の入出力グループの名前、new_name_arg はノードに割り当てる名前です。新規ノード名を指定しないと、デフォルト名が割り当てられます。
3. 以下のコマンドを入力して、RDMA 対応イーサネット・ポートを使用するノード間の接続を検証します。
```
sainfo lsnodeipconnectivity
```
  表示される結果で、値 Status:Connected は、接続が正常に行われたことを示しています。値 Status:Discovered は、選択されたノード上のポートは構成されているが、接続を確立できないことを示します。接続エラーが発生した場合は、それらのエラーの考えられる理由が error_data パラメーターに表示されます。これらのエラー状態の説明については、管理 GUI の説明を参照してください。ping コマンドを使用して、ノード間の接続の問題をトラブルシューティングすることもできます。
すべてのノードが RDMA 対応イーサネット・ポートで構成されるまで、各ノードでステップ 2 から 4 を繰り返します。
次のコマンドを入力して、システムに残っている各ノードの電源を一度に 1 つずつオフにします。
```
satask stopnode -poweroff
```
各ノードが完全に電源オフ状態になってからでないと、別のノードにこのコマンドを発行することはできません。