配置系統以使用具備 RDMA 功能的乙太網路埠進行節點至節點通訊

系統支援使用支援遠端直接存取記憶體 (RDMA) 技術（如 RDMA over Converged Ethernet (RoCE) 或 iWARP）的乙太網路通訊協定的節點至節點連線。如果要使用這些通訊協定，則系統要求在每個節點上安裝具備 RDMA 功能的配接卡以及專門將具備 RDMA 功能的專用乙太網路埠配置用於節點至節點通訊。

RDMA 技術（如 RoCE 和 iWARP）允許具備 RDMA 功能的配接卡略過 CPU 及快取，直接在節點之間傳送資料，從而使傳送速度更快。RDMA 技術可提供比傳統 iSCSI 連線更快的連線及處理時間。

必要條件

在節點之間使用的所有具備 RDMA 功能的乙太網路埠，都需要滿足下列必要條件：

節點硬體已全部完成安裝。
支援 RDMA 技術的 25-Gbps 乙太網路配接卡安裝在每一個節點上。如果您使用 RDMA 技術進行節點至節點通訊，請確保具備 RDMA 功能的配接卡使用相同的技術，例如 RoCE 或 iWARP。這些具備 RDMA 功能的配接卡，必須安裝在系統的所有節點之間的相同插槽中。這些安裝需求會確保這些埠 ID 在系統的所有節點之間相同。
每個節點之間的乙太網路纜線都已正確連接。
來源配接卡和目的地配接卡上的通訊協定技術是相同的。
可以呼叫到本端 IP 位址及遠端 IP 位址。
具備 RDMA 功能的乙太網路埠及其關聯子網路遮罩的每一個 IP 位址在每個節點上都是唯一的。
路由器不得放在使用具備 RDMA 功能的乙太網路埠進行節點至節點通訊的節點之間。
本端配接卡和遠端配接卡上的協議速度是相同的。
本端埠虛擬 LAN ID 和遠端埠虛擬 LAN ID 是相同的。盡可能使用虛擬 LAN 來建立不相關系統的網路分隔。所有用於節點至節點通訊的埠都必須獲指派一個 VLAN ID，並且用於主機連接的埠必須具有不同的 VLAN ID。如果您計劃使用 VLAN 來建立此分隔，則必須在網路中的所有乙太網路交換器上配置 VLAN 支援，然後才能在系統的節點上定義具有 RDMA 功能的乙太網路埠。在網路中的每一個交換器上，將 VLAN 設為幹線模式，並針對將處於同一 VLAN 中的 RDMA 埠指定 VLAN ID。此外，如果需要更新具有 RDMA 功能的乙太網路埠的 VLAN 設定，這些設定無法獨立於其他配置設定來更新。在您更新具有 RDMA 功能的特定乙太網路埠的 VLAN 設定之前，您必須取消配置埠，對交換器配置進行任何必要的變更，然後在系統的每一個節點上重新配置具有 RDMA 功能的乙太網路埠。
節點至節點通訊至少需要兩個具備 RDMA 功能的專用乙太網路埠，以確保最佳效能及可靠性。這些埠只能配置給節點間傳輸，不得用於主機連接、乙太網路連接的外部儲存體虛擬化或者 IP 抄寫資料流量。
節點至節點通訊容許每個節點最多具有四個具備 RDMA 功能的乙太網路埠。

下列圖形描述一個系統配置範例，此系統使用具備 RDMA 功能的乙太網路埠進行節點至節點通訊。配置會使用環境及網路配置的必要條件及建議。在此範例中，系統中所有節點的埠 1 和 2（紫色）是針對節點至節點通訊所配置，而埠 3 和 4（紅色）用於主機連接。所有節點上的埠 1 和埠 2 與所有節點上的埠 3 和埠 4 都位於不同子網路中，用於將節點至節點傳輸和主機傳輸分隔開。所有埠都連接至兩個備援 100-GB 交換器，以便適當地遞送資料流量。

圖 1. 配置具有 RDMA 支援連線的系統

使用服務助理及管理 GUI

如果要建立使用具備 RDMA 功能的乙太網路埠的系統，請完成下列步驟：

在系統中的每一個節點上，定義所有具備 RDMA 功能的乙太網路埠的所有 IP 位址

透過完成下列步驟，使用服務助理 GUI 在每個節點上定義埠 IP 位址：

在支援的瀏覽器中，輸入系統中其中一個節點的服務 IP 位址。
在服務助理 GUI 中，選取其中一個節點，然後選取變更節點 IP。
在變更節點 IP 畫面上，選取要定義 IP 位址的埠，然後按一下修改。
針對具備 RDMA 功能的選定乙太網路埠，輸入 IP 位址、子網路遮罩、閘道及 VLAN ID。
註：每一個埠的 IP 位址及子網路遮罩都必須是唯一的，且不能在系統的任何其他位置使用。不過，所有節點上具備 RDMA 功能的乙太網路埠的 VLAN ID 必須相同，否則使用這些 IP 位址的節點之間的連線會失敗。如果配置具備 RDMA 功能的乙太網路埠，請不要使用四個以上的埠進行節點至節點通訊。
按一下儲存。
針對所選節點的每個具備 RDMA 功能的乙太網路埠重複這些步驟。視系統中的節點數目而定，最多可以配置 8 個具備 RDMA 功能的乙太網路埠，每個節點兩個埠。這些埠必須專用於節點間通訊，因此不能用於主機連接、乙太網路連接的外部儲存體虛擬化或者 IP 抄寫。
配置第一個節點的所有 IP 位址之後，請從下拉清單中選取其他節點，然後選取執行。
針對系統中的其他節點，重複步驟 2 到 6。更新第二個節點後，您可以使用管理 GUI 將其新增至系統。

將節點新增至系統

透過完成下列步驟，使用管理 GUI 將節點新增至系統：

選取監視 > 系統。
從系統動作功能表中，選取新增節點。
將節點新增至系統之後，請在系統 - 概觀頁面上驗證節點的狀態是否為線上。如果節點列示為離線或發生錯誤，請選取監視 > 事件以檢視錯誤訊息，或選取設定 > 網路 > 乙太網路連線功能來檢視節點的埠連線，以檢視潛在的連線問題。您也可以使用 satask ping 指令，對節點之間的連線問題進行疑難排解。這個頁面會顯示節點之間的連線狀態。如果有連線問題，則會提供錯誤資料資訊來協助判斷造成問題的原因：
已探索到

指出已配置所選節點上的乙太網路埠，但無法建立連線。此狀態會指出需要解決的潛在問題。錯誤資料直欄會指出已探索到狀態的原因。錯誤資料直欄中可能的值如下：
通訊協定不符

指出來源及目的地配接卡上的通訊協定不相同。在系統中的某個節點未安裝 25 Gbps 乙太網路配接卡時，將會發生此錯誤。

無法呼叫

指出無法呼叫本端及遠端 IP 位址。如果系統內的其中一個節點離線，則會發生此錯誤。選取監視 > 事件，可檢視錯誤並執行任何必要的修正程序，以讓節點回到線上狀態。

重複的 IP 位址

指出網路中正在使用一個以上的 IP 位址。每個節點 IP 位址皆必須是唯一的。如果要修正此錯誤，您可以使用「服務助理」介面來變更節點 IP 位址。

欠佳

指出本端及遠端配接卡上的協調速度不相同。在一個或兩個配接卡配置為較低速度而非配接卡支援的最高速度時，將會出現「欠佳」狀態。如果要修正此問題，請確保兩個節點上的配接卡皆配置為最高速度。

VLAN ID 不符

指出本端及遠端埠虛擬 LAN ID 不相同。如果要修正此錯誤，請確保本端及遠端節點屬於相同 VLAN。如果您正在網路中使用 VLAN，則必須在交換器上配置 VLAN，方式是將 VLAN 設為「幹線」模式並在交換器上指定 VLAN ID，然後在系統中的節點上配置具備 RDMA 功能的乙太網路埠的 IP 位址和其他設定。

使用指令行介面

如果要建立使用具備 RDMA 功能的乙太網路埠的系統，請完成下列步驟：

如果要定義具備 RDMA 功能的乙太網路埠的埠 IP 位址，請在系統內每一個節點的每一個埠上，輸入下列指令：
```
satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
```
其中 ip_address 是由其埠 ID (port_number) 及節點名稱 (panel_name) 所識別之埠的 IP 位址。針對具備 RDMA 功能的乙太網路埠上的每一個 IP 位址，指定相同的 vlanid，以確保所有埠都位於相同的 VLAN 中。
註：每一個埠的 IP 位址及子網路遮罩都必須是唯一的，且不能在系統的任何其他位置使用。不過，所有節點上具備 RDMA 功能的乙太網路埠的 VLAN ID 必須相同，否則使用這些 IP 位址的節點之間的連線會失敗。
如果要將節點新增至系統，請完成下列步驟：
1. 輸入下列指令，以確保節點是列示為候選節點：
```
svcinfo lsnodecandidate
```
  在顯示的結果中，驗證 id 參數是否顯示節點的 WWNN。如果偵測不到節點，請驗證節點的纜線安裝。
2. 輸入下列指令，以判斷必須在其中新增節點的 I/O 群組：
```
lsiogrp
```
3. 針對節點計數為零的第一個 I/O 群組，記錄其名稱或 ID。下一步需要此名稱或 ID。
  註：您必須對第一個新增的節點執行這個步驟。配對的第二個節點會使用相同的 I/O 群組號碼，不需要執行這個步驟。
4. 輸入這個指令將節點新增至系統：
```
addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
```
  其中 WWNN 是節點的 WWNN，iogrp_name 是您要新增節點的 I/O 群組名稱，而 new_name_arg 是要指派給節點的名稱。如果未指定新的節點名稱，則會指派預設名稱。
輸入下列指令，以驗證使用具備 RDMA 功能的乙太網路埠的節點之間的連線：
```
sainfo lsnodeipconnectivity
```
在顯示的結果中，值 Status:Connected 表示連線成功。值 Status:Discovered 表示已配置所選節點上的埠，但無法建立連線。如果發生連線錯誤，則這些錯誤的可能原因會顯示在 error_data 參數中。如需這些錯誤狀態的說明，請參閱管理 GUI 指示。您也可以使用 satask ping 指令，對節點之間的連線問題進行疑難排解。