在節點之間從光纖通道連線移轉至 RDMA over Ethernet 連線

系統支援使用支援遠端直接記憶體存取 (RDMA) 技術(如 RDMA over Converged Ethernet (RoCE) 或 iWARP)的乙太網路通訊協定的節點至節點連線。如果要使用這些通訊協定,則系統要求在每個節點上安裝具備 RDMA 功能的配接卡以及專門將具備 RDMA 功能的專用乙太網路埠配置用於節點至節點通訊。如果您的系統目前使用光纖通道埠,則可移轉至具備 RDMA 功能的乙太網路埠以進行節點至節點通訊。

RDMA 技術(如 RoCE 和 iWARP)允許具備 RDMA 功能的配接卡略過 CPU 及快取,直接在節點之間傳送資料,從而使傳送速度更快。RDMA 技術可提供比傳統 iSCSI 連線更快的連線及處理時間。

在節點之間使用的所有具備 RDMA 功能的乙太網路埠,都需要滿足下列必要條件:
  • 節點硬體已全部完成安裝。
  • 支援 RDMA 技術的 25-Gbps 乙太網路配接卡安裝在每一個節點上。如果您使用 RDMA 技術進行節點至節點通訊,請確保具備 RDMA 功能的配接卡使用相同的技術,例如 RoCE 或 iWARP。這些具備 RDMA 功能的配接卡,必須安裝在系統的所有節點之間的相同插槽中。這些安裝需求會確保這些埠 ID 在系統的所有節點之間相同。
  • 每個節點之間的乙太網路纜線都已正確連接。
  • 來源配接卡和目的地配接卡上的通訊協定技術是相同的。
  • 可以呼叫到本端 IP 位址及遠端 IP 位址。
  • 具備 RDMA 功能的乙太網路埠及其關聯子網路遮罩的每一個 IP 位址在每個節點上都是唯一的。
  • 路由器不得放在使用具備 RDMA 功能的乙太網路埠進行節點至節點通訊的節點之間。
  • 本端配接卡和遠端配接卡上的協議速度是相同的。
  • 本端埠虛擬 LAN ID 和遠端埠虛擬 LAN ID 是相同的。盡可能使用虛擬 LAN 來建立不相關系統的網路實體分隔。 所有用於節點至節點通訊的埠都必須獲指派一個 VLAN ID,並且用於主機連接的埠必須具有不同的 VLAN ID。如果您計劃使用 VLAN 來建立此分隔,則必須在網路中的所有乙太網路交換器上配置 VLAN 支援,然後才能在系統的節點上定義具備 RDMA 功能的乙太網路埠。在網路中的每一個交換器上,將 VLAN 設為幹線模式, 並針對將處於同一 VLAN 中的 RDMA 埠指定 VLAN ID。此外,如果需要更新具備 RDMA 功能之乙太網路埠的 VLAN 設定,這些設定無法獨立於其他配置設定來更新。在您更新具備 RDMA 功能的特定乙太網路埠的 VLAN 設定之前,您必須取消配置埠,對交換器配置進行任何必要的變更,然後在系統的每一個節點上重新配置具備 RDMA 功能的乙太網路埠。
  • 節點至節點通訊至少需要兩個具備 RDMA 功能的專用乙太網路埠,以確保最佳效能及可靠性。這些埠只能配置給節點間資料流量,不得用於主機連接、乙太網路連接的外部儲存體虛擬化或者 IP 抄寫資料流量。
  • 節點至節點通訊容許每個節點最多具有四個具備 RDMA 功能的乙太網路埠。

使用服務助理及管理 GUI

如果要從光纖通道埠移轉至具備 RDMA 功能的乙太網路埠以進行節點至節點通訊,請完成下列步驟:
  1. 在所有光纖通道連接的節點上,將軟體升級至 8.2.1 版。
  2. 升級所有節點之後,請登入服務助理 GUI 並完成下列步驟:
    1. 使用支援的瀏覽器輸入 https://ip_address/service,其中 ip_address 是系統的管理 IP 位址。
    2. 首頁上,選取不是系統配置節點的節點。如果您不知道哪個節點是配置節點,請選取節點並檢閱節點詳細資料標籤上的資訊。
    3. 選取節點之後,請從動作功能表中選取關閉電源。按一下執行
  3. 在節點完成關閉電源程序之後,您需要在節點上安裝 25 Gbps 乙太網路配接卡。請使用 25 Gbps 乙太網路配接卡的安裝指示來完成此步驟。
  4. 在服務助理 GUI 中完成下列步驟,以配置配接卡上具備 RDMA 功能的乙太網路埠的 IP 位址:
    1. 在服務助理 GUI 中,選取已關閉電源的節點,然後選取變更節點 IP
    2. 變更節點 IP 畫面上,選取要定義 IP 位址的埠,然後按一下修改
    3. 輸入具備 RDMA 功能的選定乙太網路埠的 IP 位址、子網路遮罩、閘道及 VLAN ID。
      註: 每一個埠的 IP 位址及子網路遮罩必須是唯一的,且不能在系統的任何其他位置使用。但是,所有節點上具備 RDMA 功能之乙太網路埠的 VLAN ID 必須相同,否則使用這些 IP 位址的節點之間的連線會失敗。
    4. 按一下儲存
    5. 針對與節點相關聯的所有具備 RDMA 功能的乙太網路埠,重複執行這些步驟。
  5. 更新所有具備 RDMA 功能的乙太網路埠之後,請在管理 GUI 中完成下列步驟以將節點新增至系統:
    1. 選取監視 > 系統
    2. 系統動作功能表中,選取新增節點
    3. 將節點新增至系統之後,請在系統 - 概觀頁面上驗證節點的狀態是否為線上。如果節點列示為離線或發生錯誤,請選取監視 > 事件以檢視錯誤訊息,或選取設定 > 網路 > 乙太網路連線功能來檢視節點的埠連線,進而檢視潛在的連線問題。您也可以使用 ping 指令,對節點之間的連線問題進行疑難排解。這個頁面會顯示節點之間的連線狀態。如果有連線問題,則會提供錯誤資料資訊來協助判斷造成問題的原因:
      已探索到
      指出已配置所選節點上的乙太網路埠,但無法建立連線。此狀態會指出需要解決的潛在問題。錯誤資料直欄會指出已探索到狀態的原因。錯誤資料直欄中可能的值如下:
      通訊協定不符
      指出來源及目的地配接卡上的通訊協定不相同。在系統中的某個節點未安裝 25 Gbps 乙太網路配接卡時,將會發生此錯誤。
      無法呼叫
      指出無法呼叫本端及遠端 IP 位址。如果系統內的其中一個節點離線,則會發生此錯誤。選取監視 > 事件,可檢視錯誤並執行任何必要的修正程序,以讓節點回到線上狀態。
      重複的 IP 位址
      指出網路中正在使用一個以上的 IP 位址。每個節點 IP 位址皆必須是唯一的。如果要修正此錯誤,您可以使用「服務助理」介面來變更節點 IP 位址。
      欠佳
      指出本端及遠端配接卡上的協調速度不相同。在一個或兩個配接卡配置為較低速度而非配接卡支援的最高速度時,將會出現「欠佳」狀態。如果要修正此問題,請確保兩個節點上的配接卡皆配置為最高速度。
      VLAN ID 不符
      指出本端及遠端埠虛擬 LAN ID 不相同。如果要修正此錯誤,請確保本端及遠端節點屬於相同 VLAN。如果您正在網路中使用 VLAN,則必須在交換器上配置 VLAN,方式是將 VLAN 設為「幹線」模式並在交換器上指定 VLAN ID,然後在系統中的節點上配置具備 RDMA 功能之乙太網路埠的 IP 位址和其他設定。
  6. 在每個節點上重複步驟 24,直到所有節點皆配置有具備 RDMA 功能的乙太網路埠。
  7. 完成下列步驟,以便逐一關閉保留在系統中的每個節點電源。
    1. 使用支援的瀏覽器輸入 https://ip_address/service,其中 ip_address 是系統的管理 IP 位址。
    2. 首頁上,選取不是系統配置節點的節點。如果您不知道哪個節點是配置節點,請選取節點並檢閱節點詳細資料標籤上的資訊。
    3. 選取節點之後,請從動作功能表中選取關閉電源。按一下執行
    必須完全關閉節點電源,然後再關閉下一個節點電源。
  8. 對於節點上的所有光纖通道配接卡,請使用與您要從其進行移轉的光纖通道配接卡類型對應的適當卸下程序。
  9. 確定主機現在可以連接至節點。

使用指令行介面

  1. 在所有光纖通道連接的節點上,將軟體升級至 8.2.1 版。
  2. 在不是系統現行配置節點的節點上,輸入下列指令:
    satask stopnode -poweroff
  3. 在節點完成關閉電源程序之後,您需要在節點上安裝 25 Gbps 乙太網路配接卡。請使用 25 Gbps 乙太網路配接卡的安裝指示來完成此步驟。
  4. 如果要在指令行中為具備 RDMA 功能的乙太網路埠定義 IP 位址,請完成下列步驟:
    1. 如果要定義具備 RDMA 功能之乙太網路埠的埠 IP 位址,請在系統內每一個節點的每一個埠上,輸入下列指令:
      satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
      其中 ip_address 是由其埠 ID (port_number) 及節點名稱 (panel_name) 所識別之埠的 IP 位址。針對具備 RDMA 功能的乙太網路埠上的每一個 IP 位址,指定相同的 vlanid,以確保所有埠都位於相同的 VLAN 中。
      註: 每一個埠的 IP 位址及子網路遮罩都必須是唯一的,且不能在系統的任何其他位置使用。不過,所有節點上具備 RDMA 功能之乙太網路埠的 VLAN ID 必須相同,否則使用這些 IP 位址的節點之間的連線會失敗。
    2. 如果要將節點新增至系統,請完成下列步驟:
      1. 輸入下列指令,以確保節點列示為候選節點:
        svcinfo lsnodecandidate
        在顯示的結果中,驗證 id 參數是否顯示節點的 WWNN。如果偵測不到節點,請驗證節點的纜線安裝。
      2. 輸入下列指令,以判斷必須在其中新增節點的 I/O 群組:
        lsiogrp
      3. 針對節點計數為零的第一個 I/O 群組,記錄其名稱或 ID。下一步需要此名稱或 ID。
        註: 您必須對第一個新增的節點執行這個步驟。配對的第二個節點會使用相同的 I/O 群組號碼,不需要執行這個步驟。
      4. 輸入這個指令將節點新增至系統:
        addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
        其中 WWNN 是節點的 WWNN,iogrp_name 是您要新增節點之 I/O 群組的名稱,而 new_name_arg 是要指派給節點的名稱。如果未指定新的節點名稱,則會指派預設名稱。
    3. 輸入下列指令,以驗證使用具備 RDMA 功能之乙太網路埠的節點之間的連線:
      sainfo lsnodeipconnectivity
      在顯示的結果中,值 Status:Connected 表示連線成功。值 Status:Discovered 表示已配置所選節點上的埠,但無法建立連線。如果發生連線錯誤,則這些錯誤的可能原因會顯示在 error_data 參數中。如需這些錯誤狀態的說明,請參閱管理 GUI 指示。您也可以使用 ping 指令,對節點之間的連線問題進行疑難排解。
  5. 在每個節點上重複步驟 24,直到所有節點皆配置有具備 RDMA 功能的乙太網路埠。
  6. 輸入下列指令,以便逐一關閉保留在系統中的每個節點電源。
    satask stopnode -poweroff
    必須完全關閉每個節點電源,然後再對另一個節點發出此指令。