Detalhes de configuração para usar as portas Ethernet compatíveis com RDMA para comunicações de nó para nó

Antes de configurar um sistema para usar as portas Ethernet compatíveis com RDMA para comunicações de nó para nó, considere as recomendações a seguir.

Importante: Antes de configurar um sistema que use portas Ethernet com capacidade RDMA para comunicações de nó para nó e inclua configurações de sistema IBM® HyperSwap ou estendidas, entre em contato com o representante de suporte do produto.
Ao configurar portas Ethernet com capacidade RDMA para comunicação de nó para nó, use as seguintes recomendações:
  • Designe diferentes sub-redes para as portas que são usadas para comunicação entre nós e as portas que são usadas para conexão de host. Para comunicações de nó para nó com portas Ethernet compatíveis com RDMA, os identificadores de porta física de todos os nós no sistema devem corresponder e devem estar na mesma sub-rede.
  • Use a configuração dual e redundante do comutador para evitar um ponto único de falha na conectividade Ethernet.
  • Verifique o suporte de RDMA em todos os comutadores antes de configurar as portas Ethernet compatíveis com RDMA em nós no sistema.
  • Assegure-se de que o tempo de roundtrip (RTT) seja de até 3 milissegundos sem que haja descartes de pacote.
  • Para criar a malha de Ethernet sem perdas, use sempre o mecanismo de controle de fluxo de Ethernet (IEEE 802.3x) para a topologia padrão.
  • Use a LAN virtual para criar a separação física de redes para sistemas não relacionados, sempre que possível. Todas as portas que são usadas para comunicação de nó para nó devem ser designadas com um ID de VLAN, e as portas que são usadas para a conexão de host devem ter um ID de VLAN diferente. Se você planeja usar VLAN para criar essa separação, deve-se configurar o suporte de VLAN em todos os comutadores Ethernet em sua rede antes de definir as portas Ethernet compatíveis com RDMA nos nós no sistema. Em cada comutador em sua rede, configure VLAN para o modo Tronco e especifique o ID de VLAN para as portas RDMA que estarão na mesma VLAN. Além disso, se as configurações de VLAN para uma porta Ethernet compatível com RDMA precisarem ser atualizadas, essas configurações não poderão ser atualizadas independentemente de outras definições de configuração. Antes de atualizar as configurações de VLAN em portas Ethernet específicas compatíveis com RDMA, deve-se desconfigurar a porta, fazer quaisquer mudanças necessárias na configuração do comutador e, em seguida, reconfigurar as portas Ethernet compatíveis com RDMA em cada um dos nós no sistema.
  • Todos os sistemas que não fazem parte do sistema atual que está sendo configurado devem ser fisicamente separados da malha Ethernet. É possível configurar VLANs diferentes para alcançar a separação entre sistemas.
  • Verifique a configuração em endereços IP em sua rede para assegurar que não haja nenhum endereço IP duplicado designado.
  • Se você usar firewalls em sua configuração de rede, certifique-se de que o tráfego esteja aberto para a porta TCP 21455 e as portas UDP 4791, 21451 e 21452. As comunicações entre nós com conexões Ethernet compatíveis com RDMA usam a porta TCP 21455 para tráfego de dados e as portas UDP 21451 e 21452 para descoberta de serviço no sistema. Se você estiver usando o protocolo RoCE, certifique-se de que o tráfego também esteja aberto para as portas UDP. Além disso, as portas Ethernet compatíveis com RDMA usam o Internet Group Management Protocol (IGMP) para comunicação multicast do grupo para a descoberta de serviço, portanto, assegure-se de que o tráfego IGMP esteja ativado no firewall para configurações de site redundantes.
  • Designe um endereço IP com uma sub-rede diferente para cada porta Ethernet compatível com RDMA individual em cada nó, para que o sistema possa selecionar uma rota exclusiva, dependendo do endereço IP de destino ao qual ele está se conectando.
  • As portas Ethernet compatíveis com RDMA podem ser usadas para comunicações de nó para nó e conexão de host; no entanto, não compartilhe portas Ethernet compatíveis com RDMA para comunicações de hosts e de nó para nó. Portas compatíveis com RDMA não são suportadas para conexões com o armazenamento externo. Muitos outros protocolos também são suportados para conexão de host e virtualização de armazenamento externo.
  • Para configurações do sistema HyperSwap ou estendido, assegure-se de que o número de Inter-Switch Links seja suficiente para conexões compatíveis com RDMA entre os nós. Use um tráfego de pico que possa fluir entre sites em cenários de falha, como uma falha de site único, conexões de Metro Mirror ou espelhamento de volume entre sites para determinar os requisitos do comutador para o sistema.
Para sistemas que usam portas Ethernet com capacidade RDMA para comunicação de nó para nó, o sistema tem as seguintes limitações:
  • Somente endereços IPv4 são suportados nas portas Ethernet compatíveis com RDMA.
  • Somente o valor padrão de 1500 é suportado para a unidade máxima de transmissão (MTU) para comunicações de nó para nó que usam portas Ethernet compatíveis com RDMA.
  • O mascaramento de porta não é suportado nas portas Ethernet compatíveis com RDMA. Devido a essa limitação, não exceda o máximo de quatro portas para comunicações de nó para nó.
  • Os nós hot spare não são suportados em sistemas que usam portas Ethernet compatíveis com RDMA para comunicações de nó para nó.
  • As comunicações entre nós que usam portas Ethernet compatíveis com RDMA não são suportadas em uma configuração de rede que contém mais de 2 hops na malha de comutadores.
  • Alguns ambientes podem não incluir uma sub-rede de camada 2 estendida. Nesses cenários, uma rede de camada 3 como em topologias padrão ou em configurações HyperSwap entre nós de RDMA de longa distância é aplicável. Para suportar a rede Ethernet da camada 3, o método de descoberta unicast pode ser empregado para a comunicação entre nós de RDMA. Esse método conta com a descoberta de malha baseada em unicast em vez de a descoberta multicast. Para configurar a descoberta unicast, consulte os comandos addnodediscoverysubnet, rmnodediscoverysubnet ou lsnodediscoverysubnet.
  • Somente determinados modelos do sistema suportam portas Ethernet compatíveis com RDMA para comunicações de nó para nó. Para obter uma lista dos modelos de hardware do sistema que suportam portas Ethernet compatíveis com RDMA, consulte o website a seguir:

    http://www-03.ibm.com/systems/support/storage/ssic/interoperability.wss

    Para obter outras informações sobre como usar portas Ethernet compatíveis com RDMA no sistema, acesse o website a seguir e procure por Limites e restrições de configuração:

    www.ibm.com/support