Configurando um sistema para usar as portas Ethernet compatíveis com RDMA para comunicações de nó para nó

O sistema suporta conexões de nó a nó que usam protocolos Ethernet que suportam a tecnologia de acesso direto remoto à memória (RDMA), como RDMA over Converged Ethernet (RoCE) ou iWARP. Para usar esses protocolos, o sistema requer que um adaptador compatível com RDMA seja instalado em cada nó e as portas Ethernet dedicadas compatíveis com RDMA sejam configuradas apenas para comunicação de nó para nó.

As tecnologias RDMA, como RoCE e iWARP, permitem que o adaptador compatível com RDMA transfira dados diretamente entre os nós, efetuando bypass da CPU e dos caches, tornando as transferências mais rápidas. As tecnologias RDMA fornecem conexão e tempo de processamento mais rápidos do que as conexões iSCSI tradicionais.

Pré-requisitos

Os pré-requisitos a seguir são necessários para todas as portas Ethernet compatíveis com RDMA que são usadas entre os nós:
  • Toda a instalação do hardware do nó está concluída.
  • O adaptador Ethernet de 25 Gbps que suporta a tecnologia RDMA é instalado em cada nó. Se você estiver usando a tecnologia RDMA para comunicações de nó para nó, assegure-se de que os adaptadores compatíveis com RDMA usem a mesma tecnologia, como RoCE ou iWARP. Esses adaptadores compatíveis com RDMA devem ser instalados nos mesmos slots em todos os nós do sistema. Esses requisitos de instalação asseguram que os identificadores de porta sejam iguais em todos os nós no sistema.
  • Os cabos Ethernet entre cada nó estão conectados corretamente.
  • A tecnologia de protocolo nos adaptadores de origem e de destino é a mesma.
  • Os endereços IP locais e remotos podem ser acessados.
  • Cada endereço IP para portas Ethernet compatíveis com RDMA e suas máscaras de sub-rede associadas são exclusivas em cada nó.
  • O roteador não deve ser colocado entre nós que usam portas Ethernet compatíveis com RDMA para comunicação entre nós.
  • As velocidades negociadas nos adaptadores locais e remotos são as mesmas.
  • Os identificadores de LAN virtual de portas local e remota são os mesmos. Use a LAN virtual para criar a separação física de redes para sistemas não relacionados, sempre que possível. Todas as portas que são usadas para comunicação de nó para nó devem ser designadas com um ID de VLAN, e as portas que são usadas para a conexão de host devem ter um ID de VLAN diferente. Se você planeja usar VLAN para criar essa separação, deve-se configurar o suporte de VLAN em todos os comutadores Ethernet em sua rede antes de definir as portas Ethernet compatíveis com RDMA nos nós no sistema. Em cada comutador em sua rede, configure VLAN para o modo Tronco e especifique o ID de VLAN para as portas RDMA que estarão na mesma VLAN. Além disso, se as configurações de VLAN para uma porta Ethernet compatível com RDMA precisarem ser atualizadas, essas configurações não poderão ser atualizadas independentemente de outras definições de configuração. Antes de atualizar as configurações de VLAN em portas Ethernet específicas compatíveis com RDMA, deve-se desconfigurar a porta, fazer quaisquer mudanças necessárias na configuração do comutador e, em seguida, reconfigurar as portas Ethernet compatíveis com RDMA em cada um dos nós no sistema.
  • Um mínimo de duas portas Ethernet dedicadas compatíveis com RDMA é necessário para as comunicações de nó para nó para assegurar o melhor desempenho e a confiabilidade. Essas portas devem ser configuradas apenas para o tráfego inter-nó e não devem ser usadas para conexão de host, virtualização de armazenamento externo conectado por Ethernet ou tráfego de replicação de IP.
  • Um máximo de quatro portas Ethernet compatíveis com RDMA por nó é permitido para comunicações de nó para nó.

O gráfico a seguir descreve uma configuração de exemplo de um sistema que usa portas Ethernet compatíveis com RDMA para comunicações de nó para nó. A configuração usa os pré-requisitos e recomendações para a configuração de ambiente e de rede. Neste exemplo, as Portas 1 e 2 (roxas) em todos os nós no sistema são configuradas para comunicações de nó para nó, enquanto as Portas 3 e 4 (vermelhas) são usadas para conexão de host. As portas 1 e 2 em todos os nós estão em uma sub-rede diferente das portas 3 e 4 em todos os nós para separar o tráfego de nó para nó do tráfego do host. Todas as portas estão conectadas a dois comutadores redundantes de 100 GB que roteiam o tráfego de forma apropriada.

Figura 1. Configurando um sistema com conexões suportadas por RDMA
Configurando um Sistema com Portas Ethernet Compatíveis com RDMA

Usando o assistente de serviço e GUIs de gerenciamento

Para criar um sistema que usa portas Ethernet compatíveis com RDMA, conclua estas etapas:
Defina todos os endereços IP para todas as portas Ethernet compatíveis com RDMA em cada nó no sistema
Use a GUI do assistente de serviço para definir os endereços IP da porta em cada nó concluindo estas etapas:
  1. Em um navegador suportado, insira o endereço IP de serviço para um dos nós no sistema.
  2. Na GUI do assistente de serviço, selecione um dos nós e selecione Mudar IP do nó.
  3. No painel Mudar IP do nó, selecione a porta para definir endereços IP e clique em Modificar.
  4. Insira o endereço IP, a máscara de sub-rede, o gateway e o ID de VLAN para a porta Ethernet compatível com RDMA selecionada.
    Nota: O endereço IP e a máscara de sub-rede de cada porta devem ser exclusivos e não podem ser usados em nenhum outro lugar do sistema. No entanto, o ID de VLAN para portas Ethernet compatíveis com RDMA em todos os nós deve ser o mesmo ou as conexões entre os nós que usam esses endereços IP falharão. Ao configurar portas Ethernet compatíveis com RDMA, não exceda o máximo de quatro portas para comunicações entre nós.
  5. Clique em Salvar.
  6. Repita essas etapas para cada porta Ethernet compatível com RDMA para o nó selecionado. Dependendo do número de nós em seu sistema, até oito portas Ethernet compatíveis com RDMA podem ser configuradas, com duas portas por nó. Essas portas devem ser dedicadas a comunicações inter-nó e não podem ser usadas para conexão de host, virtualização de armazenamento externo conectado por Ethernet ou replicação de IP.
  7. Após todos os endereços IP para o primeiro nó terem sido configurados, selecione o outro nó na lista suspensa e selecione Ir.
  8. Repita as etapas 2 a 6 para os outros nós no sistema. Depois que o segundo nó for atualizado, será possível incluí-lo no sistema com a GUI de gerenciamento.
Inclua os nós no sistema
Usando a GUI de gerenciamento, inclua o nó no sistema concluindo estas etapas:
  1. Selecione Monitoramento > Sistema.
  2. Selecione Incluir nó do menu Ações do sistema.
  3. Depois que o nó for incluído no sistema, verifique se o status do nó é on-line na página Sistema - Visão geral. Se o nó estiver listado como off-line ou se ocorrerem erros, selecione Monitoramento > Eventos para visualizar mensagens de erro ou selecione Configurações > Rede > Conectividade Ethernet para visualizar a conectividade da porta para o nó para visualizar possíveis problemas de conexão. Também é possível usar o comando ping para resolver problemas de conectividade entre os nós. Esta página exibe os status de conexão entre os nós. Se um problema de conexão estiver presente, serão fornecidas informações de dados de erro para ajudar a determinar o que está causando o problema:
    Descoberto
    Indica que uma porta Ethernet no nó selecionado está configurada, mas uma conexão não pode ser estabelecida. Este status indica um problema em potencial que precisa ser resolvido. A coluna Dados do erro indica o motivo para o status Descoberto. Os valores a seguir são possíveis na coluna Dados do erro:
    Incompatibilidade de protocolo
    Indica que o protocolo nos adaptadores de origem e de destino não é o mesmo. Este erro ocorre quando um nó no sistema não tem o adaptador Ethernet de 25 Gbps instalado.
    Inacessível
    Indica que os endereços IP local e remoto não podem ser atingidos. Este erro poderá ocorrer se um dos nós do sistema estiver off-line. Selecione Monitoramento > Eventos para visualizar erros e executar quaisquer procedimentos de correção necessários para retornar o nó a um status on-line.
    Duplicar endereços IP
    Indica que um ou mais endereços IP estão sendo usados na rede. Cada endereço IP do nó deve ser exclusivo. Para corrigir esse erro, é possível usar a interface do Assistente de Serviço para mudar o endereço IP do nó.
    Degradado
    Indica que a velocidade negociada nos adaptadores local e remoto não é a mesma. O status Comprometido ocorre quando um ou ambos os adaptadores são configurados na velocidade inferior, em vez da velocidade máxima que os adaptadores suportam. Para corrigir esse problema, assegure-se de que os adaptadores em ambos os nós estejam configurados na velocidade máxima.
    Incompatibilidade do ID de VLAN
    Indica que os identificadores de LAN virtual da porta local e remota não são os mesmos. Para corrigir esse erro, assegure-se de que os nós local e remoto pertençam à mesma VLAN. Se estiver usando a VLAN em sua rede, você deve configurar a VLAN em comutadores, configurando a VLAN para o modo "Tronco" e especificando o ID de VLAN no comutador antes de definir endereços IP e outras configurações para as portas Ethernet compatíveis com RDMA nos nós no sistema.

Usando a interface da linha de comandos

Para criar um sistema que usa portas Ethernet compatíveis com RDMA, conclua estas etapas:
  1. Para definir endereços IP de porta para portas Ethernet compatíveis com RDMA, insira o seguinte comando em cada porta para cada nó no sistema:
    satask chnodeip  -ip ip_address -mask mask -gw gateway -port_id port_number -vlan vlanid panel_name
    em que ip_address é o endereço IP para a porta identificada por seu identificador de porta (port_number) e o nome do nó (panel_name). Certifique-se de que todas as portas estejam na mesma VLAN, especificando o mesmo vlanid para cada endereço IP de porta Ethernet compatível com RDMA.
    Nota: O endereço IP e a máscara de sub-rede de cada porta devem ser exclusivos e não podem ser usados em nenhum outro lugar do sistema. No entanto, o ID de VLAN para a porta Ethernet compatível com RDMA em todos os nós deve ser o mesmo ou as conexões entre os nós que usam esses endereços IP falharão.
  2. Para incluir o nó no sistema, conclua estas etapas:
    1. Certifique-se de que o nó esteja listado como um nó candidato, inserindo o seguinte comando:
      svcinfo lsnodecandidate
      Nos resultados exibidos, verifique se o parâmetro id exibe o WWNN para o nó. Se o nó não for detectado, verifique o cabeamento do nó.
    2. Insira o seguinte comando para determinar o grupo de E/S em que o nó deve ser incluído: 
      lsiogrp
    3. Registre o nome ou o ID do primeiro grupo de E/S que possua uma contagem de nós igual a zero. Serão necessários o nome ou ID para a próxima etapa.
      Nota: Você deve executar esta etapa para o primeiro nó incluído. Esta etapa não precisa ser executada para o segundo nó do par, porque ele usa o mesmo número de grupo de E/S.
    4. Insira este comando para incluir o nó no sistema: 
      addnode -wwnodename WWNN -iogrp iogrp_name -name new_name_arg
      Em que WWNN é o WWNN do nó, iogrp_name é o nome do grupo de E/S no qual você deseja incluir o nó e new_name_arg é o nome que você deseja designar ao nó. Se você não especificar um nome para o novo nó, um nome padrão será designado.
  3. Verifique a conectividade entre os nós que usam portas Ethernet compatíveis com RDMA, inserindo este comando:
    sainfo lsnodeipconnectivity
    Nos resultados exibidos, um valor de Status:Connected indica uma conexão bem-sucedida. Um valor de Status:Discovered indica a porta na qual o nó selecionado está configurado, mas uma conexão não pode ser estabelecida. Se ocorrerem erros de conexão, as possíveis razões para esses erros são exibidas no parâmetro error_data. Para obter descrições desses estados de erro, consulte as instruções da GUI de gerenciamento. Também é possível usar o comando ping para resolver problemas de conectividade entre os nós.