Como atualizar o OpMon em Cluster

Objetivo

Descrever uma boa prática para a realização de update do OpMon em ambientes configurados com cluster.

Público-alvo

Destinado aos administradores do OpMon que necessitam realizar o procedimento de update de versão do OpMon em cluster.

Sobre as versões, mais detalhes aqui.

Pré-requisitos

• Estamos atualizando um cluster conforme configuração disponibilizada aqui.
• Possuir usuário com nível de permissão de acesso opmonadmin e root.
• Antes de iniciar o update para a versão major é necessário que seja feito o update para a última versão minor.
• É necessário que o OpMon tenha acesso ao seguinte endereço: http://repo.opservices.com.br
• Sempre consulte as erratas relacionadas à versão do update que você fará. Clique aqui para consultar os changelogs das versões.
• Faça o backup do opcfg: Por segurança é recomendado que seja feito o backup do opcfg, para isso execute o seguinte comando:

• [root@opmon]# /usr/local/opmon/utils/opmon-base.pl -e opcfg

• Mova o backup: utilizando o seguinte comando e mova o backup para uma pasta diferente do backup diário:

  [root@opmon]# mv /var/tmp/opmondb/opcfg/ /var/tmp/

1 – Cuidados antes de atualizar

• Para garantir que não ocorra falso/positivo no envio de notificações, desative de forma global acessando o menu Ferramentas/Configurações. Escolher a opção Main Config/Restart Actions e marcar Notifications como Disable. Clique em Update e depois execute um Apply no menu Export.

• Verifique através do comando crm_mon como está configurado o ambiente, neste caso temos um VIP em cada nodo e todos processos OpMon rodando no Nodo01:

Stack: cman
Current DC: opservices-opmon-nodo02-pae (version 1.1.15-5.el6-e174ec8) - partition with quorum

Last updated: Tue Jun 27 12:02:43 2017 Last change: Tue Jun 27 12:02:40 2017 by root
via crm_resource on opservices-opmon-nodo01-pae

2 nodes and 17 resources configured

Online: [ opservices-opmon-nodo01-pae opservices-opmon-nodo02-pae ]

Active resources:

vip_nodo01 (ocf::heartbeat:IPaddr2): Started opservices-opmon-nodo01-pae
vip_nodo02 (ocf::heartbeat:IPaddr2): Started opservices-opmon-nodo02-pae
 Resource Group: opmonprocesses
 syncfiles (lsb:syncfiles): Started opservices-opmon-nodo01-pae
 opmon (lsb:opmon): Started opservices-opmon-nodo01-pae
 optraffic-pri (lsb:optrafficd): Started opservices-opmon-nodo01-pae
 Clone Set: OpmonExtraProcesses_Clone [OpmonExtraProcesses]
 Started: [ opservices-opmon-nodo01-pae opservices-opmon-nodo02-pae ]

• Antes de iniciar o processo de atualização é necessário parar o processo do pacemaker, responsável pelos processos do cluster, no Nodo02:

[root@opmon-nodo02 ~]# /etc/init.d/pacemaker stop
 Waiting for shutdown of managed resources...... [ OK ]
 Signaling Pacemaker Cluster Manager to terminate [ OK ]
 Waiting for cluster services to unload.... [ OK ]
 Stopping cluster: 
 Leaving fence domain... [ OK ]
 Stopping gfs_controld... [ OK ]
 Stopping dlm_controld... [ OK ]
 Stopping fenced... [ OK ]
 Stopping cman... [ OK ]
 Waiting for corosync to shutdown: [ OK ]
 Unloading kernel modules... [ OK ]
 Unmounting configfs... [ OK ]

• Valide o ambiente do cluster, executando o comando crm_mon e observe que todos os processos estarão rodando no Nodo01 e o Nodo02 aparecer offline:

Stack: cman
Current DC: opservices-opmon-nodo01-pae (version 1.1.15-5.el6-e174ec8) - partition WITHOUT quorum
Last updated: Wed Jan 17 17:26:32 2018 Last change: Thu Jan 11 10:26:29 2018 by root via cibadmin on opservices-opmon-nodo01-pae

2 nodes and 15 resources configured

Online: [ opservices-opmon-nodo01-pae ]
OFFLINE: [ opservices-opmon-nodo02-pae ]

Active resources:

vip_nodo01 (ocf::heartbeat:IPaddr2): Started opservices-opmon-nodo01-pae
vip_nodo02 (ocf::heartbeat:IPaddr2): Started opservices-opmon-nodo01-pae
 Resource Group: opmonprocesses
 syncfiles (lsb:syncfiles): Started opservices-opmon-nodo01-pae
 gearmand-pri (lsb:gearmand): Started opservices-opmon-nodo01-pae
 opmon (lsb:opmon): Started opservices-opmon-nodo01-pae
 optraffic-pri (lsb:optrafficd): Started opservices-opmon-nodo01-pae
 Clone Set: OpmonExtraProcesses_Clone [OpmonExtraProcesses]
 Started: [ opservices-opmon-nodo01-pae ]
gearman-utils-pri (lsb:gearman-utils): Started opservices-opmon-nodo01-pae

• Após feito isso, remova o pacemaker do boot no Nodo02 com o comando abaixo, o mesmo será incluído no boot novamente após o reboot:

[root@opmon-nodo02 ~]# chkconfig pacemaker off

• Agora com todo o ambiente rodando no Nodo01, seguimos com a atualização no Nodo01, de acordo com a versão desejada seguindo o passos descritos abaixo para minor e/ou major.

2 – Update de versão Nodo01 (minor)

Execute os comandos a seguir para efetuar o update para a última versão minor:

• Passo 0.1:
  • Este comando faz uma limpeza no cache:

    [root@opmon-nodo01]# yum clean all
    

• Passo 0.2:
  • Depois executamos este comando para atualizar todos pacotes existentes:

    [root@opmon-nodo01]# yum update -y

3 – Upgrade de versão Nodo01 (major)

Antes de iniciar este procedimento tenha certeza de ter em mãos a licença para a nova versão, caso contrário você terá problemas no monitoramento e não terá acesso a interface.

Execute os passos a seguir para efetuar o update para a última versão major:

• Este comando faz uma limpeza no cache:

[root@opmon-nodo01]# yum clean all

• A variável YUM0 define o valor da versão, neste exemplo estamos atualizando para a major 8:

[root@opmon-nodo01]# export YUM0=8 

• Depois executamos este comando para atualizar todos pacotes existentes:

[root@opmon-nodo01]# yum update -y

• Sempre que o uptime do servidor é maior que 180 dias ou se houver a atualização de kernel, é necessário realizar o reboot no servidor:

   [root@opmon-nodo01]# reboot

3.1 – Caso necessário, aplique a nova licença no Nodo01

• Através da interface Web aplique a licença, para isso acesso o módulo “Ferramentas” e submódulo “Licença”, conforme abaixo:

Em seguida, clique em “Atualizar licença…”:

Logo após, insira a licença e clique em “Enviar”:

4 – Repetindo o processo para o Nodo02

Agora que um dos nodos foi atualizado, reiniciado e você validou o acesso dele, repita todo o processo descrito acima para o Nodo02.

Depois de validado todo o procedimento de atualização no Nodo02, podemos ativar o pacemaker e incluí-lo no boot:

• Primeiro valide se ele está rodando:

[root@opmon-nodo02 ~]# service pacemaker status
pacemakerd is stopped

• Ative o pacemaker:

[root@opmon-nodo02 ~]# /etc/init.d/pacemaker start
 Waiting for shutdown of managed resources...... [ OK ]
 Signaling Pacemaker Cluster Manager to terminate [ OK ]
 Waiting for cluster services to unload.... [ OK ]
 Stopping cluster: 
 Leaving fence domain... [ OK ]
 Stopping gfs_controld... [ OK ]
 Stopping dlm_controld... [ OK ]
 Stopping fenced... [ OK ]
 Stopping cman... [ OK ]
 Waiting for corosync to shutdown: [ OK ]
 Unloading kernel modules... [ OK ]
 Unmounting configfs... [ OK ]

• Insira o pacemaker no boot:

[root@opmon-nodo02 ~]# chkconfig pacemaker on

• E por fim, valide se os processos estão rodando corretamente, conforme o exemplo abaixo:

Stack: cman
Current DC: opservices-opmon-nodo01-pae (version 1.1.15-5.el6-e174ec8) - partition with quorum
Last updated: Wed Jan 17 17:35:36 2018 Last change: Thu Jan 11 10:26:29 2018 by root via cibadmin on opservices-opmon-nodo01-pae

2 nodes and 15 resources configured

Online: [ opservices-opmon-nodo01-pae opservices-opmon-nodo02-pae ]

Active resources:

vip_nodo01 (ocf::heartbeat:IPaddr2): Started opservices-opmon-nodo01-pae
vip_nodo02 (ocf::heartbeat:IPaddr2): Started opservices-opmon-nodo01-pae
 Resource Group: opmonprocesses
 syncfiles (lsb:syncfiles): Started opservices-opmon-nodo01-pae
 gearmand-pri (lsb:gearmand): Started opservices-opmon-nodo01-pae
 opmon (lsb:opmon): Started opservices-opmon-nodo01-pae
 optraffic-pri (lsb:optrafficd): Started opservices-opmon-nodo01-pae
 Clone Set: OpmonExtraProcesses_Clone [OpmonExtraProcesses]
 Started: [ opservices-opmon-nodo01-pae opservices-opmon-nodo02-pae ]
gearman-utils-pri (lsb:gearman-utils): Started opservices-opmon-nodo01-pae

5 – Habilite as notificações

• Para voltar ao seu estado normal, ative a notificações de forma global acessando o menu Ferramentas/Configurações. Escolher a opção Main Config/Restart Actions e marcar Notifications como Enable. Clique em Update.

6 – Executando o export e validando configurações

• Para completar o upgrade, execute o export da configuração através da interface Web. Para isso basta acessar o módulo “Ferramentas”, submódulo “Configurações” e em seguida clicar em “Export”(localizado no menu lateral esquerdo):

Logo após, clique em “Submit new export process”:

Lembre de limpar o cache do navegador, veja aqui.

Agora está pronto para usar as novas funcionalidades do OpMon.