Integração de dados - Serviço de integração de dados

O serviço de integração de dados disponibiliza serviço para execução de regras do Pentaho - Kettle.

Tipo de regras suportadas:

  • Transformação (trans)
  • Agendamento (Job)

Para o processo de configuração e instalação do Serviço de integração de dados, é necessário que você leia atentamente o procedimento de configuração e em seguida baixe os arquivos de instalação correspondentes ao sistema operacional do servidor onde esta instalado o sistema Mentorweb (Instalação do Apache Tomcat).
Para baixar os arquivos de instalação, integracao_dados_windows.zip

Instalação em ambiente Windows

1 Fazer o Download do arquivo java8Windows.war
2 Descompactar o arquivo java8Windows.rar em C:\edusoft de tal forma que seja criada uma pasta chamada java8 e dentro dela contenham os arquivos do java conforme no exemplo da imagem abaixo:
No Winrar pode ser usada a opção “Extrair aqui ou Extract here”

3 - Copiar o arquivo “integracao_dados_windows.zip” para dentro da pasta de serviços da instalação do Mentor Web. Geralmente essa pasta fica em “C:\edusoft\servicos”.
4 - Descompactar o arquivo “integracao_dados_windows.zip” de modo que a estrutura de pastas onde os arquivos do serviço fiquem desta maneira “C:\edusoft\servicos\integracao_dados”.
Realizar o download do arquivo ServicoIntegracaoDados.jar e colocar dentro da mesma pasta.


5 - Copie o arquivo “C:\edusoft\servicos\integracao_dados\prunsrv.exe” para a pasta “c:\windows\system32”.

6 - Na pasta “C:\edusoft\servicos\integracao_dados” tem dois arquivos de configuração de banco “conexaodb_MSSQL.xml” e “conexaodb_ORACLE.xml”. Escolha o arquivo conforme o seu tipo de banco e renomeie para “conexaodb.xml”. Após renomear o arquivo edite o mesmo e configure as conexões para os banco do Mentor Web, Security, Mensagens e EdusoftBase.

5 - Edite o arquivo “C:\edusoft\servicos\integracao_dados\context.xml” e e configurar as propriedades conforme abaixo:

<ConfiguracoesAplicacao>
	<portaServiceRest>8083</portaServiceRest>
	<urlServiceRest>http://IP_INTERNO_SERVIDOR</urlServiceRest>
 
	<logLevelGeral>ERROR</logLevelGeral><!-- ERROR, WARN, INFO ou DEBUG -->
 
	<urlServidorCache>IP_MENCACHED:PORTA_MENCACHED</urlServidorCache>
	<idCache>ID_MENCACHED</idCache>
 
	<pluginFolderKettle>C:\edusoft\plugins-kettle</pluginFolderKettle>
</ConfiguracoesAplicacao>

Onde:

  • portaServiceRest - Porta onde o serviço rest irá rodar (Lembre de verificar se a porta informada está liberada no servidor);
  • urlServiceRest - IP local do servidor onde está sendo realizada a instalação (Deve conter a URL completa Ex.: http://192.168.0.1);
  • logLevelGeral - Nível de log do serviço;
  • urlServidorCache - IP e Porta onde estão instalados o mencached (Utilizar os mesmos configurados no XML do Mentor Web);
  • idCache - ID do mencached (Utilizar o mesmo configurado no XML do Mentor Web);
  • pluginFolderKettle - Diretório de plugins do Pentaho - Kettle Download dos plugins

7 - Edite o arquivo “C:\edusoft\servicos\integracao_dados\Install.bat” e verifique se os caminho e pastas estão corretos.

 set PR_INSTALL=C:\edusoft\servicos\integracao_dados\prunsrv.exe
REM Service log configuration
 set PR_LOGPREFIX=ServicoIntegracaoDados
 set PR_LOGPATH=C:\edusoft\servicos\integracao_dados\logs
 set PR_STDOUTPUT=C:\edusoft\servicos\integracao_dados\logs\stdout.txt
 set PR_STDERROR=C:\edusoft\servicos\integracao_dados\logs\stderr.txt
 set PR_LOGLEVEL=Error
REM Path to java installation
 set PR_JVM=C:\edusoft\java8\jre\bin\server\jvm.dll
 set PR_CLASSPATH=C:\edusoft\servicos\integracao_dados\ServicoIntegracaoDados.jar
REM Startup configuration
 set PR_STARTUP=auto
 set PR_STARTMODE=jvm
 set PR_STARTCLASS=br.com.edusoft.servico.integ.dados.IntegracaoDados
 set PR_STARTMETHOD=main
 set PR_STARTPARAMS=--contextServico=C:\edusoft\servicos\integracao_dados\context.xml;--conexoesServico=C:\edusoft\servicos\integracao_dados\conexaodb.xml
REM Shutdown configuration
 set PR_STOPMODE=jvm
 set PR_STOPCLASS=br.com.edusoft.servico.integ.dados.IntegracaoDados
 set PR_STOPMETHOD=main
REM JVM configuration
 set PR_JVMMS=256
 set PR_JVMMX=1024
 set PR_JVMSS=4000
 set PR_JVMOPTIONS=-Duser.language=pt;-Duser.region=BR;
 REM Install service
prunsrv.exe //IS//ServicoIntegracaoDados --DisplayName="Servico de integracao de dados" --Description="Servico de integracao de dados"
prunsrv.exe //RS//ServicoIntegracaoDados
 pause

Onde é necessário:

- Verificar se o caminho está apontando para o arquivo “prunsrv.exe”

  • set PR_INSTALL=C:\edusoft\servicos\integracao_dados\amd64\prunsrv.exe

- Verificar se os caminhos estão apontando para a pasta “logs” dentro da pasta integração de dados. Caso os arquivos “stdout.txt” e “stderr.txt” não existam na pasta não se preocupe eles serão criados automaticamente pelo serviço.

  • set PR_LOGPATH=C:\edusoft\servicos\integracao_dados\logs
  • set PR_STDOUTPUT=C:\edusoft\servicos\integracao_dados\logs\stdout.txt
  • set PR_STDERROR=C:\edusoft\servicos\integracao_dados\logs\stderr.txt

- Verificar se o caminho está apontando para o arquivo “jvm.dll”, esta deve apontar para o java 8.

  • set PR_JVM=C:\edusoft\java8\bin\server\jvm.dll

- Verificar se o caminho está apontando para o arquivo “ServicoIntegracaoDados.jar”

  • set PR_CLASSPATH=C:\edusoft\servicos\integracao_dados\ServicoIntegracaoDados.jar

- Verificar se os parâmetros “contextServico” e “conexoesServico”, estão apontando corretamente para o caminho dos arquivos “context.xml” e “conexaodb.xml”

  • set PR_STARTPARAMS=–contextServico=C:\edusoft\servicos\integracao_dados\context.xml;–conexoesServico=C:\edusoft\servicos\integracao_dados\conexaodb.xml

8 - Execute o arquivo “C:\edusoft\servicos\integracao_dados\Install.bat” como administrador.

9 - Execute o arquivo “C:\edusoft\servicos\integracao_dados\Iniciar serviço.bat” como administrador.

10 - Verificar se não foi apresentado nenhuma mensagem de erro nos logs “C:\edusoft\servicos\integracao_dados\logs” e se o mesmo está executando como serviço do windows.

Instalação em ambiente linux

Executar o comando sudo su para invocar permissões de root (administrador) no Linux Ubuntu Server; Executar o comando abaixo:

cd /edusoft

Fazer o download dos arquivos java8_Linux.rar executando os comandos abaixo e aguarde o fim do download dos arquivos:

wget http://help.edusoft.com.br/MentorWEB/arquivosExterno/java8_Linux.rar
wget http://help.edusoft.com.br/MentorWEB/arquivosExterno/pentaho-kettler.rar

Execute o comando abaixo e aguarde a instalação do descompactador de arquivos .war para Linux

apt-get install unrar -y

Execute o comando abaixo para descompactar o arquivo java8_Linux.rar e criar a pasta java8 e a pasta pentaho-kettler

 unrar x java8_Linux.rar; unrar x pentaho-kettler.rar

Execute o comando abaixo e verifique se os diretórios criados estão iguais ao da imagem abaixo:

ls -l java8

Executar o comando abaixo para dar permissão de execução para o Java8 no servidor

chmod 777 -R java8/; chmod 777 -R pentaho-kettler/

Executar o comando abaixo para acessar o diretório de serviços do Mentorweb

cd /edusoft/servicos/

Fazer o download do arquivo de integração executando o comando abaixo e aguardar o download do arquivo:

wget http://help.edusoft.com.br/MentorWEB/arquivosExterno/integracao_dados_linux.rar

10º Após a conclusão do Download, executar o comando abaixo para descompactar o arquivo e criar a pasta de integração conforme mostra a imagem abaixo:

unrar x integracao_dados_linux.rar

11º Executar o comando abaixo para dar as devidas permissões de execução as rotinas de integração:

chmod 777 -R integracao_dados/

12º - No diretorio /edusoft/servicos/integracao_dados“ encontram-se os arquivos “conexaodb_MSSQL.xml” e “conexaodb_ORACLE.xml”. Escolha o arquivo conforme o banco dados usado pela sua instalação do Mentorweb e renomeie para “conexaodb.xml”.
Após renomear o arquivo edite o mesmo e configure as conexões para os banco do Mentor Web, Security, Mensagens e EdusoftBase:

<conexoes>
  	<conexao>
    	<nome>jdbc/MentorWeb</nome>
    	<driver>oracle.jdbc.OracleDriver</driver>
    	<url>jdbc:oracle:thin://@NOMEDOSERVIDOR:1521:ORACLE11G</url>
    	<usuario>EDUSOFT_ICO</usuario>
    	<senha>EDUSOFT_SENHA_ICO</senha>
  	</conexao>
  	<conexao>
    	<nome>jdbc/Security</nome>
    	<driver>oracle.jdbc.OracleDriver</driver>
    	<url>jdbc:oracle:thin://@NOMEDOSERVIDOR:1521:ORACLE11G</url>
    	<usuario>EDUSOFT_SEC</usuario>
    	<senha>EDUSOFT_SENHA_SEC</senha>
  	</conexao>
  	<conexao>
        <nome>jdbc/Message</nome>
        <driver>oracle.jdbc.OracleDriver</driver>
        <url>jdbc:oracle:thin://@NOMEDOSERVIDOR:1521:ORACLE11G</url>
    	<usuario>EDUSOFT_MSG</usuario>
    	<senha>EDUSOFT_SENHA_MSG</senha>
    </conexao>
    <conexao>
        <nome>jdbc/EdusoftBase</nome>
        <driver>oracle.jdbc.OracleDriver</driver>
        <url>jdbc:oracle:thin://@NOMEDOSERVIDOR:1521:ORACLE11G</url>
    	<usuario>EDUSOFT_FILES</usuario>
    	<senha>EDUSOFT_SENHA_FILES</senha>
    </conexao>  
</conexoes>

13º - Edite o arquivo ”/edusoft/servicos/integracao_dados/context.xml“ e configure as propriedades conforme abaixo:

<ConfiguracoesAplicacao>
	<portaServiceRest>8083</portaServiceRest>
	<urlServiceRest>http://IP_INTERNO_SERVIDOR</urlServiceRest>
 
	<logLevelGeral>ERROR</logLevelGeral><!-- ERROR, WARN, INFO ou DEBUG -->
 
	<urlServidorCache>IP_MENCACHED:PORTA_MENCACHED</urlServidorCache>
	<idCache>ID_MENCACHED</idCache>
 
	<pluginFolderKettle>/edusoft/pentaho-kettler</pluginFolderKettle>
</ConfiguracoesAplicacao>

Onde:

  • portaServiceRest - Porta onde o serviço rest irá rodar (Lembre de verificar se a porta informada está liberada no servidor);
  • urlServiceRest - IP local do servidor onde está sendo realizada a instalação (Deve conter a URL completa Ex.: http://192.168.0.1);
  • logLevelGeral - Nível de log do serviço;
  • urlServidorCache - IP e Porta onde estão instalados o mencached (Utilizar os mesmos configurados no XML do Mentor Web);
  • idCache - ID do mencached (Utilizar o mesmo configurado no XML do Mentor Web);
  • pluginFolderKettle - Diretório de plugins do Pentaho - Kettle Download dos plugins

14º - Edite o arquivo ”/edusoft/servicos/integracao_dados/start_ServicoMensageria .sh“ e verifique se os caminho e pastas destacados na imagem abaixo estão corretos.

/edusoft/java8/bin/java -jar /edusoft/servicos/integracao_dados/ServicoIntegracaoDados.jar -contextServico=/edusoft/servicos/integracao_dados/context.xml -conexoesServico=/edusoft/servicos/integracao_dados/conexaodb.xml

Onde é necessário:

- Verificar se o caminho está apontando para o arquivo (Java 8) “java8”

/edusoft/java8/bin/java

- Verificar se o caminho está apontando para o arquivo “ServicoIntegracaoDados.jar”

/edusoft/servicos/integracao_dados/ServicoIntegracaoDados.jar

- Verificar se os parâmetros “contextServico” e “conexoesServico”, estão apontando corretamente para o caminho dos arquivos “context.xml” e “conexaodb.xml”

-contextServico=/edusoft/servicos/integracao_dados/context.xml -conexoesServico=/edusoft/servicos/integracao_dados/conexaodb.xml

15 Executar o comando abaixo:

cd /etc/init.d; nano ServicoIntegracaoDados

16 Copiar o conteúdo abaixo e colar no editor de textos nano que esta aberto no Linux:

#! /bin/sh
#
### BEGIN INIT INFO 
# Provides: edusoft
# Required-Start:    $local_fs $remote_fs $network $syslog
# Required-Stop:     $local_fs $remote_fs $network $syslog 
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Start start.sh at boot time 
# Description: Enable service provided by start.sh.
# Author: Edusoft Tecnologia Ltda
### END INIT INFO
 
PIDFILE=/var/run/ServicoIntegracaoDados.pid
 
case "$1" in
  start)
    echo -n "Starting ServicoIntegracaoDados - Iniciando aplicacao de integracao de dados"
    echo ""
    su -c /edusoft/servicos/integracao_dados/start_ServicoIntegracaoDados.sh &
    echo $! > /edusoft/servicos/integracao_dados/ServicoIntegracaoDados.jar.pid
    echo "."
    ;;
  stop)
    echo -n "Stopping ServicoIntegracaoDados - Encerrando aplicacao de integracao de dados"
    echo ""
	su -c /edusoft/servicos/integracao_dados/stop_ServicoIntegracaoDados.sh &
    echo "."
    ;;
  restart)
    sh $0 stop
    sleep 5m
    sh $0 start
    ;;
  *)
    echo "Usage: /etc/init.d/ServicoIntegracaoDados {start|stop|restart}"
    exit 1
    ;;
esac
 
exit 0

17º Apertar em sequencia as seguintes teclas:

  • Control+o (Gravar Arquivo)
  • Control+m (Escolher formato DOS)
  • Control+x (Sair do nano)

18º Para vertificar se o arquivo foi realmente criado execute o comando abaixo:

cat /etc/init.d/ServicoIntegracaoDados

19 Executar o comando abaixo para dar permissão de execução ao script ServicoIntegracaoDados:

chmod +x ServicoIntegracaoDados

20 Executar o comando abaixo para colocar o script na rotina do Linux que executa script ao iniciar o Sistema Operacional:

update-rc.d ServicoIntegracaoDados defaults

21 Realizadas todas estas configurações, parar iniciar o serviço de integração de dados deve-se executar o comando abaixo:

/etc/init.d/ServicoIntegracaoDados start

22 Para parar o serviço de integração de dados, deve-se executar o comando abaixo:

/etc/init.d/ServicoIntegracaoDados stop

Observação: Em caso de reinicialização do servidor Linux o serviço de de integração de dados será inicializado automaticamente após o boot do sistema operacional.

Remoção em ambiente windows

Para remover o serviço é necessário apenas executar o arquivo “C:\edusoft\servicos\integracao_dados\Uninstall.bat”.

Remoção em ambiente linux

Para remover o serviço de integração de dados do Linux, basta executar os comandos abaixo na ordem apresentada:

/etc/init.d/ServicoIntegracaoDados stop
update-rc.d -f ServicoIntegracaoDados remove
rm -rf /etc/init.d/ServicoIntegracaoDados