Andrew Albuquerque

Migration of enterprise databases to Hadoop environment.
The enterprise database are stored in a heterogeneous environment, originated on different database systems and raw files, with unnecessary replication among these data structures.

This project aim to equalize these different sources and patterns into a Hadoop datawarehouse (HDP) using a hybrid aproach (top-down/bottom-up), with fact tables and dimensions that will be used by the entire enterprise.

I participate at this… Mostrar más

Migration of enterprise databases to Hadoop environment.
The enterprise database are stored in a heterogeneous environment, originated on different database systems and raw files, with unnecessary replication among these data structures.

This project aim to equalize these different sources and patterns into a Hadoop datawarehouse (HDP) using a hybrid aproach (top-down/bottom-up), with fact tables and dimensions that will be used by the entire enterprise.

I participate at this project since of the first fase, being involved directly in definition of the data architecture, design of the load process, survey of the bussiness rules, definition of the code standards, nomenclatures and strategies of ingestion, and in the creation of development specifications for software factory.

Technologies Involved: Bash, Hive, Hadoop, UC4, Jenkins, Urbancode, GIT Mostrar menos

Desenvolvimento de Processos para preparação de uma base contendo variáveis calculadas que permitam que as áreas de negócios (Gerência de Risco de Crédito) possam utilizar/manipular essas
informações sobre seus clientes, ex-clientes e prospects, para que sejam aplicados modelos e
políticas internas com o objetivo de selecionar os elegíveis a pré-aprovação de crédito.

Definição de uma solução ágil e flexível, a partir do desenho de uma estratégia eficiente para modelagem desses… Mostrar más

Desenvolvimento de Processos para preparação de uma base contendo variáveis calculadas que permitam que as áreas de negócios (Gerência de Risco de Crédito) possam utilizar/manipular essas
informações sobre seus clientes, ex-clientes e prospects, para que sejam aplicados modelos e
políticas internas com o objetivo de selecionar os elegíveis a pré-aprovação de crédito.

Definição de uma solução ágil e flexível, a partir do desenho de uma estratégia eficiente para modelagem desses dados. Armazenamento das informações em ambiente Big Data baseado
no Hadoop.

Ferramentas: Construção da área de Staging com o desenvolvimento de scripts Sqoop para
coleta de dados no Sybase (legado) e ingestão no HDFS; Criação da base Delivery através da
confecção de modelo de dados adequado e scripts Hive para carga dos dados; Preparação da
malha de execução com o desenvolvimento de scripts Shell para disparar os processos. Mostrar menos

O Projeto tinha como objetivo a inclusão de novos produtos financeiros no Sistema, necessitando da alteração e
migração de partes do sistema atualmente em Progress para procedures Oracle e PHP no
sistema WEB. Atuei na equipe como analista e referência técnica de banco de dados Oracle,
auxiliando no desenho técnico, DER e migração das lógicas de negócios dos produtos de
Crédito Consignado e Desconto de Títulos para procedimentos em Oracle a serem consumidos
pelo sistema em PHP… Mostrar más

O Projeto tinha como objetivo a inclusão de novos produtos financeiros no Sistema, necessitando da alteração e
migração de partes do sistema atualmente em Progress para procedures Oracle e PHP no
sistema WEB. Atuei na equipe como analista e referência técnica de banco de dados Oracle,
auxiliando no desenho técnico, DER e migração das lógicas de negócios dos produtos de
Crédito Consignado e Desconto de Títulos para procedimentos em Oracle a serem consumidos
pelo sistema em PHP. Todo o trabalho foi desenvolvido sob a metodologia ágil, com definição
clara das Sprints, uso dos rituais e reuniões além do acompanhamento e planejamento através
do Jira.

Tecnologias Relacionadas: Oracle; PHP; Progress; Jira Mostrar menos

Realização de análise dos dados gerados pelos os aos canais digitais, envolvendo coleta, limpeza, tratamento, organização, armazenamento e preparo desses dados para torná-los aptos a serem estudados, possibilitando apontar tendências com a descoberta de insights ocultos de negócios e utilizando essa capacidade criativa para gerar inteligência.
Criação de indicadores e de novas variáveis transformadas com base no comportamento do cliente, para serem usadas em modelos que poderão detectar… Mostrar más

Realização de análise dos dados gerados pelos os aos canais digitais, envolvendo coleta, limpeza, tratamento, organização, armazenamento e preparo desses dados para torná-los aptos a serem estudados, possibilitando apontar tendências com a descoberta de insights ocultos de negócios e utilizando essa capacidade criativa para gerar inteligência.
Criação de indicadores e de novas variáveis transformadas com base no comportamento do cliente, para serem usadas em modelos que poderão detectar afinidades e/ou problemas.
Apresentação desses dados em painéis analíticos de desempenho para auxiliar na tomada de decisão.
O objetivo principal do projeto é entender o que está acontecendo com o cliente no o aos canais digitais, melhorando o relacionamento desses clientes com os canais e, finalmente, provar que a utilização efetiva desses canais causa impacto financeiro favorável.

Ferramentas: SAS Enterprise Guide, QlikView e MS Excel (gráficos dinâmicos). Mostrar menos

The aim of the project is to improve and maximize the ways that informations of funds are accessed by the their istrative institutions.
I've been working analysing the requirements and functional documents to create the database procedures and functions used by the processes; Create processes to generate text and XML files according to the requirements and XSD received from the client.

Construction of a BI/Analytics Platform that allows internal areas to use/manipulate their customers' information, generating analytical results. Adoption of a robust, flexible and performative solution, based on an efficient strategy for capturing data, being as intrusive as possible; organizing unstructured data to enable better analysis of the information and to provide greater flexibility for future expansion. Storage of information in a Big Data environment based on Hadoop.

Tools:… Mostrar más

Construction of a BI/Analytics Platform that allows internal areas to use/manipulate their customers' information, generating analytical results. Adoption of a robust, flexible and performative solution, based on an efficient strategy for capturing data, being as intrusive as possible; organizing unstructured data to enable better analysis of the information and to provide greater flexibility for future expansion. Storage of information in a Big Data environment based on Hadoop.

Tools: Construction of the Staging area with the development of Sqoop scripts for data collection in Oracle (legacy); Creation of the DW through the creation of the top down / bottom up hybrid data model and Hive scripts to load the data; Creation of DataMarts with flat tables model and Hive scripts to load data; Preparation of the execution mesh with the development of SH scripts to execute processes in sequence and others in parallel. Mostrar menos

The project consisted of a analysis and tunning of procedures and views used by the CDB processes, aiming the increase of perfomance at text file generator using Oracle database.
I helped the team in search of the best solutions, stress tests of the procedures and to file the statistical information about the improvements achieved.

- e e desenvolvimento ao sistema gerador de relatórios requeridos pelo Banco Central do Brasil relativos aos cálculos de riscos determinados nos Acordos de Basiléia.
- Desenvolvimento de melhorias no sistema de P&L do cliente, usando PL/SQL e Unix Shell Script.
- e a produção do sistema de P&L do cliente.
- Análise de esforço de novas implementações, bem como correções solicitadas pelo usuário.
- Criação e manutenção de relatórios para auxílio da área estratégica do… Mostrar más

- e e desenvolvimento ao sistema gerador de relatórios requeridos pelo Banco Central do Brasil relativos aos cálculos de riscos determinados nos Acordos de Basiléia.
- Desenvolvimento de melhorias no sistema de P&L do cliente, usando PL/SQL e Unix Shell Script.
- e a produção do sistema de P&L do cliente.
- Análise de esforço de novas implementações, bem como correções solicitadas pelo usuário.
- Criação e manutenção de relatórios para auxílio da área estratégica do Deutsche.
- Tunning de relatórios usados pelos clientes, além de manutenção e desenvolvimento de novos relatórios (usando a ferramenta Oracle Discoverer). Mostrar menos

Based on the strategy, it began work on development of environment, in order to validate the migration for each of the mapped data. Data is extracted from the current file systems, or even actual data uned systems. Once the data is cleaned up, with the aim of improving the quality of information. The conversion is made to SAP format works, and finally this data is imported into the system to load test. During this work, new data will appear and need to enter the same stream.

All… Mostrar más

Based on the strategy, it began work on development of environment, in order to validate the migration for each of the mapped data. Data is extracted from the current file systems, or even actual data uned systems. Once the data is cleaned up, with the aim of improving the quality of information. The conversion is made to SAP format works, and finally this data is imported into the system to load test. During this work, new data will appear and need to enter the same stream.

All extraction activities, Sanitation, Conversion and Load Testing was completed with load testing Approval environment by simulating the actual migration, so that in early May is effectively started the migration of data to the SAP production environment. During the month of March we migrated only master data that are more static data base, which already allow the use of SAP. From April to mid-May, the transactional data migrated, based on the closed values.

Generally the data to be migrated have low quality and this is due to several factors: age of the data; turnover involving those responsible for the data; ignorance of the problems and outline solutions adopted in the past; among others. In these cases, cleaning up data before their migration is critical to the successful implementation. The sanitation strategy and data migration has been used successfully in projects to implement an ERP operations in several clients in Brazil. Your goal is to ensure that the data target system goes into operation as soon as possible favoring the rules of the receiving repository as well as the business rules to be followed in the operation of the data target system.

Technologies Related: CloverETL, Sybase, MySQL, Oracle on legacy systems; Mostrar menos

The "Information Exchange on Supplementary Health - TISS" (Exchange of Information on Health Insurance) - is a communication pattern defined by ANS (National Health Agency in Brazil) for electronic data exchange between health agents. This pattern defines XML files and webservices to use. In According with mandatory definition of "TISS" to exchange these informations, the ANS defined that should be use in parallel with the electronic communication, emerging the necessity of creating this… Mostrar más

The "Information Exchange on Supplementary Health - TISS" (Exchange of Information on Health Insurance) - is a communication pattern defined by ANS (National Health Agency in Brazil) for electronic data exchange between health agents. This pattern defines XML files and webservices to use. In According with mandatory definition of "TISS" to exchange these informations, the ANS defined that should be use in parallel with the electronic communication, emerging the necessity of creating this precess at the Unico ERP.

Role: Requirement analyses for the printed reports for TISS in accordance with the documentation of verses 01 and 02 sent by ANS. Definition of minimal information to be printed at TISS reports. Design and implementation of the reports with QuickReport and CRUDs in Delphi accessing information at Oracle Database. Mostrar menos