Del curso: Como Transitar da Ciência de Dados para a Engenharia de Dados
Desbloquea este curso con un periodo de prueba gratis
Únete hoy para acceder a más de 25.000 cursos impartidos por expertos del sector.
Diferentes tipos de pipelines
Del curso: Como Transitar da Ciência de Dados para a Engenharia de Dados
Diferentes tipos de pipelines
A engenharia de dados envolve a criação e a gestão de pipelines para processar e transformar dados com eficiência. Vamos analisar os diferentes tipos de pipelines comumente usados na engenharia de dados. Pipelines ETL ou ELT. Como já vimos, os pipelines ETL são usados para extrair dados de várias fontes, transformá-los no formato desejado e, então, carregá-los em sistemas de destino ou em um data warehouse. Já o ELT, carrega os dados antes de realizar a transformação. Ou seja, a extração envolve a recuperação de dados de bancos de dados, arquivos, APIs ou outras fontes. A transformação inclui a limpeza, filtragem, agregação e enriquecimento dos dados para torná-los adequados para análise. O carregamento envolve o armazenamento dos dados transformados em um sistema de destino ou em um data warehouse para processamento posterior. Dentre as ferramentas mais utilizadas no setor estão: Informatica, Talend, Fivetran, Stitch e outras. Pipeline de streaming. É outro processo usado para criar…