1 of 30

Escalando a Qualidade de Dados com

Great Expectations e Spark

no Modern Data Stack

Innovation 2023

2 of 30

  • Data Platform Manager @ Dadosfera;
  • Bacharel em Sistemas de Informação pelo IFG;
  • Pós graduado em Big Data e Machine Learning pela Fasam;

​

Cicero Moura

​

cicerojmm

/in/cicero-moura

/cicerojmm

3 of 30

Sobre o que vamos conversar?

3

Modern Data Stack

01

Great Expectations

03

Arquitetura de Dados

05

Qualidade de Dados

02

04

Dicas e Insights

06

Great Expectations e Spark na Prática

4 of 30

4

“O Modern Data Stack é um conjunto flexível de tecnologias que ajudam as empresas a armazenar, gerenciar e aprender com seus dados de forma rápida e eficiente”.

​

5 of 30

Por que agora?

5

  • Amadurecimento da área de Dados;
  • Tecnologias mais sólidas;
  • Conceitos e práticas onde é possível formar o Modern Data Stack (MDS).

6 of 30

Pilares do MDS

6

Reverse ETL

Metrics Layer

Data Mesh

Data Catalog 3.0

Data Team as Product Team

Data Observability

7 of 30

Pilares do MDS

7

Reverse ETL

Metrics Layer

Data Mesh

Data Catalog 3.0

Data Team as Product Team

Data Observability

Data Quality

8 of 30

Arquitetura com MDS

8

Data Quality

9 of 30

Qualidade de Dados

9

10 of 30

10

A Qualidade de Dados é um dos maiores desafios enfrentados pelas empresas atualmente.

​

A favor de dados precisos, confiáveis e relevantes.

11 of 30

Great Expectations

11

12 of 30

O que é o Great Expectations?

12

  • O Great Expectations (GE) é uma ferramenta de qualidade de dados open source;

​

  • É possível definir expectativas sobre seus dados e verificar se elas atendem ou não.
      • Expectativas padrões;
      • Expectativas customizadas e;
      • Perfil completo sobre os dados.

13 of 30

Principais funcionalidades

13

  • Testes de dados diretamente de dataframes criados com Pandas ou Spark;
  • Documentação dos testes em HTML de forma automática;
  • Criação de suítes e checkpoints dos testes;
  • CLI que facilita a criação dos casos de testes;

14 of 30

Arquitetura com

Great Expectations e Spark

14

15 of 30

Cenário de Negócio - Exemplo

15

  • Temos dados armazenados em um Data Lake que se encontra no S3 da AWS;
  • Precisamos verificar a qualidade dos dados antes que o negócio tome decisões críticas em cima deles;
  • Os dados são sobre vendas de produtos de um e-commerce.

​

16 of 30

16

17 of 30

17

18 of 30

18

19 of 30

Great Expectations e Spark

na Prática

19

20 of 30

Caso de Teste: Suite de testes

20

21 of 30

Caso de Teste: Profile dos Dados

21

22 of 30

Caso de Teste: Validadores

​

22

23 of 30

Executando os Casos de Testes

23

24 of 30

Documentação dos testes

24

25 of 30

Dicas e Insights

25

26 of 30

Dicas e insights

26

  • O Great Expectations possui uma comunidade bem ativa e com muitas evoluções;
  • É interessante criar um framework para desenvolvimento e padronização da qualidade de dados;
  • Criar relatório para monitoramento da qualidade de dados;
  • Agregar o Great Expectations com um catálogo de dados é essencial;

27 of 30

27

Mais do que ter os dados disponíveis para análise, é preciso garantir a qualidade deles.

28 of 30

Código completo

28

https://bit.ly/tdc-ge-2023

​

​

29 of 30

29

cicerojmm.medium.com

30 of 30

Obrigado!

/in/cicero-moura