1 of 25

Evolução Integrada

Plataforma de Dados e Estratégias de Testes

2 of 25

Olá, eu sou o Samuel!

Ele/he/él

2

Engenheiro de Dados Sr�+10 anos como tecnologista

ThoughtWorker há 5 anos

Gaúcho

3 of 25

Olá, eu sou a Vanessa!

Ela/She/ella

3

Engenheira de Dados Sr�8 anos como tecnologista

ThoughtWorker há +3 anos

Paraense-paulistana

4 of 25

Entendendo o cenário

4

5 of 25

O caso de uso

Recomendação de conteúdo

Aplicação de recomendação de conteúdo baseado no perfil da hóspede para indicações personalizada.

"A união entre o acolhimento humano e a eficiência da tecnologia, pautado em inteligência artificial."

6 of 25

Desafios do projeto

Jornada inicial em dados

Orçamento enxuto e prazo curto

Dependência de fornecedores externos

Objetivo�Construir uma plataforma para habilitar aplicações de Inteligência Artificial e Machine Learning para transformar a experiência de hospedagem.

6

Projeto Green Field

Onde estamos inseridos ? A cliente chega pra TW e pro nosso time seu sonho e uma conta na GCP

"Tinha o desenho de negócio do produto, a GCP e a partir dai fomos escolhendo as ferramentas, provisionando a infra, criando as pipelines, entendendo

Projeto com toda a infraestrutura sendo levantada do zero,
A cliente levantando as estruturas do hotel e da plataforma digital em simultaneo
A cliente em sua jornada inicial de digitalização, contanto com projetos ágeis de tecnologia, e da mesma forma jornada inicial em dados e IA, onde foi necessário um trabalho muito forte de letramento de dados,
e também com o foco do projeto sendo a aplicação mobile e web e IA e dados sendo a cereja do bolo, o time também tinha um viés mais forte para o desenvolvimento de software convencional, também sendo
necessário esse letramento e alinhamento de como funcionam as entregas do mundo de dados
Dependência de outros fornecedores externos e do nosso time interno do projeto para desenvolver os sistemas e "gerar dados" de usuário .

7 of 25

Pilares de Engenharia de Excelência

Arquitetura Evolutiva

Portões de qualidade (Quality gates)

Integração Contínua (CI)

Entrega Contínua (CD)

Infraestrutura como Código

Cloud First

Programação em Par

Teste Automatizado

Construir com segurança integrada

8 of 25

Plataforma�&

Produto de dados

9 of 25

Recomendação de Conteúdo

Ingestão

Armazenamento

Aplicação

Pipeline de dados�& IA

Apresentação

Fontes externas

Arquitetura de solução

Cloud�Storage

Cloud�Function

Orquestração

Cloud Composer

Dataform

Dataflow

Cloud�SQL

BigQuery

Cloud�Functions

Mobile Backend API�Cloud Endpoints

Aplicação interna

10 of 25

Diamante de Testes

Estratégia de testes

+Rápido

+Barato

+Lento

+ Caro

Tamanho Individual

Custo e Tempo

E a estratégia de testes mais famosa para desenv de software é a pirâmide de testes.  Porém para o contexto de dados onde precisamos além de testar a eficiência do código em si é importante validar o resultado dos dados gerados pelas pipelines de dados ou modelos.

Os testes de unidade de dados ajudam a criar confiança na base de código local e nas querys.
Os testes de componentes ajudam a validar o esquema da tabela antes de ela ser criada.
Os testes de contrato que ajudam a validar esse contrato entre a base de origem e depois a tabela com o dado já processado.
Os testes de fluxo para validar os dados após serem processados, validando questões como completude e consistencias e se estao de acordo com as regras de negocio
Os testes de origem ajudam a validar se os valores dos dados atendem às expectativas após a transformação.
Os testes funcionais ajudam a validar os casos de uso comerciais.
A Matriz de Qualidade de Dados ajuda a validar o grau de precisão, integridade, atualidade e consistência dos dados em relação a todos os requisitos e regras de negócios.

11 of 25

O nosso Diamante de Testes

Testes de validação resultados

Testes

Unitários

Teste de consistência de dados

Teste de integridade de dados

Teste de componente

12 of 25

Mas e os dados?

12

13 of 25

Ingestão de Dados

Contexto

14 of 25

Ingestão de Dados

Pipeline de CI

15 of 25

Construindo o Diamante de testes

Testes de validação resultados

Testes

Unitários

Teste de consistência de dados

Teste de integridade de dados

Teste de componente

16 of 25

Limpeza e enriquecimento dos Dados

Armazenamento

Pipeline de dados�& IA

Cloud�Storage

Dataform

BigQuery

17 of 25

Limpeza e enriquecimento dos Dados

Movimentando dados com Dataform

18 of 25

Limpeza e enriquecimento dos Dados

Assertions com Dataform

19 of 25

Evoluindo o Diamante de testes

Testes de validação resultados

Testes

Unitários

Teste de consistência de dados

Teste de integridade de dados

Teste de componente

20 of 25

Consumo e Disponibilização de Dados

Validação dos resultados

21 of 25

Consumo e Disponibilização de Dados

Orquestração

22 of 25

O caminho até aqui

APIs de Ingestão de Dados

Testes Unitários e de Componente

Criação das camadas no Data Lake

Criação das pipelines de Limpeza e Enriquecimento

Criação dos testes de consistência e Integridade

Disponibilização dos dados para Consumo

Validação dos Resultados com o cliente

Testes de validação resultados

Testes

Unitários

Teste de consistência de dados

Teste de integridade de dados

Teste de componente

23 of 25

Aprendizados

Entregas enxutas e palpáveis para a cliente

Entregas de plataforma associadas as funcionalidades prioritárias do produto

Paramento entre: Dados + Produto + Design + QA + Infra

Time multidisciplinar e diverso

24 of 25

Perguntas ?

25 of 25

Obrigada

Vanessa Anjos

Engenheira de Dados�https://www.linkedin.com/in/vanessa-p-anjos/

Samuel Locatelli

Engenheiro de Dados�https://www.linkedin.com/in/sam-locatelli/��Material apresentado

https://github.com/vpanjos/tdc_sp_25_trilha_eng_dados/