1 of 57

O papel do QA em Machine Learning

Giulia Verruck Tortola

Analista de Quality Assurance

Globalcode – Open4education

2 of 57

Agenda

Quem sou eu?
O que é Machine Learning?
Qualidade em Machine Learning
Desafios
Testes para Machine Learning

Globalcode – Open4education

3 of 57

Giulia Verruck Tortola

Globalcode – Open4education

4 of 57

O que é Machine Learning?

Inteligência Artificial

Aprendizado de Máquina/�Machine Learning

Globalcode – Open4education

5 of 57

O que é Machine Learning?

Inteligência Artificial

Aprendizado de Máquina/�Machine Learning

Globalcode – Open4education

6 of 57

O que é Machine Learning?

Inteligência Artificial

Aprendizado de Máquina/�Machine Learning

Globalcode – Open4education

7 of 57

O que é Machine Learning?

Inteligência Artificial

Aprendizado de Máquina/�Machine Learning

Globalcode – Open4education

8 of 57

O que é Machine Learning?

POR REFORÇO

Tentativa e erro, recebendo feedbacks positivos ou negativos em relação às suas ações.

NÃO SUPERVISIONADO

Dados não rotulados, buscando identificar padrões ou estruturas ocultas nos dados

SUPERVISIONADO

Dados rotulados (dados de entrada com suas respectivas saídas esperadas)

Globalcode – Open4education

9 of 57

O que é Machine Learning?

POR REFORÇO

Tentativa e erro, recebendo feedbacks positivos ou negativos em relação às suas ações.

NÃO SUPERVISIONADO

Dados não rotulados, buscando identificar padrões ou estruturas ocultas nos dados

SUPERVISIONADO

Dados rotulados (dados de entrada com suas respectivas saídas esperadas)

Globalcode – Open4education

10 of 57

O que é Machine Learning?

POR REFORÇO

Tentativa e erro, recebendo feedbacks positivos ou negativos em relação às suas ações.

NÃO SUPERVISIONADO

Dados não rotulados, buscando identificar padrões ou estruturas ocultas nos dados

SUPERVISIONADO

Dados rotulados (dados de entrada com suas respectivas saídas esperadas)

Globalcode – Open4education

11 of 57

O que é Machine Learning?

POR REFORÇO

Tentativa e erro, recebendo feedbacks positivos ou negativos em relação às suas ações.

NÃO SUPERVISIONADO

Dados não rotulados, buscando identificar padrões ou estruturas ocultas nos dados

SUPERVISIONADO

Dados rotulados (dados de entrada com suas respectivas saídas esperadas)

Globalcode – Open4education

12 of 57

O que é Machine Learning?

Reconhecimento� de padrões

Detecção �de Fraudes

Previsão

de demanda

Diagnóstico

Médico

Globalcode – Open4education

13 of 57

O que é Machine Learning?

Reconhecimento� de padrões

Detecção �de Fraudes

Previsão

de demanda

Diagnóstico

Médico

Globalcode – Open4education

14 of 57

Qualidade para Machine Learning

Não é apenas testar

Processo de qualidade

Foco no cliente final

Globalcode – Open4education

A função de um especialista em garantia de qualidade em um projeto de aprendizado de máquina é diferente da função de teste tradicional. O trabalho deles não é apenas testar a qualidade. Trata-se também de capacitar os engenheiros e desenvolvedores para iterar rapidamente (e efetivamente) nos modelos e algoritmos de ML.
Entre os colegas no espaço de ML, já existe uma tentação predominante de designar cientistas de dados como especialistas em controle de qualidade. Embora eles certamente possam emprestar seus conhecimentos às equipes de controle de qualidade, é importante ter pessoal de controle de qualidade experiente para liderar o processo. O cerne da Garantia de Qualidade é garantir que o produto seja adequado para os usuários a que se destina. Seu treinamento e experiência a esse respeito serão valiosos na construção de modelos de aprendizado de máquina e na garantia de um processo de desenvolvimento tranquilo.

15 of 57

Qualidade para Machine Learning

Não é apenas testar

Processo de qualidade

Foco no cliente final

Globalcode – Open4education

A função de um especialista em garantia de qualidade em um projeto de aprendizado de máquina é diferente da função de teste tradicional. O trabalho deles não é apenas testar a qualidade. Trata-se também de capacitar os engenheiros e desenvolvedores para iterar rapidamente (e efetivamente) nos modelos e algoritmos de ML.
Entre os colegas no espaço de ML, já existe uma tentação predominante de designar cientistas de dados como especialistas em controle de qualidade. Embora eles certamente possam emprestar seus conhecimentos às equipes de controle de qualidade, é importante ter pessoal de controle de qualidade experiente para liderar o processo. O cerne da Garantia de Qualidade é garantir que o produto seja adequado para os usuários a que se destina. Seu treinamento e experiência a esse respeito serão valiosos na construção de modelos de aprendizado de máquina e na garantia de um processo de desenvolvimento tranquilo.

16 of 57

Qualidade para Machine Learning

Não é apenas testar

Processo de qualidade

Foco no cliente final

Globalcode – Open4education

A função de um especialista em garantia de qualidade em um projeto de aprendizado de máquina é diferente da função de teste tradicional. O trabalho deles não é apenas testar a qualidade. Trata-se também de capacitar os engenheiros e desenvolvedores para iterar rapidamente (e efetivamente) nos modelos e algoritmos de ML.
Entre os colegas no espaço de ML, já existe uma tentação predominante de designar cientistas de dados como especialistas em controle de qualidade. Embora eles certamente possam emprestar seus conhecimentos às equipes de controle de qualidade, é importante ter pessoal de controle de qualidade experiente para liderar o processo. O cerne da Garantia de Qualidade é garantir que o produto seja adequado para os usuários a que se destina. Seu treinamento e experiência a esse respeito serão valiosos na construção de modelos de aprendizado de máquina e na garantia de um processo de desenvolvimento tranquilo.

17 of 57

Qualidade para Machine Learning

Não é apenas testar

Processo de qualidade

Foco no cliente final

Globalcode – Open4education

A função de um especialista em garantia de qualidade em um projeto de aprendizado de máquina é diferente da função de teste tradicional. O trabalho deles não é apenas testar a qualidade. Trata-se também de capacitar os engenheiros e desenvolvedores para iterar rapidamente (e efetivamente) nos modelos e algoritmos de ML.
Entre os colegas no espaço de ML, já existe uma tentação predominante de designar cientistas de dados como especialistas em controle de qualidade. Embora eles certamente possam emprestar seus conhecimentos às equipes de controle de qualidade, é importante ter pessoal de controle de qualidade experiente para liderar o processo. O cerne da Garantia de Qualidade é garantir que o produto seja adequado para os usuários a que se destina. Seu treinamento e experiência a esse respeito serão valiosos na construção de modelos de aprendizado de máquina e na garantia de um processo de desenvolvimento tranquilo.

18 of 57

Desafios

Localização dos pontos fracos
Complexo
Conhecer bem o processo interno e o ciclo de vida de Machine Learning

Globalcode – Open4education

19 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

20 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

21 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

22 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

23 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

24 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

25 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

26 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

27 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

28 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

29 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

30 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

31 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

32 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

33 of 57

Machine Learning Life Cycle

Business Requirements

Analytics Approach

Data Requirements

Data Collection

Exploratory Data Analysys

Data Preparation

Model Selection

Model Evaluation

Model Deployment

Model Tunning

Project Review

Planning

Data

Development

Deployment

Globalcode – Open4education

34 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

35 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

36 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

37 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

38 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

39 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

40 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

41 of 57

Tipos de testes

Funções Individuais
Verificação de Cálculos
Operações matemáticas

Unidade

Entradas e saídas
Pré-processamento
Treinamento

Integração

Qualidade
Consistências

Validação dos Dados

Precisão
Desempenho

Validação do Modelo

Capacidade de lidar com dados incompletos, ruidosos...

Robustez

Testes contínuos
Detecção de Anomalias

Monitoramento e Desempenho

Precisão e desempenho ao longo do tempo

Retenção de Modelo

Globalcode – Open4education

Como QA em Machine Learning, você pode realizar diversos tipos de testes para garantir a qualidade e a confiabilidade dos modelos. Aqui estão alguns dos principais tipos de testes que podem ser realizados:
Teste de Unidade: Nesse tipo de teste, você verifica se as funções e componentes individuais do modelo estão funcionando corretamente. Isso pode envolver a verificação de cálculos, operações matemáticas, transformações de dados, entre outros.
Teste de Integração: Esse teste é realizado para verificar se diferentes partes do sistema de Machine Learning estão se integrando corretamente. Por exemplo, pode envolver a verificação da entrada e saída de dados entre diferentes componentes, a interação entre módulos de pré-processamento e treinamento, entre outros.
Teste de Validação de Dados: Nesse teste, você valida a qualidade e a consistência dos dados de entrada usados para treinar o modelo. Isso pode incluir a verificação de valores ausentes, tratamento de outliers, consistência de formatos e tipos de dados, entre outros.
Teste de Validação do Modelo: Esse teste é focado em avaliar a precisão e o desempenho do modelo. Pode envolver a aplicação de métricas de avaliação, como precisão, recall, F1-score, matriz de confusão, entre outros. Você também pode realizar testes em diferentes cenários e casos de uso para verificar se o modelo está produzindo resultados esperados.
Teste de Robustez: Nesse tipo de teste, você avalia a capacidade do modelo de lidar com dados incompletos, ruidosos ou diferentes dos dados usados para treinamento. Pode envolver a aplicação de casos de teste com dados adversários, variação nos dados de entrada, entre outros.
Teste de Monitoramento de Desempenho: Após a implantação do modelo, é importante realizar testes contínuos de monitoramento de desempenho. Isso pode incluir a verificação de métricas em tempo real, detecção de anomalias, testes de carga e estresse, entre outros.
Teste de Retenção de Modelo: Esse teste envolve verificar se o modelo mantém sua precisão e desempenho ao longo do tempo. É importante realizar testes periódicos para verificar se o modelo precisa ser reavaliado, retreinando ou recalibrado.

42 of 57

Unidade

Bibliotecas de Teste em Python

Essas bibliotecas oferecem recursos para escrever e executar testes de unidade em código Python.

Python é uma linguagem de programação amplamente utilizada em Machine Learning, e existem várias bibliotecas de teste disponíveis para testes de unidade

Frameworks de Machine Learning

Como o TensorFlow, PyTorch, scikit-learn e Keras, possuem suas próprias funcionalidades de teste embutidas

Eles fornecem mecanismos para validar e testar modelos de Machine Learning, como a avaliação de métricas de desempenho e a validação cruzada.

Globalcode – Open4education

No contexto de teste de unidade em Machine Learning, existem várias tecnologias e plataformas que um QA pode utilizar. Aqui estão algumas opções comuns:

1. Bibliotecas de teste em Python: Python é uma linguagem de programação amplamente utilizada em Machine Learning, e existem várias bibliotecas de teste disponíveis para testes de unidade. Alguns exemplos populares incluem o `unittest`, `pytest` e `nose`. Essas bibliotecas oferecem recursos para escrever e executar testes de unidade em código Python.

2. Frameworks de Machine Learning: Muitos frameworks de Machine Learning, como o TensorFlow, PyTorch, scikit-learn e Keras, possuem suas próprias funcionalidades de teste embutidas. Eles fornecem mecanismos para validar e testar modelos de Machine Learning, como a avaliação de métricas de desempenho e a validação cruzada.

3. Ferramentas de automação de testes: Existem várias ferramentas de automação de testes que podem ser utilizadas para testes de unidade em Machine Learning. Por exemplo, o Jenkins, GitLab CI/CD, CircleCI e Azure DevOps podem ser configurados para executar testes de unidade automaticamente sempre que ocorrerem alterações no código do modelo.

4. Ambientes de desenvolvimento integrado (IDEs): IDEs populares, como o PyCharm, Jupyter Notebook e Visual Studio Code, possuem recursos integrados para execução e depuração de testes de unidade. Eles oferecem suporte a frameworks de teste e facilitam a execução dos testes diretamente no ambiente de desenvolvimento.

5. Serviços de nuvem: Plataformas de nuvem, como o AWS Lambda, Google Cloud Functions e Microsoft Azure Functions, podem ser usadas para implantar e executar testes de unidade em ambientes escaláveis e gerenciados na nuvem. Isso permite testar os modelos em diferentes cenários e com grande volume de dados.

6. Contêineres e orquestradores: O uso de contêineres, como o Docker, e orquestradores, como o Kubernetes, pode facilitar a criação e o gerenciamento de ambientes de teste isolados para modelos de Machine Learning. Isso permite executar testes de unidade em um ambiente controlado e reproduzível.

A escolha da tecnologia e da plataforma depende das necessidades e requisitos específicos do projeto de Machine Learning, bem como das ferramentas preferenciais da equipe de QA. É importante selecionar as ferramentas que sejam adequadas ao fluxo de trabalho de desenvolvimento, promovam a automação de testes e ofereçam recursos robustos para validar a funcionalidade e a qualidade dos modelos.

43 of 57

Unidade

Ferramentas de Automação

Existem várias ferramentas de automação de testes que podem ser utilizadas para testes de unidade em Machine Learning

Podem ser configurados para executar testes de unidade automaticamente sempre que ocorrerem alterações no código do modelo.

Ambientes(IDEs)

Possuem recursos integrados para execução e depuração de testes de unidade.

Eles oferecem suporte a frameworks de teste e facilitam a execução dos testes diretamente no ambiente de desenvolvimento.