1 of 72

2 of 72

3 of 72

Deve mais ou menos!

Ao final da aula, o estudante deverá ser capaz de:

  • identificar problemas de qualidade dos dados;
  • escolher estratégias de amostragem e transformação;
  • reconhecer situações de vazamento;
  • construir um pipeline de pré-processamento;
  • diferenciar seleção de atributos e redução de dimensionalidade.

​

4 of 72

Deve mais ou menos!

5 of 72

6 of 72

7 of 72

8 of 72

9 of 72

10 of 72

11 of 72

12 of 72

13 of 72

14 of 72

15 of 72

16 of 72

https://imbalanced-learn.readthedocs.io/en/stable/over_sampling.html#smote-adasyn

17 of 72

Que PODE ser um dado real!

18 of 72

  • Dados ruidosos são informações que contêm erros, inconsistências ou ruídos que podem distorcer a análise e a interpretação dos dados.

​

  • Esses dados podem surgir de várias fontes, como medições imprecisas, erros de entrada, falhas nos sensores ou interferências externas.

​

OBS.: Um dado ruidoso pode gerar um outlier

19 of 72

20 of 72

21 of 72

22 of 72

23 of 72

24 of 72

25 of 72

26 of 72

27 of 72

28 of 72

29 of 72

30 of 72

31 of 72

32 of 72

33 of 72

34 of 72

35 of 72

36 of 72

37 of 72

MinMaxScaler: sensível a valores extremos;

StandardScaler: não limita os valores a um intervalo e também pode ser afetado por outliers;

​

​

​

38 of 72

  • RobustScaler: usa mediana e intervalo interquartil, sendo menos sensível a extremos.

39 of 72

Vazamento de Dados

  1. Divida os dados antes do pré-processamento.
  2. Ajuste as transformações somente com o conjunto de treino.
  3. Use os parâmetros aprendidos para transformar validação e teste.

Exemplos:

  • StandardScaler: calcula a média e o desvio-padrão do treino;
  • RobustScaler: calcula a mediana e o intervalo interquartil do treino;
  • Imputação: calcula a média, mediana ou moda do treino;
  • One-Hot Encoding: identifica as categorias existentes no treino;
  • PCA: identifica as componentes principais usando o treino.

​

40 of 72

Vazamento de Dados

41 of 72

Vazamento de Dados

  • Dados independentes: divisão aleatória, preferencialmente estratificada em classificação.
  • Validação cruzada: executada somente no conjunto de treino.
  • Teste: permanece intocado até a avaliação final.
  • Dados temporais: preservar a ordem cronológica.
  • Dados agrupados: separar por paciente, aluno, empresa, vídeo ou indivíduo.

A última regra é uma atualização importante. Em aplicações médicas, por exemplo, imagens do mesmo paciente não podem aparecer simultaneamente no treino e no teste.

42 of 72

Vazamento de Dados

43 of 72

44 of 72

45 of 72

https://www.bogotobogo.com/python/scikit-learn/scikit_machine_learning_Data_Compresssion_via_Dimensionality_Reduction_1_Principal_component_analysis%20_PCA.php

46 of 72

47 of 72

Combinação linear: Cada componente principal é uma combinação linear das variáveis originais, ou seja, é formada ao multiplicar cada variável por um peso e somar esses valores. Por exemplo, se você tem variáveis x1, x2 … xn são os pesos que definem a contribuição de cada variável para o componente.

​

​

​

onde os coeficientes a1, a2 ... an são os pesos que definem a contribuição de cada variável para o componente

Autovalores e autovetores: Para encontrar esses pesos, o PCA calcula a matriz de covariância dos dados e resolve um problema de álgebra linear para encontrar os autovetores e autovalores dessa matriz.

  • Os autovetores indicam as direções no espaço dos dados onde a variância é máxima — ou seja, as direções dos componentes principais.
  • Os autovalores correspondem à quantidade de variância que cada autovetor (componente) explica nos dados. O primeiro componente principal é o autovetor com o maior autovalor, capturando a maior parte da variação dos dados.

​

48 of 72

49 of 72

50 of 72

51 of 72

52 of 72

53 of 72

54 of 72

55 of 72

56 of 72

57 of 72

58 of 72

59 of 72

60 of 72

61 of 72

62 of 72

https://stats.stackexchange.com/questions/2691/making-sense-of-principal-component-analysis-eigenvectors-eigenvalues

63 of 72

64 of 72

65 of 72

66 of 72

67 of 72

  • é principalmente uma técnica de visualização;
  • distâncias globais e tamanhos dos agrupamentos não devem ser interpretados literalmente;
  • o resultado depende de hiperparâmetros e da semente;
  • não deve ser usado como evidência isolada da existência de classes naturais.

68 of 72

  • É principalmente uma técnica de visualização;
  • Distâncias globais e tamanhos dos agrupamentos não devem ser interpretados literalmente;
  • O resultado depende de hiperparâmetros e da semente;
  • Não deve ser usado como evidência isolada da existência de classes naturais.

69 of 72

70 of 72

71 of 72

Seleção para frente — forward selection;

Eliminação para trás — backward elimination;

Eliminação recursiva — RFE.

72 of 72