1 of 37

Tratamento de Dados não Estruturados

Texto, Imagem, Vídeo e Áudio na Ciência de Dados

2 of 37

Objetivos da aula

2

  • Compreender o que são dados não estruturados e identificar exemplos comuns
  • Explorar exemplos: texto, imagens, vídeos e áudios
  • Introduzir ferramentas e técnicas para tratamento de dados não estruturados

3 of 37

Dados

3

Avanços recentes nas tecnologias de aquisição, transmissão e armazenamento de dados

Bases de dados cada vez maiores!

4 of 37

Dados

4

Podem ter diferentes formatos!

Séries temporais

Textos

Áudios e/ou Vídeos

Páginas web

Grafos

Geralmente transformados para o formato atributo-valor!

Imagens

5 of 37

O que são Dados não Estruturados?

5

  • Dados que não seguem um modelo ou estrutura pré-definida
  • Características
    • Alta varição de formato e conteúdo
    • Difícil de organizar em tabelas ou bancos de dados relacionais
    • Exigem técnicas avançadas para análise

6 of 37

Exemplos de Dados não Estruturados

6

  • Texto: Artigos, Comentários em redes sociais, emails
  • Imagem: Fotografias, imagens médicas, ilustrações
  • Vídeo: Gravações de câmeras de Segurança, vídeos de YouTube
  • Áudio: Gravações de chamadas telefônicas, podcasts, música

7 of 37

Exemplos de Dados não Estruturados

7

  • Em geral, métodos de IA são executados sobre dados estruturados�
  • Então, como usar esses modelos em dados não estruturados?
    • Solução: transformar os dados “não estruturados” → “estruturados”

8 of 37

Transformando dados �textuais

9 of 37

Processamento de Texto

9

  • Métodos para analisar e transformar texto em informações estruturadas
  • Etapas comuns:
    • Tokenização
    • Remoção de Stopwords
    • Lematização e Stemming
    • Análise de Sentimentos
    • Extração de Informações

10 of 37

Tokenização

10

  • Divisão do texto em unidades menores, como palavras ou frases
  • Exemplo:
    • Texto original: "O gato está no telhado."
    • Tokens: ["O", "gato", "está", "no", "telhado", "."]

11 of 37

Remoção de Stopwords

11

  • Stopwords são palavras comuns que podem ser removidas para focar no conteúdo significativo�
  • Para remover essas palavras, é importante conhecer os diferentes conceitos gramaticais

12 of 37

Revisão

Precisamos de uma revisão de gramática!

HORA

DA REVISÃO!

13 of 37

Remoção de Stopwords

13

  • Exemplo de Stopwords:

Conceito

Exemplos

Artigos

o, a, os, as, um, uma

Preposições

de, em, por, para, com, sem, sobre, até, entre

Conjunções

e, mas, ou, que, se,

Pronomes

eu, ele, me, te, se, nos

Verbos auxiliares

ser, estar, ter, haver, ir

14 of 37

Remoção de Stopwords

14

  • Exemplo:
    • Texto original: “O gato está no telhado.”
    • Sem stopwords: [“gato”, “telhado”]�
    • Texto Original: “Eu jogo capoeira.
    • Sem stopwords: [“jogo”, “capoeira”]

15 of 37

Lematização e Stemming

15

  • Lematização: Reduz palavras à sua forma base ou lema

​

  • Stemming: Foca na morfologia, ou seja, na parte da gramática que estuda a formação das palavras (raiz das palavras)

16 of 37

Revisão

Precisamos de uma revisão de gramática!

HORA

DA REVISÃO!

17 of 37

Lemmatização

17

  • Flexão nominal: número e gênero voltam ao singular/masculino canônico:
    • livros → livro
    • boas → bom�
  • Flexão verbal: pessoa, número, tempo, modo → infinitivo:
    • gostei → gostar
    • fomos → ir ou ser (precisa de contexto)

18 of 37

Lemmatização

18

  • Irregularidades: regras morfológicas + dicionários:
    • mãos → mão
    • fui → ir
    • fiz → fazer�
  • Contrações e clíticos (português): exigem análise morfológica antes/ao lemmazer:
    • do = de + o
    • nesta = em + esta

19 of 37

Stemming

19

  • Morfemas/radical: o stemming tenta aproximar a palavra do radical removendo afixos (sobretudo sufixos):
    • meninas → menin (remove “-as”)
    • jogando → jog (remove “-ando”)

​

  • Flexão vs. derivação: costuma mirar flexões (número, gênero, tempo, modo), não garante tratar bem derivações (que mudam classe/semântica):
    • cantar, cantando, cantaram → cant

20 of 37

Lematização e Stemming

20

  • Exemplo:
    • Texto original: “O gato está no telhado.”
    • Sem stopwords: [“gato”, “telhado”]
    • Lematização: [“gato”, “telhado”]
    • Stemming: [“gat”, “telhad”]�
    • Texto Original: “Eu jogo capoeira.”
    • Sem stopwords: [“jogo”, “capoeira”]
    • Lematização: [“jogar”, “capoeira]
    • Stemming: [“jog”, “capoeir”]

21 of 37

Exemplos de Aplicações

de Dados Não Estruturados

22 of 37

Análise de Sentimentos

22

  • Técnica para determinar o sentimento ou opinião expressa em um texto
  • Classificação comum: positiva, negativa, neutra
  • Aplicações: Análise de opiniões de produtos, monitoramento de redes sociais

23 of 37

Extração de Informações

23

  • Processo de extrair dados estruturados de texto não estruturados
  • Exemplos:
    • Nome de pessoas, organizações, locais
    • Datas, eventos, números

24 of 37

Processamento de Vídeos

24

  • Análise de sequência de imagens para extrair informações e padrões
  • Exemplos:
    • Análise de Movimento: Detecção de movimento e padrões em vídeos
    • Detecção de Atividades: Identificação de ações específicas em vídeos
    • Reconhecimento Facial: Identificação e verificação de faces em vídeos

25 of 37

Reconhecimento de Fala

25

  • Conversão de áudio em texto
  • Exemplos de Aplicações:
    • Assistentes Virtuais (Siri, Alexa): Interação por comando de voz
    • Transcrição Automática: Conversão de diálogos em texto escrito
    • Análise de Sentimentos em Áudio: Determinação do sentimento expresso em fala

26 of 37

Conclusão

26

  • Importância do tratamento de dados não estruturados para extração de insights e informações
  • Ferramentas e técnicas permitem análise eficaz e aplicação em diversos contextos
  • Oportunidades e desafios:
    • Avanços tecnológicos podem melhorar a precisão
    • Desafios relacionados à privacidade e à ética

27 of 37

Atividade

27

  • Selecionar um trecho de texto desorganizado, parecido com mensagens de WhatsApp, redes sociais ou rascunhos mal escritos.
  • Objetivo:
    • Identificar os dados úteis
    • Corrigir erros
    • Organizar tudo em uma estrutura limpa aplicando técnicas básicas de tratamento de textos não estruturados: Stopwords, Lematização, Stemming

28 of 37

Atividade

28

  • Exemplo de texto “bagunçado”:
    • oi meu nome é pedro 23anos nasci em salvador meu email é pedro_email@@hotmailcom e fone 71999991234 hoje eu fui no mercadp e vi a maria tmb tava lá 😅

29 of 37

Atividade

29

  • Após Remoção de Stopwords
    • Stopwords removidas: “oi”, “meu”, “é”, “em”, “e”, “hoje”, “eu”, “no”, “lá”
    • Resultado:� [“nome”, “pedro”, “23anos”, “nasci”, “salvador”, “email”, “pedro_email@@hotmailcom”, “fone”, “71999991234”, “fui”, “mercadp”, “vi”, “maria”, “tmb”, “tava”]

30 of 37

Atividade

30

  • Após Lematização
    • Exemplos:� • “nasci” → “nascer”� • “fui” → “ir”� • “tava” → “estar”
    • Resultado (simplificado):� [“nome”, “pedro”, “23ano”, “nascer”, “salvador”, “email”, “pedro_email@@hotmailcom”, “fone”, “71999991234”, “ir”, “mercado”, “ver”, “maria”, “também”, “estar”]

31 of 37

Atividade

31

  • Após Stemming
    • Exemplo:� • “mercado” → “mercad”� • “tava” → “tav”
    • Resultado:� [“nom”, “pedr”, “23an”, “nasc”, “salvad”, “email”, “pedro_email”, “fon”, “71999991234”, “fui”, “mercad”, “vi”, “mari”, “tmb”, “tav”]

32 of 37

Atividade

32

  • Exemplo de resultado esperado como uma tabela estruturada:

​

Nome

Idade

Cidade

E-mail

Telefone

Pedr

23an

Salvad

pedro_email

71999991234

33 of 37

Referências

34 of 37

Referências

  • CARVALHO, ACPLF et al. Inteligência Artificial - uma abordagem de aprendizado de máquina. Rio de Janeiro: LTC, v. 2, p. 45, 2011.
  • LEARNING, Machine. Tom mitchell. Publisher: McGraw Hill, p. 31, 1997.
  • NORVIG, Peter; RUSSELL, Stuart. Inteligência Artificial: Tradução da 3a Edição. Elsevier Brasil, 2014.
  • ALPAYDIN, Ethem. Introduction to machine learning. MIT press, 2020.

34

35 of 37

Produção do Material

  • Universidade Federal da Bahia (UFBA)�
  • Universidade do Estado da Bahia (UNEB)�
  • SENAI/CIMATEC�
  • Universidade Estadual de Feira de Santana (UEFS)�
  • Universidade Estadual do Sudoeste da Bahia (UESB)�
  • Universidade Estadual de Santa Cruz (UESC)�
  • Instituto Federal Baiano (IFBaiano)

35

36 of 37

Apoio

37 of 37

Apoio

37