AULA 07: EXTRAÇÃO VIA APIS E ÉTICA
Transformando fluxos de dados em inteligência estratégica com responsabilidade.
Business Intelligence
2026
Profa. Semíramis Assis
Objetivos da Aula
Funcionamento de APIs
Compreender a arquitetura técnica por trás das APIs das redes sociais e como elas entregam dados estruturados.
Ética e LGPD
Analisar os limites legais e éticos na mineração de dados, garantindo a conformidade com a LGPD.
API vs. Scraping
Diferenciar os métodos de extração oficial e não oficial, escolhendo a melhor estratégia para cada projeto.
Prática em Sala
Executar um roteiro real de extração de dados sociais utilizando ferramentas gratuitas online.
O que é uma API?
Uma Application Programming Interface é um conjunto de regras que permite que diferentes softwares se comuniquem de forma estruturada.
Entrega dados limpos e organizados.
Garante segurança e controle de acesso.
Padroniza a troca de informações.
É o método oficial das plataformas.
A Analogia do Garçom
Cliente (Analista de BI)
Faz o pedido de dados específicos.
Garçom (API)
Leva o pedido e traz a resposta estruturada.
Cozinha (Servidor da Rede Social)
Processa a requisição e prepara os dados.
API vs. Web Scraping
Característica
API (Oficial)
Web Scraping (Não Oficial)
Estabilidade
Alta (Estrutura fixa e documentada)
Baixa (Quebra se o site mudar o layout)
Legalidade
Garantida (Termos de uso da plataforma)
Cinzenta (Depende do site e da LGPD)
Facilidade
Média (Exige autenticação/tokens)
Alta (Qualquer dado visível é coletável)
Volume
Limitado (Quotas e Rate Limiting)
Ilimitado (Até o bloqueio do IP)
Veredito do Analista de BI
Sempre priorize a API oficial para garantir a integridade dos dados e a continuidade dos seus dashboards. Utilize o Web Scraping apenas como último recurso ou para fontes que não oferecem integração oficial.
Ecossistema: Twitter (X) API
Características Técnicas
Foco total em
dados em tempo real
e fluxos de eventos.
Acesso a metadados ricos: geolocalização, idioma e métricas de alcance.
Endpoints específicos para busca histórica e streaming.
Estrutura de dados baseada em JSON altamente padronizada.
STATUS 2026: ACESSO RESTRITO / PLANOS ESCALONÁVEIS
Aplicações em BI
Análise de Sentimentos
: Monitoramento de crises e recepção de produtos.
Trend Discovery
: Identificação de tópicos emergentes antes que virem mainstream.
Customer Service
: Extração de feedbacks diretos e menções à marca.
Competitive Intelligence
: Monitoramento de ações e engajamento de concorrentes.
Ecossistema: Meta (Instagram & FB)
Graph API
Foco em engajamento visual e comportamento de consumo.
Acesso a métricas de seguidores, impressões e alcance.
Coleta automatizada de comentários para análise.
EXIGE CONTA PROFISSIONAL / CREATOR
Aplicações no BI
Monitoramento de Performance:
Acompanhamento em tempo real do sucesso de campanhas.
Análise de Audiência:
Identificação de perfis demográficos e horários de pico.
Sentimento da Comunidade:
Extração de feedbacks diretos em posts e anúncios.
Benchmarking:
Comparação de métricas públicas com concorrentes diretos.
Ecossistema: YouTube Data API
Dados Extraíveis
Vídeos: Títulos, descrições, tags e durações.
Estatísticas: Views, likes e contagem de comentários.
Canais: Inscritos, total de vídeos e data de criação.
Interação: Texto dos comentários e respostas.
Alta acessibilidade para fins acadêmicos e de
pesquisa.
Aplicações no BI
Análise de Influenciadores
Identificar canais com alto engajamento e afinidade com a marca para parcerias estratégicas.
Monitoramento de Tópicos
Rastrear o que está sendo dito sobre produtos ou concorrentes nos comentários dos vídeos.
Tendências de Conteúdo
Analisar tags e títulos de vídeos em alta para prever movimentos de mercado e interesses do público.
Autenticação: Tokens e Chaves
API Key
Sua "identidade" única perante a plataforma. Funciona como um nome de usuário e senha combinados em uma única string.
Identifica o projeto ou aplicativo.
Geralmente possui longa duração.
Usada para serviços mais simples ou públicos.
Access Token (OAuth)
Uma "chave mestra" temporária que autoriza o acesso a dados específicos de um usuário após sua permissão.
Possui tempo de expiração (segurança).
Define escopos (o que pode ser lido/escrito).
Padrão ouro para redes sociais (Instagram/FB).
Aviso de Segurança Crítico
Nunca compartilhe suas chaves ou tokens em códigos públicos (GitHub) ou mensagens. Se uma chave for exposta, revogue-a imediatamente no painel do desenvolvedor para evitar acessos indevidos e cobranças inesperadas.
Limitações e Quotas (Rate Limiting)
O que é Rate Limiting?
Mecanismo de defesa das plataformas para evitar sobrecarga nos servidores.
Define o número máximo de requisições permitidas em um intervalo de tempo (ex: 100/min).
O excesso resulta no erro
429 Too Many Requests
e bloqueio temporário.
Nota: Cada rede social possui regras diferentes. O Twitter é mais restritivo que o YouTube, por exemplo.
Estratégias para o BI
Planejamento de Coleta (Batching)
Divida grandes volumes de dados em pequenos lotes distribuídos ao longo do dia.
Otimização de Consultas
Solicite apenas os campos necessários. Menos dados por requisição aumentam a eficiência.
Cache de Dados
Armazene resultados localmente para evitar requisições repetidas de dados que não mudam.
Ética na Mineração Social
Privacidade por Design
O fato de um dado ser "público" não anula o direito à privacidade. Evite a reidentificação de indivíduos em análises agregadas.
Princípio da Finalidade
Colete apenas o que é estritamente necessário para o objetivo do negócio. Não armazene dados "por precaução".
Transparência
Seja claro sobre como os dados são coletados e utilizados. A integridade da marca depende da confiança do consumidor.
Direito ao Esquecimento
Respeite a vontade do usuário. Se um post foi deletado na origem, ele deve ser removido da sua base de dados analítica.
"A capacidade técnica de minerar dados deve ser sempre acompanhada pela sabedoria ética de saber quando parar."
LGPD e a Web Social no Brasil
Princípio da Finalidade
O tratamento de dados deve ser feito para propósitos legítimos, específicos e informados ao titular. No BI, a coleta deve estar alinhada aos objetivos de negócio declarados.
Dados Públicos
Conforme o Art. 7º, § 4º, dados tornados manifestamente públicos pelo titular podem ser tratados, desde que respeitada a finalidade original e os direitos do titular.
Segurança e Prevenção
O analista deve adotar medidas para prevenir danos aos titulares, como o vazamento de dados coletados ou o uso discriminatório de perfis sociais.
"A conformidade legal não é um obstáculo para o BI, mas uma garantia de sustentabilidade e confiança para a organização."
Risco da Bolha e Viés Algorítmico
A "Bolha de Filtro"
Os algoritmos das redes sociais priorizam conteúdos que reforçam as crenças e comportamentos do usuário, criando um ecossistema de dados parcial.
O Problema
As APIs entregam apenas o que o algoritmo "decidiu" mostrar.
Dados coletados podem não representar a
totalidade da realidade
.
Risco de tomar decisões baseadas em uma amostra enviesada.
Ação do Analista
Triangulação de Dados
: Cruze informações de múltiplas redes.
Esteja ciente das limitações demográficas de cada plataforma.
Questione sempre: "Quem está ficando de fora desta amostra?"
Ferramentas Gratuitas (No-Code)
Apify
Plataforma completa com "Actors" prontos para extrair dados do Instagram, Twitter e Facebook via nuvem.
PODEROSA & VERSÁTIL
ExportComments
Focada na extração rápida de comentários de posts específicos para arquivos Excel ou CSV.
SIMPLES & DIRETA
PhantomBuster
Automações para extração de perfis, seguidores e posts com fluxos de trabalho inteligentes.
AUTOMAÇÃO DE FLUXO
Dica de Analista: A maioria dessas ferramentas oferece um "Free Tier" generoso para fins educacionais. Sempre verifique os limites de créditos diários antes de iniciar uma coleta em larga escala.
Prática: Apify + Instagram
O Cenário de Negócio
Uma marca de varejo lançou uma nova campanha e precisa entender rapidamente a recepção do público. O objetivo é extrair os comentários de um post estratégico para realizar uma análise de sentimentos e identificar os termos mais citados pela audiência.
Fonte
Post público com alto volume de interações.
Extração
Uso do Apify para coletar dados estruturados via nuvem.
Análise
Importação no Power BI para visualização de insights.
OBJETIVO FINAL: GERAR UMA NUVEM DE PALAVRAS (WORD CLOUD)
Passo 1: Configuração no Apify
INÍCIO DO ROTEIRO
Acesse o site oficial da plataforma e realize o cadastro gratuito (Free Tier).
No menu lateral, clique em "Store" e pesquise pelo termo "Instagram Scraper".
Selecione o ator oficial (geralmente o primeiro da lista) e clique no botão "Try for free".
apify.com
Passo 2: Entrada de Dados
1
Definir o Alvo
Copie a URL completa de um post público do Instagram (ex: uma marca ou influenciador) e cole no campo "Direct URLs".
2
Configurar o Escopo
Determine o que deseja extrair. Para esta prática, focaremos apenas nos comentários do post selecionado.
3
Limitar a Extração
Ajuste o limite de itens para 50 comentários. Isso garante que a prática seja rápida e não consuma todos os seus créditos gratuitos.
Parâmetros Críticos
Direct URLs
Link direto para o post ou perfil alvo.
Results Limit
Máximo de registros por execução.
Proxy Configuration
Mantenha em "Automatic" para evitar bloqueios.
Passo 3: Execução e Download
01
Iniciar Processamento
Clique no botão "Start". O Apify iniciará a simulação de navegação e coleta dos comentários. Acompanhe o log em tempo real até que o status mude para "Succeeded".
02
Exportar Resultados
Vá até a aba "Export". No seletor de formato, escolha obrigatoriamente a opção:
CSV (Comma Separated Values)
03
Baixar Arquivo
Clique em "Download". Salve o arquivo em uma pasta conhecida (ex: Documentos/Aula_BI). Este arquivo contém a base bruta para nossa análise.
Atenção: Verifique se o arquivo baixado não está vazio. Se estiver, certifique-se de que a URL do post inserida no Passo 2 é pública e acessível sem login.
Passo 4: Importação no Power BI
Conectar ao CSV
No Power BI Desktop, clique em "Obter Dados" > "Texto/CSV" e selecione o arquivo exportado pelo Apify.
Verificar Delimitadores
Certifique-se de que a origem do arquivo está como UTF-8 e o delimitador como Vírgula na janela de visualização.
Transformar Dados
Clique em "Transformar Dados" para abrir o Power Query. Remova colunas desnecessárias e verifique os tipos de dados (Texto, Data, etc.).
Colunas Essenciais
TEXT
TEXTO
OWNERUSERNAME
TEXTO
TIMESTAMP
DATA/HORA
LIKESCOUNT
NÚMERO
REPLIESCOUNT
NÚMERO
*Estes campos são fundamentais para as análises de sentimento e engajamento que faremos a seguir.
Passo 5: Visualização Básica
Nuvem de Palavras
Utilize a coluna "text" para identificar os termos e sentimentos mais frequentes na audiência.
Análise Temporal
Crie um gráfico de linhas com a coluna "timestamp" para ver picos de interação no post.
Top Comentadores
Identifique usuários recorrentes ou influenciadores através da coluna "ownerUsername".
Insights Esperados
Qual o sentimento predominante (Positivo/Negativo)?
Existem dúvidas recorrentes sobre o produto/serviço?
Qual o horário de maior engajamento real?
Há menções a marcas concorrentes nos comentários?
Checklist de Conformidade Ética
Origem dos Dados
Os dados coletados são manifestamente públicos e acessíveis sem violação de termos de uso?
VALIDAR
Anonimização
A identidade dos usuários foi preservada ou anonimizada nos relatórios e dashboards finais?
VALIDAR
Legítimo Interesse
A finalidade da análise é legítima para o negócio e respeita a intenção original do usuário?
VALIDAR
Ciclo de Vida
Existe um plano definido para o armazenamento seguro e o descarte posterior desses dados?
VALIDAR
"Na dúvida, não colete. A segurança jurídica e ética é o maior ativo de um analista de BI."
Conclusão da Aula
Soberania das APIs
APIs oficiais são o método mais seguro, estável e ético para extração de dados estruturados em larga escala.
Capacidade Prática
Ferramentas No-Code como o Apify democratizam o acesso a dados complexos, permitindo insights rápidos sem programação profunda.
Governança e Ética
Conformidade com a LGPD e respeito à privacidade são pilares fundamentais de qualquer projeto de dados.
O analista de BI do futuro é um integrador técnico com consciência ética.
DÚVIDAS?
"A tecnologia nos dá o poder de coletar dados; a ética nos dá a sabedoria para usá-los."