Web Scraping com Python

Novembro/2017 - UFF Praia Vermelha

Ministrado por Paula Grangeiro

O que é Web Scraping?

• Também conhecido como Raspagem de Dados.
• É uma técnica para extrair dados de websites.
• Varrer conteúdo e capturar informações relevantes.
• Possui diversas aplicações:
• Monitoramento de preços.
• Ofertas de promoções.
• Cotações de ações.
• É o primeiro passo para a Análise de Dados (Ciência de Dados).

​

​

Desafios do Web Scraping

• Nem sempre esses dados são estruturados
• Alguns sistemas impõem barreiras:
• Captchas
• Bloqueio de IP
• Dados dinâmicos (JavaScript)

Web Scraping vs. Web Crawling

• Extração de dados

• Automatização da extração dos dados

Scrapy

• Framework para web crawling.
• Dados crawleados disponibilizados em diferentes formatos.

Code Time!

Criando o nosso projeto

1. Instalar Python 3
2. Instalar Scrapy 1.4
3. Executar o comando para iniciar o projeto

​

scrapy startproject <nome do projeto>

Criando nosso primeiro Spider

• São os crawlers em si

​

1. Executar o comando para criar um Spider para crawlear o endereço quotes.toscrape.com

​

scrapy genspider <nome do spider> <url a ser crawleada>

Criando nosso primeiro Spider

Executando um Spider

1. Executar o comando:

scrapy crawl <nome do spider>

​

Code Time!

Programando o nosso Spider

1. Abrir o arquivo do spider first
2. Modificar variável start_url
3. Implementar método parse
4. Rodar nosso spider novamente

Analisando o conteúdo a ser crawleado

Como capturar somente os dados relevantes?

Analisando o conteúdo a ser crawleado

Analisando o conteúdo a ser crawleado

1. Executar o comando para abrir o shell interativo do Scrapy

​

scrapy shell <url a ser crawleada>

Alguns “macetes” do shell

• response.css(‘selector’)
• Retorna um seletor
• response.css('selector::text')
• Retorna o texto do selector
• response.css('selector').extract_first()
• Retorna o primeiro seletor em formato texto
• response.css('selector').extract()
• Retorna o seletor em formato texto

Code Time!

Programando o nosso Spider

• Modificar o spider para pegar as informações de frase, autor e tags
• Retornar uma lista de dicionários com os dados capturados
• Rodar nosso spider novamente
• Dica: Utilize o shell para verificar os dados a serem coletados

(Resolução no próximo slide)

Programando o nosso Spider

Armazenando dados em arquivos

1. Executar o comando:

scrapy crawl <nome do spider> -o <nome do arquivo>

​

• Formatos suportados:
• JSON
• JSON Lines
• XML
• CSV

Automatizando navegação

1. Modificar variável start_urls
2. Modificar método parse para:
1. Depois de coletar todos os autores da página atual
2. Verificar se existem links para a próxima página
3. Se existir próxima página, seguir para a próxima com o seguinte comando ao lado.
3. Executar o nosso spider e armazenar os dados capturados em um arquivo.json

(Resolução no próximo slide)

​

response.follow(elemento, callback)

​

Onde:

• elemento é o próximo link
• callback é a função a ser chamada com a próxima página

​

Automatizando navegação

Login

1. Criar um novo spider
2. Modificar o spider conforme o exemplo ao lado
3. Implementar método parse_logged_in
1. Pegar as informações de frase, autor, tags e link para o Goodreads
4. Executar o novo spider

Próximos passos?

• Clonar o repositório deste workshop:
• https://github.com/PyLadiesRio/webscraping
• Ler a documentação do Scrapy:
• https://docs.scrapy.org/en/latest/
• Aprender sobre leitura de Captchas!
• https://github.com/pombredanne/decaptcha
• Deployar seu Spider no Scrapinghub!
• https://scrapinghub.com/scrapy-cloud
• Se integrar a comunidade Python!
• PythonRio
• PyLadies Rio
• Compartilhar o conteúdo deste workshop <3

Obrigada <3

rio@pyladies.com

http://rio.pyladies.com

https://www.facebook.com/pyladiesrio/