Ferramentas em ciência colaborativa e bancos de dados abertos

Programa de Pós-graduação em Ecologia e Recursos Naturais

Relembrando

2

COMUNICAÇÃO

​

- Open Science e Open Data

​

- Bancos de dados

​

- Princípios F.A.I.R.

email: cammcordeiro@pq.uenf.br || website: https://cammcordeiro.github.io/ciencia_colab/

​

​

​

​

“Without a systematic way to start and keep data clean, bad data will happen.”

3

Donato Diorio

​

“

Boas práticas no compartilhamento de dados

4

1

Ciclo de vida dos dados

doi: 10.1890/120375

5

Ciclo de vida dos dados

6

Planejamento

Criar um sistema

​

1. Como os dados serão armazenados? Planilhas, pastas, imagens...
2. Como serão nomeados? Data, local, amostrador, indivíduo...
3. Onde os dados serão armazenados? Computador pessoal 2) nuvem...
4. Como e quando serão feitos backups? Sincronização, email para colaborador/orientador...

​

​

7

Planejamento

Definir resultados esperados

​

1. Qual tipo de dado será gerado?
2. Quais tipos de arquivos serão armazenados?
3. Qual o tamanho estimado das mídias e o espaço de armazenamento necessário?
4. Qual será o sistema de organização e conexão entres os dados?

​

​

8

Planejamento

Como pensar em tudo isso?!

​

-> Bons exemplos

​

-> Dicas

- evitar redundância

- manter acurácia

- ser acessível

9

Coleta de dados

Planejamento = organização desde o começo

​

10

Coleta de dados

Planejamento = organização desde o começo

​

Bons exemplos

​

• Organização
• Facilidade de preenchimento
• Réplicas amostrais claras
• Códigos aplicáveis
• Informação suporte
• Espaço para observações

11

Planilha de campo "Reef Check" REVIS Alcatrazes/SP

Planilhando os dados

Free style

12

Planilhando os dados

13

Largo ou paralelo (wide)

​

• variáveis nas linhas
• observações nas colunas

​

Longo ou empilhado (long)

​

• variáveis nas colunas
• observações nas linhas

Planilhando os dados

14

• Prefira o formato empilhado (long)
• Mantenha registros

Planilhando os dados

15

Erros comuns

​

• Planilhas bonitas

Planilhando os dados

16

Erros comuns

​

• Tabelas dentro das tabelas

​

• Múltiplas abas

​

​

Planilhando os dados

17

Erros comuns

​

• Códigos de formato na planilha

​

​

​

Planilhando os dados

Uma célula = um dado

18

Erros comuns

​

• Comentários nas células

​

• Informação múltiplas nas células

​

​

​

​

Próximo ao farol velho

Planilhando os dados

Uma célula = um dado

19

Erros comuns

​

• Caracteres especiais

​

• Nomes complexos nas variáveis

​

​

​

Próximo ao farol velho

Planilhando os dados

20

ZEROS

​

• Zeros verdadeiros

​

• Ausência de dados

​

• Uso do NA ou NaN

Planilhando os dados

21

Consistência

​

• Nomes de variáveis com sentido e amigáveis a sistemas de análise

​

​

• Seguir padrões existentes, quando existirem, ou o bom senso

Armazenando os dados

22

Acessibilidade e estabilidade

​

• Dar preferência para formato ASCII (American Standard Code for Information Interchange) - texto simples (*.txt, *.csv)

​

​

Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species,amostra,lat,lon,date,site

5.1,3.5,1.4,0.3,Iris setosa,A18,48.935966,-64.840984,1929-12-01,Site1

5.4,3.4,1.7,0.2,Iris setosa,A21,48.935966,-64.840984,1929-12-01,Site1

Texto simples

Texto interpretado

Armazenando os dados

23

Acessibilidade e estabilidade

​

• Dados complexos netCDF (network Common Data Form) - dados geoespaciais (e.g. rasters)

https://polar.ncep.noaa.gov

Udameri V (2017) 10.17605/OSF.IO/8XCHE

Texto simples

Texto interpretado

Controle de qualidade

24

QA (Quality assurance)

​

• Quando?
• Sempre que algo mudar

​

• Como?
• Indicadores gráficos
• Sumários

​

​

• O que checar?
• Erros
• Perdas
• Adições
• Valores 'anormais'

Controle de qualidade

25

QA (Quality assurance)

​

• Quando?
• Sempre que algo mudar

​

• Como?
• Indicadores gráficos
• Sumários

​

​

• O que checar?
• Erros
• Perdas
• Adições
• Valores 'anormais'

Concatenando planilhas

26

Como conectar múltiplos conjuntos de dados?

Reinventar a roda?

27

Sistema Darwin Core

​

Evolução do armazenamento de dados ecológicos

28

2

Histórico

29

TDWG (Taxonomic Databases Working Group)

Biodiversity Information Standards

Darwin Core

Audiovisual Core

Dados 'planos'

Multimídia

Padrões DwC

30

Padrões DwC

31

Padrões DwC

32

Padrões DwC

33

Padrões DwC

34

Padrões DwC

35

Padrões DwC

36

Associações baseadas em ocorrências

37

GBIF / OBIS

38

Humbolt extension for ecological inventories

39

Humbolt extension for ecological inventories

40

Humbolt extension for ecological inventories

41

Metadados

• Quem?
• Qual e por quê?
• Onde, quando e como?

​

42

Metadados

Quem?

​

- Quem coletou os dados?

- Quem processou?

- Quem é o contato atual?

- Quem é o dono dos dados?

43

Metadados

Qual e por quê?

​

- A qual projeto os dados estão associados?

- Quais são as limitações dos dados?

- Quais são os usos possíveis?

- Qual é o formato dos dados?

- Por que os dados foram coletados?

44

Metadados

Onde, quando e como?

​

- Onde, quando e como os dados foram coletados?

- Quando e como foram processados?

- Como podem ser acessados?

- Como a qualidade dos dados foi checada?

45

Metadados

Boas práticas

​

- Manter metadados atualizados

- Sempre indicar as fontes e créditos

- Siga um padrão

46

Padrões DwC

Metadados

47

XML (eXtensible Markup Language)

HTML

<body>

<h1>This is a Heading</h1>

<p class="body_paragraph">This is a paragraph</p>

<div>

<h2>This is a subheading </h2>

<p>This is another paragraph</p>

</div>

</body>

XML

<continent name="Europe">

<country language="English">

Reino Unido

<currency>GBP</currency>

</country>

<country language="German">

Alemanha

<currency>EUR</currency>

</country>

</continent>

• Linguagem semelhante ao HTML
• Vocabulário adaptável

48

Metadados

• Quem?
• Qual e por quê?
• Onde, quando e como?

​

49

EML (Ecological Metadata

Language)

• Vocabulário específico

​

50

Padrões de metadados em Ecologia

51

Ferramentas de automação

52

EMLAssemblyLine

Otimiza a criação de EML através de templates intuitivos.

Pacote EML

Permite manipulação programática completa de metadados XML.

Taxize

Limpeza e padronização taxonômica automatizada.

ezEML

Otimiza a criação de EML através de templates intuitivos.

Web

https://ipt.sibbr.gov.br/obis-brasil/

53

README (Básico)

• Modelo de entrada para seu projeto
• Dados básicos:
• título do projeto/dataset
• Autor
• data da publicação
• tipo de licença
• descrição do estudo/objetivo
• estrutura dos arquivos,
• dicionário de dados (variáveis)
• observações

Modelo em Markdown

Exemplo em Markdown

54

Workflow Prático com EMLAssemblyLine

55

template_arguments: Cria arquivos .txt base.

Preenchimento: Edite descrições e unidades no Excel/Txt.

make_eml: Consolida tudo em um XML válido.

Atividade 2

Detalhes do resultado da atividade 1:

​

• Padrão *.csv separado por ponto-e-vírgula
• Amostras com nome diferente no arquivo e na ficha
• Cabeçalho com acentos, letras maiúsculas, espaços e símbolos
• Formato e separadores em valores decimais e datas
• Colunas vazias

56

Atividade 2

​

Organizar dados no sistema Darwin Core

​

Lembrar:

- campos obrigatórios

- nomenclatura

- padrão das unidades

​

​

1. eventCore

​

• occurrenceExtension

​

• extendedMeasurementsOrFacts

​

​

57

Atividade 2

​

​

• eventCore

​

• occurrenceExtension

​

• extendedMeasurementsOrFacts

​

​

58

Campos requeridos no GBIF/OBIS:

• occurrenceID
• eventDate
• decimalLongitude
• decimalLatitude
• scientificName
• occurrenceStatus
• basisOfRecord

Momento reflexivo

59

3

​

Albagli et al. (2014) Ciência Aberta: correntes interpretativas e tipos de ação.

UNESCO (2021) Recomendação da UNESCO sobre Ciência Aberta

​

​

​

​

Momento reflexivo

60

Leitura crítica

​

​

​

​

​

​

Parker et al. (2016) Transparency in Ecology and Evolution: Real Problems, Real Solutions. Trends in Ecology & Evolution, 31(9): 711-719.

​

Stosic et al. (2021) Greater belief in science predicts mask-wearing behavior during COVID-19. Personality and Individual Differences, 176: 110769

3

Referências

• Bendix et al. (2012) doi: 10.1016/j.ecoinf.2012.04.001
• Michener et al. (2015) doi: 10.1016/j.ecoinf.2015.06.010
• Raffaelli et al. (2014) doi: 10.1016/B978-0-08-099970-8.00004-X
• https://www.gbif.org/publishing-data
• https://sibbr.gov.br/page/videos-tutoriais.html
• https://www.tdwg.org/standards/
• https://www.ncbi.nlm.nih.gov/genbank/
• https://baskauf.github.io/2024/03/19/humboldt/
• https://eco.tdwg.org/

61