Sistema JEDI e a assimilação nas diferentes componentes do MONAN�

João Gerd Zell de Mattos

INPE/CGCT/DIMNT

Nov 04, 2021

Sumário

• Uso do JEDI
• Abordagem
• motivação e objetivos
• Object Oriented Prediction System (OOPS)
• UFO
• IODA

​

​

​

​

​

​

​

​

​

Assimilação de Dados

• A Assimilação de Dados visa estimar o estado de um sistema com base em todas as informações disponíveis:
• Previsão Anterior (First Guess/Background) [MODELO]
• Observações
• Outras informações relevantes (constraints - informações teóricas)

​

• Exemplos:

​

​

​

​

Joint Effort for Data Assimilation Integration (JEDI)

JEDI: Abordagem

• Sistemas de AD modernos são muito complexos para uma única pessoa dominar sozinha
• Desenvolvimento colaborativo
• Separação de Conceitos (separação de preocupações)

​

​

• Modernização de Software
• Aumentar a velocidade em desenvolvimentos futuros
• Facilidade de manutenção
• Aumento da portabilidade e eficiência

​

​

​

​

​

​

​

​

​

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Motivação e Objetivos

• Reduzir a duplicação de esforços entre os parceiros do JCSDA
• Adicionar novas observações (UFO e IODA)
• Implementação de novos algorítimos de AD (OOPS)

​

• Trazer todos os componentes do sistema terrestre para o mesmo sistema de AD
• desenvolver algorítmos de AD uma única vez (OOPS)
• Possibilitar futuros desenvolvimentos da AD acoplada (OOPS)

​

• Facilitar a transição entre a pesquisa e operação (O2R2O - operation to research to operation)

​

​

​

​

​

​

​

​

​

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Object Oriented Prediction �System (OOPS)

Genérico, portável, Sistema de AD model-agnostic

​

Uso de programação genérica e orientada-à-objeto

​

Cada modelo implementa interfaces abstratas pré-definidas

​

Separação de Conceitos

Fonte: 7th JEDI Academy - October 4-8, 2021

• OOPS consiste em um conjunto de classes genéricas, cada uma desenhada para “trabalhar” em uma tarefa específica, ou um conjunto de tarefas, sem a necessidade do conhecimento prévio de informações específicas do modelo, observação ou operador a ser utilizado na AD.

​

​

​

​

​

​

​

​

​

• C++ (high-level)
• Fortran (low-level)

JEDI: Abstrações e Estruturas Genéricas

Forecast

4D-Var

Model

Covariance

Obs. Operator

…

FV3

MOM6

Uses

EnKF

Abstract Layer

Obs. Space

NEPTUNE

State

Generic Algorithms

Abstract Interfaces

…

EDA

UFO

IODA

GNSSRO

CRTM

…

…

Specific Implementations

Generic Implementations

SABER

Generic Layer

OOPS is complemented by generic (shared) components.

Abstract, model-agnostic DA system

Fonte: 7th JEDI Academy - October 4-8, 2021

OOPS

JEDI-MPAS

JEDI: Abstrações e Estruturas�Genéricas

Forecast

4D-Var

Model

Covariance

Obs. Operator

…

FV3

MOM6

Uses

EnKF

Abstract Layer

Obs. Space

NEPTUNE

State

Generic Algorithms

Abstract Interfaces

…

EDA

GNSSRO

CRTM

…

…

Specific Implementations

Generic Implementations

Generic Layer

OOPS is complemented by generic (shared) components.

Abstract, model-agnostic DA system

Fonte: 7th JEDI Academy - October 4-8, 2021

OOPS

JEDI-FV3

UFO

IODA

SABER

JEDI: Unified Forward Operator�(UFO)

H(x_b)

y

Model space

Obs space

Obs space

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Unified Forward Operator�(UFO)

Utiliza o mesmo princípio da

separação de conceitos

que é utilizado no OOPS

JEDI/UFO introduz interfaces padrões entre os modelos e as observações.

​

Operadores de obervação são independentes do modelo e podem ser facilmente compartilhados

Estado

Operadores

de

Observação

Observações

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Unified Forward Operator�(UFO)

ObsVector

ObsOp 1

ObsVector ObsOp 2

ObsVector ObsOp M

…

GeoVaLs

(model-aware

observation-agnostic)

(model-agnostic

observation-aware)

ObsOperator M

ObsVector

ObsOp 1

ObsVector ObsOp 2

ObsVector ObsOp M

…

ObsOperator 2

ObsOperator 1

(model-aware

observation-aware)

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Unified Forward Operator�(UFO)

ObsVector

ObsOp 1

ObsVector ObsOp 2

ObsVector ObsOp M

…

GeoVaLs

(model-agnostic

observation-aware)

ObsVector

ObsOp 1

ObsVector ObsOp 2

ObsVector ObsOp M

…

(model-aware

observation-agnostic)

…

…

(model-aware

observation-aware)

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Unified Forward Operator�(UFO)

UFO ObsVector AMSU-A N19

GeoVaLs

GSI ObsVector AMSU-A N19

FV3 GSI AMSU-A N19

(model-agnostic

observation-aware)

(model-aware

observation-agnostic)

(model-aware

observation-aware)

FV3 GSI

FV3 UFO

Fonte: 7th JEDI Academy - October 4-8, 2021

ObsOperators

JEDI: Interface for Observation �Data Access (IODA)�

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Interface for Observation �Data Access (IODA)�

Fonte: 7th JEDI Academy - October 4-8, 2021

HDF5

ObsStore

BUFR

ODC

YAML

NetCDF

IODA-Engines: Groups, Variables, Dimensions, Attributes, Type System

ObsSpace

Converters

Diagnostics

Other Containers

IODA v2 Release (Q1, 2021)

After Release (Q2, 2021)

Planned / Potential

Bias

IODA v2

Storage

Client facing classes

Data Model

• Baseado em HDF Data Model
• Dados são organizados da mesma form como no sistema de arquivos do computador
• A implementação do armazenamento é encapsulada
• Os clientes veem um API consistente e estável
• Separação de conceitos (entre a ciência e a manipulação dos dados)

JEDI: Interface for Observation �Data Access (IODA)�

Fonte: 7th JEDI Academy - October 4-8, 2021

• Grupos são análogos à diretórios
• Estrutura hierarquica de grupos
• Variáveis são análogas à arquivos

• Acesso às variáveis utilizando caminhos:
• A/B/V1
• A/C/D/V2

JEDI: Interface for Observation �Data Access (IODA)�

NCEP

(BUFR)

GODAE

(Binary)

…

Met Office

(ODB)

ioda-converters

ioda

bufr2ioda

profile2ioda

odb2ioda

…

Archive, File

(IODA)

Memory

(ObsSpace)

File Interface

(IodaIO)

Diagnostics

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Interface for Observation �Data Access (IODA)�

Fluxo de dados

ObsOperators

Observer

H(x)

x

OOPS

UFO

IODA

Observations

y

Observations

Obs Data

IODA

JEDI Academy, November, 2020

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Portabilidade

JEDI: High-Performance Containers� for Earth System Prediction

JEDI: Lista de modelos

Fonte: 7th JEDI Academy - October 4-8, 2021

Obrigado pela atenção

Questões, comentários ou informações

adicionais, envie e-mail para

joao.gerd@inpe.br

Reunião Grupo de Trabalho�Assimilação de Dados

• Realizada 21/10/2021

​

• Carlos Frederico Bastarz/INPE
• Clemente Tanajura/UFBA
• Fabielle Adriane Mota/INPE
• Fabrício Pereira Hater/UFPEL
• Flávia Rodrigues Pinheiro/MB
• João Gerd Zell de Mattos/INPE
• Luiz Fernando Sapucci/INPE
• Pedro Leite da Silva Dias/USP
• Ricardo Todling/NASA
• Saulo Ribeiro de Freitas/INPE
• Fabielle Alves

​

​

​

​

​

​

Reunião Grupo de Trabalho�Assimilação de Dados

• Apresentação do MCSTU (Saulo)
• discussões sobre os recursos financeiros para o MCSTU
• Necessidade da definição do núcleo dinâmico
• Assimilação de dados em modelos do sistema terrestres
• Necessidade de colaboração entre grupos de modelagem e assimilação de dados
• Assimilação de dados por componentes no MCSTU

​

​

​

​

​

​

UFO: Cálculo das radiâncias�de satélite

Interpolação Espacial

Para cada nível k do modelo no tempo t

*realizado na unidade doda gradeperformed with grid unit.

(lat/lon index)

w₀₁

w₀₀

w₁₁

w₀₁

𝛿x

𝛿y

x₀₀

x₀₁

x₁₀

x_obs,t

1

−

𝛿x

1

−

𝛿y

Interpolação Temporal

Obs

w_i

w_i+1

-

3

-

2

-

1

0

1

2

3

x_obs,i

x_obs,i+1

x_obs

x₁₁

Fonte: 7th JEDI Academy - October 4-8, 2021

JEDI: Estado do modelo Interpolado

ObsOperator

MODELO

GeoVaLs

UFO

getValues

(model-aware part)

(model-agnostic part)

ObsOperators

JEDI: CRTM

Assimilação de Dados

Tempo

3DVar

Fonte: 7th JEDI Academy - October 4-8, 2021

Assimilação de Dados

Tempo

3DVar-FGAT (First Guess at Appropriate Time)

Fonte: 7th JEDI Academy - October 4-8, 2021