28 de Março de 2022

ATA 001/2022 - Revisão 002

Informações

Ata da Reunião do Comitê Científico do MONANHistórico de RevisõesParticipaçõesRegistro

Preparado por: Carlos Frederico Bastarz, relator
28 de Março de 2022

Coordenação: Saulo Ribeiro de Freitas e Pedro Leite da Silva Dias

REVISÃO	DATA DA REVISÃO	ALTERAÇÕES
R000	05/05/2022	Versão inicial
R001	05/05/2022	Inserção do título "Pauta 3" por Carlos Bastarz/INPE Reposicionando título "Outros Assuntos" por Carlos Bastarz/INPE
R002	06/05/2022	Revisão ortográfica por Carlos Bastarz/INPE

Membros Participantes

INPE: Caio Augusto dos Santos Coelho (ausente), Carlos Frederico Bastarz, Celso Mendes (ausente), Chou Sin Chan, Daniel Alejandro Vila, Fabielle Adriane Mota Alves, Haroldo Fraga de Campos Velho, João Gerd Zell de Mattos, Joaquim Eduardo Rezende Costa, Jorge Luís Gomes, Luciano Ponzi Pezzi, Luiz Flávio Rodrigues, Paulo Yoshio Kubota, Ronald Buss de Souza, Saulo Ribeiro de Freitas.
INMET: Francisco Quixaba Filho (ausente), Gilberto Bonatti.
UFCG: Enio Pereira de Souza.
CENSIPAM: Ivan Saraiva (ausente).
ITA: Jairo Panetta (ausente).
INPA: Luiz Antonio Candido (ausente).
UFSM: Otávio Acevedo (ausente).
USP: Márcia Akemi Yamasoe, Pedro Leite da Silva Dias, Pedro da Silva Peixoto, Ricardo de Camargo (ausente).
LNCC: Roberto P. Souto.
UFMS: Vinícius Buscioli Capistrano.
FAB: José Hélio Abreu Nogueira.
MB: Flávia Rodrigues Pinheiro, Walid Maia Pinto Silva e Seba (ausente).
UFPA: Júlia Clarinda Paiva Cohen (ausente).

Participantes Convidados

INPE: Ariane Frassoni Dos Santos De Mattos, Gilvan Sampaio de Oliveira.

Local, Data e Hora

Plataforma RNP
28 de Março de 2022, das 09:00 horas às 12:00 horas

Link da gravação

https://youtu.be/dKyWDTfTm2w

Repositório das apresentações

https://drive.google.com/drive/folders/1eiy9lXzh2qXtridJhVMvgM1jLrRy2ax4?usp=sharing

Reunião do Comitê Científico do Modelo para Previsão dos Oceanos, Superfícies Terrestres e Atmosfera. Às 09:00 horas do dia 28 de Março de 2022, reuniram-se virtualmente os representantes do INPE (Instituto Nacional de Pesquisas Espaciais), INMET (Instituto Nacional de Meteorologia), UFCG (Universidade Federal de Campina Grande), CENSIPAM (Centro Gestor e Operacional do Sistema de Proteção da Amazônia), USP (Universidade de São Paulo), LNCC (Laboratório Nacional de Computação Científica), UFMS (Universidade Federal do Mato Grosso do Sul), FAB (Força Aérea Brasileira) e MB (Marinha do Brasil) com o objetivo de prosseguir com os trabalhos e discussões do Comitê Científico do Modelo para Previsão dos Oceanos, Superfícies Terrestres e Atmosfera. Esta ata registra a memória da reunião realizada e congrega as informações inseridas no chat, como links e outras informações pertinentes às discussões realizadas. Seguindo a abertura da reunião, conduzida pelos coordenadores institucionais Saulo Freitas/INPE e Pedro Dias/USP, este documento está orientado de acordo com as pautas estabelecidas pelo Saulo Freitas durante a sua apresentação.

Abertura

Saulo Freitas dá as boas vinda aos participantes do 7a. reunião do Comitê Científico do MONAN - Modelo para Previsão dos Oceanos, Superfícies Terrestres e Atmosfera. Lista as pautas da reunião, dentre elas o anúncio do pesquisador Gilberto Bonatti/INMET como novo membro representante do INMET no Comitê Científico (CC) do MONAN, a comunicação do pesquisador Gilvan Sampaio da Coordenação-Geral de Ciências da Terra (CGCT/INPE), uma retrospectiva das ações realizadas até o momento e aquelas que estão em andamento, a apresentação do relatório do subcomitê de Processamento de Alto Desempenho (PAD), o relatório do subcomitê dos oceanos e criosfera e o seminário da pesquisadora Ariane Frassoni/INPE sobre as atividades do Working Group on Numerical Experimentation (WGNE) da World Meteorological Organization (WMO).

Comunicação - Gilvan Sampaio/INPE

Saulo Freitas convida Gilvan Sampaio para atualizar os membros do CC do MONAN sobre os últimos desdobramentos relacionados com a prospecção de recursos financeiros para a realização do projeto MONAN.

Gilvan Sampaio agradece ao Saulo Freitas e cumprimenta os membros do CC. Inicia a sua comunicação com o anúncio da prospecção de um novo recurso para a renovação da infraestrutura de supercomputação do INPE e para o desenvolvimento do MONAN, a partir de um projeto aprovado pela FINEP, de título "Renovação da Infraestrutura de Supercomputação do INPE e sua aplicação no avanço das Previsões e monitoramento do tempo, clima e ambiente no país". Cita algumas das metas do projeto, como a ampliação da capacidade de supercomputação, atualização do sistema de armazenamento de dados, infraestrutura de suporte, uma usina de geração de energia elétrica fotovoltaica associada. Para o MONAN, cita a construção do sistema de acoplamento da modelagem do modelo, envolvendo todas as componentes do sistema terrestre, o desenvolvimento do sistema de operacionalização do modelo no INPE e instituições parceiras em modo de produção para a escala de tempo de horas, dias, subsazonal e sazonal com domínio espacial global e regionalizados sobre a América do Sul e oceanos adjacentes. Complementa informando que o montante dos recursos é de R$ 200 milhões, sendo R$ 60 milhões para o ano de 2022, R$ 50 milhões para o ano de 2023, R$ 45 milhões para 2024 e 2025. Estes recursos são provenientes do Fundo Nacional de Desenvolvimento Científico e Tecnológico (FNDCT), que é não contingenciável e que deve ser executado por já ter sido aprovado. Informa que estes recursos já estão sendo aguardados. Adiciona que já foi estabelecida uma comissão para a especificação do novo supercomputador, entre outras ações. Acrescenta também que para o próximo ano, será aberta uma linha específica para o MONAN dentro do orçamento do INPE. Explica que a ideia é ter um programa específico do MONAN dentro do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), o que deverá ser negociado, de forma que possam ser repassados os recursos financeiros do INPE (a perspectiva é de R$ 5 milhões) pertinentes ao MONAN para a concessão de bolsas de qualquer nível e em qualquer lugar do país onde seja possível o desenvolvimento do modelo (universidades e institutos de pesquisa do Brasil). Outra ação executada refere-se à uma reunião com o representante da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), no âmbito das pesquisas de mudanças climáticas globais. Como resultados desta reunião, destaca que o MONAN pode e deve ser submetido como um projeto temático (na faixa de R$ 30 milhões). Informa que a FAPESP se prontificou em fazer articulações com as outras Fundações de Amparo à Pesquisa dos demais estados (FAPES), a depender também das articulações dos membros do CC do MONAN, como representantes nos seus respectivos estados. Isso é importante pois permitirá que sejam abertas chamadas bilaterais (e.g., FAPESP e FAPEAM). Além disso, há a possibilidade de articulação com outros órgãos internacionais, e.g., Fundo Newton entre outros. Estas ações e articulações podem viabilizar a ampliação do orçamento para o desenvolvimento do MONAN. Ressalta que há outras possibilidades para a prospecção de recursos e que a articulação da comunidade é muito importante. Informa também sobre a Rede Nacional de Meteorologia, cujo decreto está sendo revisto pela Casa Civil e que deve ser publicado em breve. Esse decreto também é importante porque o MONAN é um dos elementos centrais de desenvolvimento e na geração de previsões operacionais.

Pauta 1 - Retrospectiva e Ações

Saulo Freitas agradece a comunicação do Gilvan Sampaio. Dando iniciando a apresentação da Pauta 1, faz uma retrospectiva das reuniões realizadas em 2021. Relembra que o CC foi constituído pelo Diretor do INPE em 8 de abril de 2021, tendo a participação comunitária como uma de suas premissas fundamentais. Cita algumas das instituições participantes como o INPE, INMET, LNCC, INPA, CENSIPAM, Departamento de Controle do Espaço Aéreo (DECEA), Exército Brasileiro EB, Marinha do Brasil (MB) e diversas universidades, entre os seus atuais 35 membros. Relembra que já foram realizadas 6 reuniões do CC, 4 reuniões dos subcomitês (superfície, atmosfera, PAD e oceanos e criosfera). Comenta sobre o Termo de Abertura de Projeto (TAP) do MONAN dentro da estrutura organizacional do Ministério da Ciência, Tecnologia e Inovações (MCTI), que foi aprovado pelo INPE com duração inicial de 10 anos. Cita também o desenvolvimento e aplicação do MONAN como um dos pilares do planejamento estratégico do INPE, o convênio com o European Centre for Medium-Range Weather Forecasts (ECMWF) a partir do qual será possível instalar uma versão do Open Integrated Forecasting System (OpenIFS) para servir de benchmark para o MONAN, além de acesso as séries de dados produzidos pelo centro, seminários e treinamentos. Além disso, o convênio entre o INPE e o ECMWF prevê também o desenvolvimento conjunto de um sistema de visualização de malhas não estruturadas.

Saulo Freitas cita os esforços realizados para a prospecção de recursos financeiros. Além das notícias reportadas pelo Gilvan Sampaio, Saulo Freitas informa que o INPE destinará R$ 1,5 milhões do seu orçamento para a compra de um sistema baseado em Graphics Processing Unit (GPU) para o desenvolvimento do MONAN. Informa que esta máquina será adquirida antes do novo supercomputador, o que deverá auxiliar na prospecção do núcleo dinâmico e físicas para os desenvolvimentos dos modelos componentes do MONAN, não apenas para o INPE mas também para os centros regionais. Informa também que houve uma reunião com o Banco Central e que, embora não tenha havido ainda uma decisão, há a possibilidade de financiamento de pessoal através do Banco Central.

Saulo Freitas cita, durante a retrospectiva das ações realizadas em 2021, a definição do nome do modelo MONAN - Model for Ocean-laNd-Atmosphere predictioN, cujo significado, em resumo, é "terra sem males". Acrescenta que o Luiz Flávio desenvolveu um logo para o MONAN, um símbolo Tupi-Guarani cujo significado é a palavra união. Cita que o logo traz as cores principais que representam as componentes do sistema terrestre (e.g., o verde das matas e o marrom da terra e da areia sobre a superfície terrestre, o azul sobre a superfície oceânica e o céu em suas diversas tonalidades).

Saulo Freitas apresenta detalhes sobre as metas da Ação CT-INFRA 2021, em referência à comunicação do Gilvan Sampaio (título: "Renovação da infraestrutura de supercomputação do INPE e sua aplicação no atendimento das demandas crescentes da sociedade brasileira por melhores previsões e monitoramento do tempo, clima e ambiente"). Cita que dentre as 7 metas, 3 são relativas do MONAN, a saber:

Construção e acoplamento do sistema de modelagem MONAN e testes de estabilidade, eficiência e correção dos resultados;
Disponibilização do código desenvolvido em área pública com acesso livre para a comunidade nacional e internacional;
Operacionalização do modelo comunitário do sistema terrestre MONAN no INPE em escala global e regional para previsão de tempo.

Complementa dizendo que o orçamento total da Ação CT-INFRA é de R$ 200 milhões, com aproximadamente R$ 18 milhões distribuídos entre estas 3 metas, o que deve ser concretizado a partir da contratação de pessoas jurídicas, sendo esta uma condição para a alocação de pessoal para o desenvolvimento do modelo. Um edital deverá ser feito pela FUNCATE onde constarão as demandas de qualificação, nível de formação e experiência dos recursos humanos.

Saulo Freitas comenta também sobre as ações que estão sendo realizadas sobre a reorganização do INPE em torno do programa do MONAN. Cita que é uma tradição no INPE haver vários grupos, cada qual com o seu próprio modelo e que neste tipo de organização, uma dificuldade é a comunicação. Cita que a Divisão de Modelagem Numérica do sistema Terrestre (DIMNT/INPE) está se organizando em torno do modelo MONAN e que os grupos são sendo reorganizados em torno das suas componentes, ao invés de serem organizados por modelos. No âmbito da CGCT/INPE, elenca as divisões e as suas diversas atividade e atribuições (e.g., DIMNT, Divisão de Satélites e Sensores Meteorológicos - DISSM, Divisão de Observação da Terra e Geoinformática - DIOTG, Divisão de Impactos, Adaptação e Vulnerabilidades - DIIAV e Divisão de Previsão de Tempo e Clima - DIPTC) em relação ao desenvolvimento do MONAN. A DIMNT, deverá liderar o esforço em modelagem; a DISSM, deverá liderar a parte de produção de dados, principalmente para alimentar o sistema de assimilação de dados do MONAN; a DIOTG, deverá fornecer os dados necessários para que o MONAN seja o "Digital Twin da Terra" (e.g., Working towards a Digital Twin of Earth), no sentido de que as previsões do MONAN sejam uma representação realista do sistema terrestre; a DIIAV, deverá cuidar da representação das mudanças antrópicas na Terra; a DIPTC, deverá produzir as previsões numéricas do MONAN além de ser o canal de comunicação com o CC através dos relatórios de desempenho do modelo em relação às referências utilizadas no desenvolvimento do modelo. No âmbito da CGCT, os grupos estarão organizados em macrogrupos (e.g., atmosfera, oceanos, PAD etc) e cada um destes macrogrupos correspondem a um subprograma do MONAN, com atribuições e TAP específicos.

Saulo Freitas conclui a primeira pauta da reunião, considerando a situação econômica do país, como um relativo sucesso para o início do desenvolvimento do MONAN, o qual é importante para o planejamento estratégico do país. Convida o Pedro Dias para comentar.

Pedro Dias enfatiza a importância pela busca de auxílio financeiro nas FAPES. Cita que a reunião com a FAPESP mostra que sem um projeto temático ficará mais difícil ter um programa de financiamento específico para o MONAN. Cita também as dificuldades de se buscar financiamento em órgãos tradicionais como o CNPq, cuja contribuição atualmente é muito limitada para programas de nível nacional. Conclui dizendo que os recursos estão nas FAPES e que é fundamental fazer articulações entre elas.

Saulo Freitas complementa dizendo que o subcomitê de superfície liderado pelo Antônio Manzi já possui alguma articulação com o grupo de Santa Maria/RS para fazer um projeto temático.

Enio Souza pergunta para Pedro Dias e Saulo Freitas sobre a documentação necessária para montar uma proposta, diz que já existe alguma experiência entre a FAPE da sua região com a FAPESP. Pedro Dias reponde que o documento enviado para a FINEP poderia ser utilizado por conter muitas informações a respeito do MONAN. Enio Souza questiona sobra a página do projeto onde podem ser encontradas todas as informações sobre o projeto MONAN. Saulo Freitas responde que ainda não houve como fazer uma página devido às diversas articulações que estão sendo feitas no projeto, além da coordenação da DIMNT no INPE. Complementa dizendo que há uma página da DIMNT, mas que ainda não há uma página para o MONAN. Enio Souza sugere que a documentação possa ser reunida pela Fabielle Alves e enviada por email para os líderes dos subcomitês.

Pauta 2 - Relatório do Subcomitê de PAD

Luiz Flávio inicia a sua apresentação sobre os testes iniciais realizados com os núcleos dinâmicos que estão sendo verificados para uso no MONAN. Luiz Flávio informa que há dois grupos dentro do subcomitê de PAD. O primeiro grupo, formado pelos membros natos do INPE - Luiz Flávio, Roberto Souto, Denis Eiras, Eduardo Khamis e Carlos Renato e o segundo grupo, formado por membros transversais. Informa que o grupo tem realizado reuniões semanais com a finalidade de organizar toda a parte relacionada com a infraestrutura de software para o desenvolvimento do MONAN. Informa que foi colocada uma página no GitHub e que esta plataforma foi escolhida por ser adequada às necessidades de desenvolvimento do modelo (plataforma aberta que permite que todos os membros que queiram desenvolver ou verificar o código). Cita que na página constam os padrões que estão sendo desenvolvidos e aplicados nos desenvolvimentos, e.g., critérios de escolha do núcleo dinâmico, padrão de desenvolvimento etc, além da descrição das tarefas de cada grupo do subcomitê de PAD (e.g., codificação e testes). Acrescenta que, neste momento, estes padrões estão sendo definidos e que alguns já se encontram bem definidos, com a colaboração dos membros natos e transversais.

Luiz Flávio apresenta o fluxo de desenvolvimento do MONAN. Informa que este fluxo já está sendo aplicado e que a metodologia de desenvolvimento é baseada no Método Ágil (e.g., Scrum - ainda não está definido). Acrescenta que deverão ser realizados treinamentos nesta área e que estes cursos estão previstos no orçamento do modelo. Todos os envolvidos com o desenvolvimento do MONAN deverão participar dos treinamentos, não apenas o subcomitê de PAD. Ressalta que a participação de todos é importante porque isso deve melhorar as articulações necessárias para o desenvolvimento técnico do modelo. Sobre o fluxo de desenvolvimento do modelo, explica que há um repositório principal e que cada desenvolvedor pode criar um branch (i.e., uma ramificação do código) para realizar os seus próprios desenvolvimentos. A partir desse branch, com os seus desenvolvimentos finalizados, o desenvolvedor faz um pull-request (i.e., uma solicitação de entrega do código) o qual será submetido a um subgrupo de revisão de código. Este subgrupo, de acordo com o documento normativo pertinente à padronização do código, realiza a etapa de revisão. Se forem encontrados problemas relacionados com a escrita do código, o desenvolvedor que fez a solicitação de pull-request é acionado e é orientado pelo subgrupo a depender da complexidade das alterações. Na etapa seguinte, o subgrupo de testes de software, de acordo com o documento normativo pertinente ao padrão de testes, realiza os testes necessários de funcionamento do software. Luiz Flávio explica que nesta etapa, o software é submetido a testes que indicam se o ele produz os resultados esperados. Uma vez aprovado na etapa de testes, o próximo passo é o acionamento do subgrupo de PAD que, de acordo com o documento normativo pertinente ao processamento de alto desempenho, realiza os testes e aferições necessários. Nesta etapa, o desenvolvedor também pode ser acionado para que faça intervenções no seu código, a depender da complexidade dos seus desenvolvimentos. Com a aprovação dos desenvolvimentos propostos, o subgrupo de PAD aciona o subgrupo de versionamento de código que, por sua vez, consolida as modificações no repositório principal do modelo e cria um release candidate. A versão release candidate é então entregue para a operação do centro que irá realizar os testes operacionais do código. Luiz Flávio ressalta que estes testes são importantes, pois é nesta etapa que o código será testado em modo e ambiente operacional de produção, o que difere dos testes realizados nas etapas anteriores. Com a aprovação dos testes da versão release candidate em ambiente operacional, consolida-se a versão como uma release do modelo. Esta é a versão estável que poderá ser utilizada pela comunidade do MONAN para aplicações e outros desenvolvimentos. Além da versão estável do código, poderão existir também versões de desenvolvimento que também poderão ser utilizadas e testadas pela comunidade. Luiz Flávio ressalta que, além dos subgrupos envolvidos no fluxo de desenvolvimento do código do MONAN, há também uma gerência central acompanhará todas etapas do processo de desenvolvimento. Nesta primeira etapa do trabalho, a equipe de PAD está trabalhando com códigos de outros projetos, mas que o interesse é que se tenha o núcleo dinâmico desses projetos mas com as físicas que já foram desenvolvidas no país.

Luiz Flávio comenta sobre o processo de escolha do núcleo dinâmico do modelo. Comenta que foi estabelecida uma metodologia objetiva baseada em critérios de qualidade, funcionalidade, confiabilidade, usabilidade, eficiência e manutenibilidade. Destaca que, em relação à funcionalidade, o Grupo de Avaliação de Modelos, liderado pela pesquisadore Ariane Frassoni, deverá estabelecer quais são os fenômenos e casos a serem reproduzidos pelo MONAN. Os demais critérios, estão sendo aplicados pelo grupo de PAD. Acrescenta que a avaliação da manutenibilidade do código está mais avançada, e que esta avaliação indica o grau de facilidade que se tem para modificar o código. Argumenta que estes critérios são importantes de serem avaliados devido à característica comunitária do modelo, que deve envolver muitas pessoas e que o código deve ser compreensível para todos. A metodologia e os resultados das avaliações, podem ser encontradas em https://github.com/monanadmin/monan/wiki. Outros aspectos destacados pelo Luiz Flávio, envolvem a portabilidade e a confiabilidade. Em relação a estes aspectos, Luiz Flávio destaca a necessidade do código desenvolvido ser capaz de ser executado em CPU (AMD, Intel), Graphics Processing Unit (GPU), máquinas híbridas (que combinam o uso CPUs e GPUs) e vetoriais (e.g., TSUBASA). Além disso, estão sendo verificados também os requerimentos de software, i.e., se o código funciona com MPI, MPICH, oneAPI, OpenMP, OpenACC etc. Ainda no quesito software, há também os compiladores que podem ser utilizados com os códigos, i.e., NEC, Intel, NVIDIA/PGI, GNU e destaca que Intel, NVIDIA e GNU são abertos e que a prioridade é avaliar os códigos com este compiladores. Para os quesitos eficiência e confiabilidade, reporta que foram avaliados os modelos Global Eta Framework (GEF), Finite-Volume Cubed-Sphere Dynamical Core (FV3) e Model for Prediction Across Scales (MPAS). Todos os códigos foram compilados e executados para as avaliações. Entre os modelos citados, o modelo MPAS é o que possui maior pontuação.

Luiz Flávio convida Roberto Souto para a sua parte da apresentação. Roberto Souto, antes de iniciar a sua apresentação, responde à pergunta do Haroldo Fraga sobre se há intenção de se testar a utilização de processadores da arquitetura Advanced RISC Machine (ARM). Luiz Flávio responde que a ideia é testar com todos os processadores disponíveis no mercado e cita que a arquitetura ARM é uma grande concorrente. Acrescenta que ainda não há uma máquina com esta arquitetura disponível para testes, mas que alguns testes poderão ser realizados em máquinas da Fujitsu e da NEC.

Roberto Souto inicia a sua apresentação citando os testes realizados com os modelos MPAS e FV3 em um cluster disponibilizado pela Dell e no supercomputador Santos Dumont do LNCC. Roberto Souto cita que o código do MPAS utilizado está disponível no GitHub e que este código foi utilizado nos testes. Acrescenta que a última release estável mais recente (7.3) não foi utilizada devido a que a versão estável anterior (6.3) é aquela compatível com GPUs. Cita que há um branch da versão 7.x em desenvolvimento para GPUs e que ainda não está estável. Os testes foram realizados para a simulação da atmosfera utilizando processamento por GPU e instruções OpenACC. Os dados utilizados para os testes variaram de resolução horizontal, entre 120 a 10 km. Acrescenta que nos testes, foram aferidos o consumo de memória para cada resolução espacial. Nos testes, cita que houve a limitação do uso de apenas um nó e que esta limitação está sendo verificada. Sobre os testes realizados, considerando a parte atmosférica dos modelos com 30 km de resolução horizontal e 56 níveis verticais (o que requer 92 GB de memória), apresenta comparações entre as execuções do código somente com CPUs e com CPUs e GPUs combinadas. Sobre as configurações dos ambientes de testes, cita que foram utilizados o cluster Rattler da Dell e o supercomputador Santos Dumont. O cluster Rattler possui duas partições, a primeira configurada com 2 CPUs Intel Xeon Gold 6334, com 16 cores e 250 GB de RAM cada e 4 GPUs NVIDIA A100 PCIE (PCIE é um protocolo de comunicação) com 40 GB de memória; a segunda configurada com 2 CPUs AMD EPYC 7543, com 32 cores e 250 GB de memória cada e 4 GPUs NVIDIA A100 SXM4 NVLINK (NVLINK é um protocolo de comunicação mais rápido do que o PCIE) de 40 GB de memória. O supercomputador Santos Dumont foi utilizado a partir da partição Sequana, configurada com 2 CPUs Intel Xeon Gold 6252 com 24 cores e 188 GB de memória RAM cada e 4 GPUs NVIDIA V100 SXM2 com 32 GB de memória. Roberto Souto cita que a quantidade de memória RAM das GPUs é uma característica importante para a execução dos modelos. Em relação aos resultados (Tabela 1), comenta que o tempo de execução do modelo testado foi maior nos testes que consideraram apenas o uso de CPUs, sendo que o melhor desempenho foi obtido com o cluster Rattler utilizando processadores da AMD. Em relação aos testes com GPUs, que desempenharam melhor (i.e., menor tempo de execução) em relação à CPUs, cita que os processadores da NVIDIA foram os melhores, também no cluster Rattler (os resultados dos testes podem ser visualizados a partir do minuto 50'50" do vídeo de gravação da reunião).

Tabela 1 - Benchmark do modelo MPAS-A (30KM_L56, atmosfera) utilizando CPUs e GPUs no cluster Rattler e supercomputador Santos Dumont.

Partição	Arquitetura	MPI ranks	Tempo (s)
Rattler gpuq	CPU Intel Xeon 6334	CPU:16	12.00
Rattler gpuq	GPU A100-PCIE	GPU:4	1.48
Rattler xe8545	CPU AMD EPYC 7543	CPU:16	9.14
Rattler xe8545	GPU A100-SXM4	GPU:4	1.10
SdumontSequana	CPU Intel Xeon 6252	CPU:16	15.28
SdumontSequana	GPU V100-SXM2	GPU:4	2.14

Roberto Souto explica que os testes iniciais foram executados para rodadas curtas e foram aferidos os tempos do passo de tempo da dinâmica do modelo, sem a parte da radiação. Explica que estes testes iniciais foram feitos desta forma devido a que a chamada da radiação não ocorre no mesmo passo de tempo da chamada da dinâmica do modelo quando o processamento é feito por meio de CPUs e GPUs. Acrescenta que apenas a dinâmica é executada em GPUs. Saulo Freitas pergunta para Roberto Souto qual é o passo de tempo da dinâmica do MPAS-A testado. Roberto Souto informa que são 180 segundos.

Roberto Souto, em relação ao código do FV3, informa que foram realizado testes semelhantes pelo Eduardo Khamis/INPE, a partir do código disponibilizado no repositório do GitHub. Relata que os testes foram conduzidos utilizando os sistemas (modelos) System for High-resolution prediction on Earth-to-Local-Domains (SHiELD) e o UFS Short-Range Weather Application (UFS-SRWA). Nos testes iniciais, relata que durante a utilização do container SHiELD no clustes da Dell, houveram problemas de execução e que isso está sendo investigado.

Saulo Freitas agradece a apresentação e cumprimenta o grupo de computação científica pelo trabalho realizado e abra a palavra para os demais membros fazerem as suas perguntas.

Luciano Pezzi comenta sobre os esforços iniciais com o núcleo dinâmico do modelo atmosférico e pergunta sobre os planos para tratar da componente oceânica do MONAN. Comenta que a escolha do modelo para a componente oceânica já deve estar mais avançada, mas que tem dúvidas sobre a escalabilidade e a adaptação dessa componente aos testes computacionais que estão sendo realizados com a componente atmosférica. Acrescenta que tem dúvidas se os códigos da componente oceânica já estão no mesmo patamar de desenvolvimento e testes que a componente atmosférica. Conclui dizendo que se o MONAN é um modelo do sistema terrestres, o desenvolvimento das suas componentes devem estar em sintonia e que é necessário uma estratégia para isso. Outra questão, é sobre qual o tipo de acoplador que será utilizado e que é também necessário ter um profissional da computação dedicado a esta tarefa, o qual deverá também ajudar a direcionar os esforços de desenvolvimento da componente oceânica do MONAN.

Luiz Flávio, comenta que tem mantido contato com a NVIDIA que eles se comprometeram em disponibilizar a equipe de desenvolvedores deles para o que for necessário no desenvolvimento do MONAN. Cita que um ex-pesquisador do National Center for Atmospheric Research (NCAR) foi contratado pela NVIDIA para integrar a equipe de desenvolvimentos da companhia, que está focada em aplicações semelhantes à do MONAN. Complementa dizendo que esta estratégia da companhia é importante para auxiliar a equipe de desenvolvimento do MONAN e que isto deve ajudar também nos desenvolvimentos da parte oceânica do modelo. Por outro lado, comenta que ainda não sabe dizer qual será o acoplador a ser utilizado.

Haroldo Fraga contribui com a discussão dizendo que a proximidade com outras equipes de desenvolvedores, seja de outros modelos, seja da NVIDIA, deverá ajudar o CC do MONAN a identificar as partes que precisam ser desenvolvidas e deve também ajudar a identificar as pessoas que deverão atuar em determinados desenvolvimentos.

Pedro Dias comenta que o Modular Ocean Model (MOM) tem incorporado algumas características do modelo HYbrid Coordinate Ocean Model (HYCOM), e que este deve ser um modelo candidato para representar a componente oceânica do MONAN. Acrescenta que, pelo fato de o modelo MOM ser desenvolvido pelo NCAR, isso também deve facilitar a escolha do modelo para a componente oceânica.

Saulo Freitas argumenta que deve haver uma lista de prioridades que ajude o CC do MONAN nas suas escolhas. Nessa ordem de prioridades, cita que primeiro, o MONAN deve atender as físicas que são necessárias e nas escalas de interesse do projeto; em segundo, a escolha da arquitetura computacional e em terceiro, a forma como será feito o acoplamento entre as componentes do sistema terrestre. Comenta que, seguindo as discussões do subcomitê de oceanos e criosfera, o grupo deve decidir sobre o sistema de modelagem que será utilizado em função das necessidades de representação das físicas que se deseja resolver e nas escalas de interesse. Acrescenta que, na sua visão, o sistema de acoplamento é uma questão tecnológica e que deve ser discutida para que as componentes possam se comunicar de forma harmônica dentro do MONAN.

Pauta 3 - Relatório do Subcomitê de Oceanos e Criosfera

Saulo Freitas convida o Ronald Buss para fazer a sua apresentação sobre as discussões dentro do subcomitê de oceanos e criosfera. Ronald Buss inicia a sua fala citando a criosfera e a sazonalidade dos gelos ártico e antártico, que são processos importantes e que precisam ser compreendidos. Cita que, atualmente, há o consenso de que é melhor trabalhar com área de gelo ao invés da sua extensão, pois é uma variável que não depende do tamanho da grade do modelo e que é estimada por satélites. Em modelos de circulação oceânica, o Brasil possui vários grupos experientes espalhados pelo país e que estes são focados em processos específicos (e.g., processos estuarinos, de plataforma, de transporte e dispersão de hidrocarbonetos ou cedimentos). Em relação à modelagem, sob o ponto de vista climático, aponta que a quantidade de grupos dedicados à esse assunto é ainda menor. Relata que, para a primeira reunião do seu grupo, tentou-se congregar esses grupos e acrescenta que também convidou alguns pesquisadores da Argentina, mas que ainda não puderam participar. Cita que, entre os pesquisadores brasileiros, houve a participação de cerca de 40 pesquisadores. Acrescenta que houve um atraso na realização desta primeira reunião pois havia a necessidade de se esclarecer quais são as prioridades de entregas desta componente para o MONAN.

Ronald Buss relata os principais assuntos tratados na primeira reunião do subcomitê de oceanos e criosfera. Entre os participantes desta primeira reunião, destaca a participação dos grupos do INPE, Universidade Federal do Rio de Janeiro (UFRJ), Rede de Modelagem e Observação Oceanográfica (REMO), Instituto Oceanográfico da USP (IOUSP), Universidade Federal do Maranhão (UFMA), Petrobrás, Universidade Federal de Santa Catarina (UFSC), Universidade Federal do Rio Grande (FURG) e MB. Participaram também da reunião, outros representantes de universidades cujos titulares não puderam comparecer (Universidade Federal de Pernambuco (UFPE), Universidade Federal do Espírito Santo (UFES), Universidade Federal do Paraná (UFPR) e outras universidades). Sobre os assuntos tratados durante a reunião do subcomitê, cita a necessidade de se trabalhar com foco em processos e variáveis em múltiplas escalas de tempo e espaço, a importância dos modelos de ondas, o consenso sobre o conceito do modelo Community Earth System Model (CESM) do NCAR que executa o modelo MOM6 (cita a experiência do grupo liderado pelo pesquisador Paulo Nobre/INPE), sobre a integração dos esforços da Década dos Oceanos, sobre a necessidade de se ter um sistema de assimilação de dados acoplado, sobre o aspecto multi-escalas em um modelo global e regional, sobre a formação de recursos humanos, sobre quem serão os clientes do modelo e sobre a elaboração de um questionário para avaliar as prioridades.

Saulo Freitas, após o relato de Ronald Buss, convida os demais membros do CC do MONAN para a discussão.

Afonso Paiva comenta sobre a possibilidade de fazer uma apresentação sobre a concepção, experiência, realizações e desafios enfrentados pela REMO. Ronald Buss agredece o comentário de Afonso Paiva e cita que há a intensão de que as reuniões do subcomitê de oceanos e criosfera sempre sejam iniciadas com algum seminário sobre os vários assuntos tratados dentro do subcomitê. Comenta que a experiência da REMO é muito importante para o desenvolvimento das atividades dentro do subcomitê. Saulo Freitas acrescenta que é importante que esta apresentação da REMO possa ser feita dentro da reunião do CC do MONAN e que é necessário que os grupos de modelagem atmosférica e oceânica tenha uma comunicação mais próxima.

Luciano Pezzi agradece ao Ronald Buss pelo relato da reunião realizada pelo subcomitê de oceanos e criosfera. Aproveita a oportunidade para reforçar a representação de alguns grupos dentro do subcomitê e cita a participação dos grupos representados pelo pesquisador Clemente Tanajura/UFBA e os pesquisadores Carlos Lentini/UFBA e Luiz Felipe Mendonça/UFBA. Luciano Pezzi, em complemento ao relato de Ronald Buss, elenca alguns dos desafios do subcomitê de oceanos e criosfera, a saber: ondas e feedback com a camada limite atmosférica e o papel das ondas na mistura da camada limite oceânica e cita o pesquisador Alexander Babanin do Natural Ocean Engineering Laboratory (NOEL) como um colaborador e a sua atuação no desenvolvimento desse tema junto ao modelo MOM. Acrescenta que a assimilação de dados é também um dos desafios a serem abordados nas atividades do subcomitê e que será necessária interação com a equipe do subcomitê de assimilação de dados. Comenta que uma das questões a serem tratadas é sobre a forma como a assimilação deverá ser feita no acoplamento entre o oceano e a atmosfera, se de forma separada, i.e., em cada componente separada, ou de forma acoplada, i.e., nas duas componentes acopladas.

Pedro Peixoto, pelo chat, pergunta se o modelo MPAS-Ocean foi considerado nas discussões do subcomitê de oceanos e criosfera. Saulo Freitas, que participou também da reunião do subcomitê, responde que essa versão do modelo não foi considerada nas discussões iniciais do subcomitê. Saulo Freitas aproveita a pergunta do Pedro Peixoto para sugerir ao subcomitê de oceanos e criosfera que considere também este modelo em suas discussões.

João Gerd informa que o subcomitê de assimilação de dados, do qual é líder, está considerando também a componente oceânica nas discussões. Acrescenta que, embora exista a impressão de que a atmosfera é a componente principal das discussões, a componente oceânica está sendo considerada na estratégia de desenvolvimento traçada pelo subcomitê de assimilação de dados. Cita que há um alinhamento com o Clemente Tanajura quanto às discussões sobre o tema e que inclusive há planos para aproximar a sua atuação junto ao CPTEC, a fim de promover a integração entre os grupos de trabalho da atmosfera e oceano no tema assimilação de dados. Ronald Buss comenta que também conversou com os pesquisadores Natália Ruddorf/INPE e Luiz Sapucci/INPE sobre a assimilação de dados de satélites sobre o oceano. Comenta também sobre a utilização de dados observacionais provenientes de acordos institucionais em estudos de validação de modelos, a qual se constitui como uma atividade rotineira, e a utilização desses dados no âmbito das atividades operacionais, o que não é bem estabelecido no âmbito do INPE. Acrescenta que Luiz Sapucci já tem dialogado com a MB para que dados provenientes de acordos institucionais possam ser utilizados também nesse âmbito. Luciano Pezzi também comenta sobre as informações prestadas pelo João Gerd, que é importante a troca de experiências e que se dispõe a discutir os diferentes aspectos da assimilação de dados com esse subcomitê.

Luciano Pezzi comenta sobre a sua experiência em assimilação de dados com o Local Ensemble Transform Kalman Filter (LETKF) e o custo computacional associado a ele. Cita experiências passadas no uso do LETKF e sobre as incertezas e possibilidades sobre o uso dos algoritmos de assimilação de dados para a componente oceânica do MONAN. João Gerd comenta sobre os trabalhos desenvolvidos em assimilação de dados pelo pesquisador Clemente Tanajura e como o subcomitê de assimilação de dados pode aproveitá-los. Cita também a integração do modelo MOM6 com o sistema Joint Effort for Data assimilation Integration (JEDI) e como estas experiências podem ser integradas e aproveitadas para o desenvolvimento do MONAN.

Joaquim Costa comenta sobre a sua atuação na área de clima espacial e sobre como esta área pode ser relacionada com a verticalização dos modelos meteorológicos e as interações entre a atmosfera neutra e ionizada. Saulo Freitas acrescenta que as discussões do CC do MONAN precisam incluir os aspectos do espaço superior e que é necessário trazer mais representantes dessa área para melhorar as discussões. Joaquim Costa complementa dizendo que há discussões em andamento para a realização de um workshop com pesquisadores que trabalham com a verticalização dos modelos.

Saulo Freitas convida a Flávia Pinheiro para comentar a apresentação do Ronald Buss. Flávia Pinheiro argumenta que a componente oceânica pode não requerer um esquema de assimilação de dados muito complexo, tal como relatado pela experiência do Luciano Pezzi. Cita que o modelo HYCON utiliza o esquema simples de Interpolação Ótima e que este é uma esquema que tem apresentado bons resultados. Esquemas mais complexos e que requerem maior poder computacional, tal como os esquemas baseados em ensembles (i.e., conjuntos), são necessários para os modelos atmosféricos devidos às mudanças rápidas da atmosfera. Isso requer atualizações das matrizes de covariâncias dos modelos, as quais podem ser calculadas a partir dos membros do ensemble. Outros esquemas como o 4DVar também requerem um modelo adjunto e a sua atualização, o que também aumenta a complexidade da assimilação de dados. Flávia Pinheiro acrescenta que a assimilação de dados acoplada em modelos oceano-atmosfera é um grande desafio e que este tópico ainda é um tema de pesquisa e que é necessário melhorar a interação entre os grupos de pesquisa e desenvolvimento nas áreas de modelagem atmosférica e oceânica.

Afonso Paiva comenta sobre os temas de modelagem oceânica e assimilação de dados. Comenta que o sistema de assimilação de dados que utiliza em seu grupo de trabalho é ainda mais simples do que aquele utilizado pela REMO. Destaca que, quando se diz que os resultados obtidos com o esquema de assimilação de dados obtidos pela REMO são bons, quer dizer que são bons para os objetivos que foram traçados pelo REMO, i.e., previsão de curto período. Destaca que o modelo oceânico deve ser considerado sobre o mesmo patamar de importância que o modelo atmosférico, não apenas no quesito complexidade, mas também quanto aos objetivos. Complementa dizendo que, da mesma forma como se está buscando o melhor modelo, deve-se buscar também pelo melhor sistema de assimilação de dados. Acrescenta que os modelos MOM e HYCOM possuem também sistemas de assimilação de dados e que eles podem ser considerados nesse processo, visando não apenas os mesmos objetivos que a REMO, mas também os novos objetivos a serem traçados para pelo MONAN.

João Gerd argumenta que o sistema de assimilação de dados a ser escolhido possui dependência quanto aos tipos de dados a serem utilizados no processo de assimilação. Flávia Pinheiro comenta que uma possibilidade são os sistemas baseados em ensembles e que os sistemas variacionais podem ser mais complicados no futuro. Luciano Pezzi comenta que a sua experiência com o LETKF não foi ruim, mas que apenas não alcançou o desempenho esperado. Carlos Bastarz, pelo chat, acrescenta que a decisão pelo tipo de sistema de assimilação de dados a ser adotado depende dos tipos de observações que se pretende assimilar e que os sistemas mais simples não são necessariamente piores do que aqueles mais robustos, como os variacionais, mas que atendem a aplicações específicas.

Pedro Dias comenta que a escala de tempo a ser considerada no oceano e na atmosfera é um fator importante e que o acoplamento entre oceano e atmosfera é dependente desse fator. Argumenta que as previsões do MONAN são para o sistema terrestre, i.e., não apenas para o oceano ou apenas para a atmosfera. Complementa dizendo que é muito difícil apontar qual é o melhor ou o pior sistema devido à esses fatores. Acrescenta que o sistema a ser escolhido deve ser aquele mais viável para determinadas aplicações e que os sistemas baseados em ensembles são mais atrativos.

Haroldo Fraga comenta que um sistema de previsões operacional, como se pretende para o MONAN, deve possuir um sistema de assimilação de dados e que ele deve ser dominado pelos desenvolvedores. Acrescenta que quando um novo tipo de observação é disponibilizado, a equipe deve ser capaz de incluí-lo no processo de assimilação de dados. Cita o exemplo do modelo Sheffield University Plasmasphere-Ionosphere Model SUPIM de previsão da dinâmica da ionosfera que funciona com o método de nudging (Relaxação Newtoniana), que foi um dos primeiros esquemas de assimilação de dados a serem estabelecidos. Sobre os resultados apresentados pelo Roberto Souto, questiona sobre os testes terem sido feitos sem a radiação do modelo. Luiz Flávio responde que a radiação utilizada no modelo MPAS é o Rapid Radiative Transfer Model for GCMs (RRTMG) e que ela ainda não foi portada para GPUs e que a NVIDIA tem trabalhado nisso.

Outros Assuntos

Saulo Freitas comenta com Gilberto Bonatti sobre a necessidade de se discutir o MONAN no âmbito do INMET e trazer as necessidades e requerimentos do INMET para discussão no CC.

Ariane Frassoni apresenta rapidamente um levantamento dos grupos de assimilação de dados reportados à OMM quanto aos tipos de sistemas de assimilação de dados oceânicos operacionais em uso (válido para o ano de 2017). Cita que existe um projeto liderado pelo ECMWF que visa compreender os erros sistemáticos dos modelos associados à inicialização oceânica. Complementa dizendo que mais informações sobre esse projeto podem ser encontradas no site do WGNE.

Pedro Dias comenta sobre a qualidade das discussões que tem ocorrido durante as reuniões do CC. Comenta que a quantidade de pessoas participantes do CC é ainda pequena em relação aos requerimentos que já foram elencados para o desenvolvimento do MONAN, mas que há a expectativa de que, à medida em que as discussões e os desenvolvimentos seja feitos, haverá o engajamento de mais pessoas. Cita que o tema de assimilação de dados acoplada é ainda um tema novo e que deve ser possível incluir mais pessoas, principalmente durante a formação de pessoal nos programas de pós-graduação. Acrescenta que o tema de assimilação de dados é importante e que os programas de graduação ainda não estão completamente preparados para a formação dos alunos nessa área. Nesse aspecto, comenta que é também um papel dos membros do CC prepararem seus alunos para que possam atuar na área.

Haroldo Campos anuncia um minicurso em assimilação dados a ser oferecido durante a segunda semana de julho de 2022.

Ações Para a Próxima Reunião

Solicitar à Fabielle Alves o envio da documentação do MONAN (projeto enviado para a FINEP) para que os líderes dos subcomitês possam reunir as informações necessárias para as suas articulações com as FAPES;
Identificar as necessidades de desenvolvimentos das componentes do modelo e as possibilidades de colaboração com outras equipes de desenvolvimento (i.e., outros modelos e companhias como a NVIDIA);
Apresentação do pesquisador Afonso Paiva sobre o histórico, atividades, estratégias e experiência em modelagem da REMO para o CC do MONAN;
Propor a inclusão de outros representantes do clima espacial para colaborar nas discussões entre a atmosfera superior inferior;
Apresentação da pesquisadora Ariane Frassoni sobre as atividades no WGNE/WMO.

Anexos