Atividades de Planejamento

• Revisão do planejamento estratégico 2024 e plano de trabalho para 2025/1.  
• Preenchimento e submissão do relatório anual referente ao ano fiscal americano de 2024 à colaboração LSST com todo o plano de trabalho do IDAC Brasil para 2025;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Reuniões com a firma Laniaq Inc. para planejar a instalação e a configuração do novo servidor de banco de dados do IDAC Brasil;
• Contratação da firma Timbira especializada em bancos de dados PostgreSQL com o objetivo de assessorar o time de infraestrutura na implementação da solução de banco de dados do IDAC Brasil;
• Agendamento da visita dos técnicos da FINEP para a vistoria dos equipamentos financiados pelo projeto APLSST;
• Contratação do serviço especializado de suporte e garantia junto à Binário/Juniper para o equipamento roteador Juniper ACX7024
• Continuação das tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe de suporte à e-Ciência da RNP e do POP-RJ;
• Reuniões com a firma Unitech/Dell para alinhamento sobre a extensão do contrato de garantia e suporte dos servidores que compõem a solução Lustre FS após o fim do período de garantia dos equipamentos;
• Solicitada a adesão do LIneA ao sistema RNP para atender aos requisitos do registro.br para a aquisição do Sistema Autônomo de Números (Autonomous System Number);

Redes e Segurança

• Concluída a primeira etapa de homologação da integração do sistema de autenticação e de autorização do IDAC Brasil aos sistemas do Rubin Observatory em ambiente de homologação;
• Finalizada a atualização da solução de scanner de vulnerabilidades OpenVAS visando manter o ambiente mais seguro e em conformidade com o conjunto de normas SIRTFI, necessárias para atender aos requisitos de uso do integrador de provedores de identidades CILogon;
• Atualizações em diversos servidores e sistemas para corrigir vulnerabilidades identificadas pelo scanner OpenVAS;
• Implementação de um novo web proxy na infraestrutura do POP-RJ e alteração nas regras de segurança do firewall com o objetivo de tornar o acesso às aplicações mais seguro a partir da internet;

Gerenciamento de dados

• Instalação e configuração da instância de homologação do Apache-Nifi utilizando containers docker com acesso ao sistema de arquivos t0 e t1 do Lustre;
• Definidos os requisitos básicos para o desenvolvimento do principal pipeline de fluxo de dados para o projeto Photo-Z utilizando a solução Apache-Nifi;

Apoio ao usuário

• Realizados quarenta atendimentos aos usuários via sistema de chamados;
• Finalizado o desenvolvimento da primeira versão da aplicação para automatizar o envio de vídeos das gravações de reuniões para a plataforma Youtube;
• Realizada reunião de alinhamento para definição do escopo do apoio do time de infraestrutura ao projeto IMANGA. Iniciadas as tratativas para a transferência de dezenas de terabytes de dados através da plataforma Globus e do servidor DTS do LIneA;

Operação e projetos

• Continuação das atividades de planejamento e documentação para a reestruturação do cluster ICEX;
• Iniciada a primeira etapa de reinstalação da nova versão do sistema operacional EL8 e do software HPCM no cluster ICEX;
• Reorganização dos cabos da rede infiniband EDR no rack R7C, no CPD do LNCC, em preparação para a instalação do novo servidor de banco de dados do IDAC Brasil;
• Migradas diversas aplicações de infraestrutura para containers docker;
• Finalizada a migração dos servidores de nomes de domínio (DNS) do LIneA para o EL9, tendo sido melhorados diversos aspectos de segurança incluindo a utilização do SELinux. Além disso, foram configuradas zonas específicas para as redes privadas incluindo a disponibilização de um servidor interno dedicado a elas;
• Recuperação dos volumes de armazenamento da storage IS5600 com a instalação de discos sobressalentes;
• Iniciado o planejamento para atualização do atual sistema de gerenciamento de virtualização Proxmox;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Customização da página de erro de login devido a usuário não autorizado 
• Definição de requisitos para o novo pipeline de automatização e paralelização da criação de imagens HIPS 
• Ativação da ferramenta Google Analytics para monitoramento de tráfego de usuários. 
• Revisão da lista de datasets disponíveis e remoção de conjuntos de dados obsoletos do menu do Sky Viewer 
• Correção de bug na consulta de metadados ao COmanage 
• Início do desenvolvimento do novo Sky Viewer – integração da nova versão do software Aladin com a interface do Science Server (em andamento)        
• Correção de bug no trigger que libera a permissão para leitura das tabelas recém-criadas no MyDB com a ferramenta User Query, para que sejam acessíveis pela plataforma Jupyter Hub através da biblioteca Python dblinea. 
• Atualização do Jupyter notebook de tutorial 2_acesso_a_dados.ipynb com um exemplo de acesso a tabelas do MyDB criadas pelo usuário no User Query. 
• Publicação dos dados do levantamento 2MASS no TAP Service do LIneA  

Portal SSO

• Continuação no desenvolvimento do serviço de subscrição criando novas funções no backend e corrigindo bug no frontend;
• Atualização da documentação do usuário para o uso do Portal Web;
• Atualização do frontend na página inicial para refletir todas as implementações do último release;
• Continuidade na produção do artigo científico envolvendo o portal;
• Inclusão e execução da classe Near-Earth Asteroids – NEAs (ou Near-Earth Objects em outras nomenclaturas);
• Inclusão de caching e atualização do frontend para melhorar a experiência do usuário em função do considerável aumento de predições devido aos NEAs.

Photo-z Server

• Melhorias nos arquivos de log da Orchestration com a adição de informações provenientes do Celery Beat 
• Upload do catálogo de redshifts espectroscópicos de galáxias provenientes do survey DESI (EDR) no PZ Server. 
• Confeção de QA notebook de caracterização da amostra DESI EDR.  
• Correção de bugs na checagem da finalização de processos dos pipelines do PZ Server.  
• Implementação da página de submissão do pipeline Training Set Maker   

Photo-z Compute

• Confecção de 5 Jupyter notebooks para investigação de possíveis objetos duplicados no catálogo simulado do LSST, usando ferramentas de HPC para inspeção do conjunto completo de dados armazenados no Lustre.  
• Escrita de manual para o usuário sobre os sctipts individuais (de treinamento e estimativa do pz-compute e de scripts auxiliares de pré e pós-processamento). 
• Manual de como adicionar um novo algoritmo de photo-z no pipeline pz-compute. 
• Testes de escalabilidade com o algoritmo LePhare.    

Comunicação, Divulgação e Educação:

• Notícias:
  • Afiliados ganham posições de destaque no DESC
  • LIneA Science Server operado pelo LIneA
  • Jovem pesquisador do BPG é selecionado para participar presencialmente do DESC Sprint week
  • Membros do BPG participam da XLVII reunião da SAB
  • LIneA na Mídia: mais de 70 notícias abordam o maior projeto da astronomia para a próxima década
  • Highlights do curso de Jupyter Notebook 
  • Aviso de manutenção
• Evento bolsistas INCT:
  • organização do evento (dia, hora, slides)
  • contato com bolsistas
  • aplicação do evento dia 14 e 15 de outubro
• Relatório INCT:
  • ajuste das últimas pendências
  • envio para diagramação
  • criação de repositório para imagens
  • finalização da parte escrita do relatório
• Semana Nacional de Ciência e Tecnologia
  • Criação da arte
  • Divulgação das atividades
  • Atividades
    • Breve manual da divulgação científica para astronomia (14/10)
    • O fim do mundo (15/10)
    • Mesa redonda: a diversidade da astronomia (16/10)
    • [curso] Análise de dados: incidência de dengue no Brasil (17/10)
    • Os astrônomos respondem (18/10)

Comunicação:

• Revisão de textos/notícias diversas
• Revisão do relatório INCT

Divulgação Científica:

• Chegada da Primavera
• Nossas redes sociais
• Prêmio Nobel
• Brasileiro dá entrevista para a NASA
• Dia dos professores
• NASA lança maior sonda planetária

Curso: 

•  Aplicação do curso Jupyter Notebook
•  Validação do curso Análise de Dados: incidência de dengue no Brasil
• Aplicação do curso Análise de Dados: incidência de dengue no Brasil
• Desenvolvimento do curso Python + Banco de dados
• Material adicionado ao Classroom: Jupyter e Análise)
• Certificados Jupyter Notebook

Site:

• Reunião de alinhamento com o desenvolvedor web
• Entrega parcial das pendências do site
• (re)introdução das publicações retiradas do site 

Atividades Gerais e de Planejamento

• Preparação de relatório final do INCT;
• Preparação de Plano de Trabalho para o ano Fiscal 2025 a ser submetido ao Rubin Observatory;
• Planejamento operacional para primeiro semestre de 2025;
• Entrevistas à imprensa; 

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Contratação da firma A3 Tech para a manutenção no piso elevado e organização dos cabos de rede nos switches;
• Iniciadas as discussões com a equipe do GidLab/RNP acerca do uso dos protocolos de autenticação e autorização OIDC e OAuth2 necessários para a integração do IDAC Brasil ao LSST;
• Em andamento o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;
• Contratação de um engenheiro de dados via bolsa CNPq para apoio no uso da solução Apache-Nifi e no desenvolvimento de pipelines de fluxos de dados;
• Recebimento no LNCC de parte dos novos equipamentos adquiridos pelo INCT do e-Universo para o IDAC Brasil: roteador ACX7024 (Juniper), servidor de banco de dados (Laniaq Inc.) e dois servidores de serviço do cluster Apollo (HPE Proliant DL360);
• Iniciadas as tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe do POP-RJ;

Gerenciamento de dados

• Provisionada infraestrutura virtualizada para a instalação do Apache Nifi e o desenvolvimento e testes dos fluxos de dados;

Apoio ao usuário

• Realizados mais de trinta atendimentos aos usuários via sistema de chamados, incluindo office hours de suporte;
• Validado o processo de criação de kernels python no Jupyter Notebook via Open OnDemand, visando a melhor experiência do usuário com a plataforma. Também foi desenvolvida e liberada a documentação de uso no site docs.linea.org.br;  

Operação

• Atualizações do firmware das controladoras e dos discos das storages ME4024 e ME4084 que compõem o Lustre FS, com o objetivo de corrigir falhas e problemas de segurança;
• Início das atividades de planejamento e documentação para a reestruturação do cluster ICEX. Também foi realizada a verificação das conexões físicas das redes ethernet e infiniband;
• Validação das configurações de cópia de segurança e de restauração de dados visando garantir a recuperação do ambiente de registro de usuários e do website;
• Provisionamento de ambiente para a instalação e testes da plataforma Dataverse;
• Reinstalação e configuração do ambiente do Jupyter Hub para corrigir erros no provisionamento dos servidores Jupyter Notebook;
• Realizado o InfraDay #15 com a migração dos servidores sistemas de DNS para o novo Rocky Linux 9.4;

Redes e segurança da informação

• Finalizada a reinstalação e configuração do servidor DTS, incluindo a habilitação do sistema de transferência de dados Globus integrado à autenticação federada do LIneA via CILogon;
• Implementados os endpoints de homologação e produção no SATOSA para a integração dos sistemas de autenticação e autorização do IDAC Brasil ao sistema do Observatório Rubin (LSST). Também foi solicitado o registro desses endpoints à equipe do LSST;
• Iniciada a avaliação para o desenvolvimento de uma solução para lidar com a autorização dos direitos de acesso a dados do LSST;
• Troca das placas do piso elevado que fica embaixo dos racks do LIneA, pois estavam cedendo, o que impedia a colocação de novos equipamentos nos racks;
• Aplicação de patches de segurança em vários servidores para corrigir problemas de segurança identificados pela ferramenta de detecção de vulnerabilidades;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

• Deploy do Science Server e User Query no ambiente de produção.
• Padronização do rodapé igual ao site institucional em todas as plataformas, com links para redes sociais e agências de fomento.  
• Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
• Atualização da página de contato com email para helpdesk; 
• Setup inicial do repositório do novo Sky Viewer que será feito baseado na nova versão do Aladin com instalação e configuração do Django e Django Rest, React, Nginx e update do Node. 
• Registro de catálogos para overlay no Sky Viewer (antigo) 
• Atualização das páginas de resumo sobre os surveys DES, Gaia e 2MASS no User Query e dos metadados sobre as tabelas (colunas, UCDs, etc) 
• Habilitação do serviço TAP (table access protocol) para acesso remoto aos dados hospedados no LIneA via API 
• Documentação para o usuário com exemplos de uso no User Query e TAP service
• Atualização da página inicial do User Query (padronização banners plataformas LIneA)   

Photo-z Server

• Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
• Atualização de pacotes e dependências 
• Finalização do deploy da aplicação no ambiente de testes no novo servidor srvorch-dev – integração do PZ Server com a Orchestration 
• Atualização da página de documentação 
• Correção de bug na função de atualizar os metadados de um data product 
• Início da preparação para a implementação de login federado via CILogon com SAML2 e autorização via Rubin Authorization API for IDACs (em andamento) 
• Integração do pipeline Training Set Maker com a biblioteca Python pzserver para disparo de processos via Python scripts 
• Adaptação dos catálogos fotométricos de entrada do PZ Compute (skinny tables) para alimentar também os pipelines de x-matching 
• Container que consome rabbitMQ para registrar o produto dos pipelines como novos data products no PZ Server
• Nova classe que faz requisições na orchestration para lidar com tokens expirados 
• Correção de bug no suporte a tabelas no formato CSV no pipeline Training Set Maker 
• Correção de bug  – falha no carregamento do arquivo HTML auxiliar de descrição de um data product no PZ Server 

Photo-z Compute

• Finalização da implementação do suporte ao algoritmo LePhare (rail-lepahre) 
• Script para automação da conversão de tabelas em formato HIPSCat em paralelo no cluster usando DASK 
• Expansão da flexibilização do pipeline pz-compute com a possibilidade de entrada de parâmetros de configuração via arquivo YAML para todos os cinco algoritmos.  
• Script para seleção randômica de objetos e criação de conjunto de treinamento representativo nos dados de simulação em paralelo no cluster usando DASK 
• Scripts de checagem de resultados 
• Finalização do script de preparação de dados de entrada com correção da extinção da Galáxia. 
• Início do testes de validação usando a plataforma Open OnDemand 
• Finalização do pipeline pz-compute em produção e respectivas documentações para o desenvolvedor e para o operador.   
  

Comunicação, Divulgação e Educação:

• Notícias:
  • InfraDay #15
  • Cientista de dados do LIneA participa de entrevista em programa da Record
  • Aviso de manutenção na infraestrutura
• Relatório INCT:
  • Revisão do texto
  • Inclusão de informações
  • Inclusão de novos tópicos
  • Atualização da planilha financeira
• Evento: Explorando o Portal do Solar System LIneA
• Organização de informações sobre o BPG (
  • PIs, instituições e e-mails;
  • mapa com alcance nacional
  • logo das instituições
• Vídeo INCT
  • Pedido de modificações
  • Entrega do vídeo
• Criação de novas redes sociais (Blue Sky e Threads)
• Organização para SNCT 2024
• Colaboração com ajustes para o documento BPG-LSST enviado ao Ministério
• Envio de e-mail aos bolsistas: prorrogação do INCT do e-Universo

Comunicação:

• Curadoria das informações que saíram na mídia (agosto)
• Revisão das notícias
• Revisão do relatório do INCT

Curso: 

• Validação do curso de Jupyter Notebook
• Lançamento do curso de Jupyter
• Envio das instruções para os interessados no curso de Jupyter
• Envio dos certificados referente ao curso “Desenvolvendo Software Científico”

Divulgação Científica:

• 25 anos do Observatório Chandra
• Noite internacional de observação da Lua
• É um pássaro ou avião? Não, é o cometa do ano!
• Início da primavera

Site:

• Contratação de um desenvolvedor web (18/09) para implementação de melhorias e ajustes.
• Inclusão de documentos na página “Documentação”
• Criação da página “LIneA News”
  • Inclusão de notícias 2024
  • Inclusão de notícias dos anos anteriores
• Atualização das publicações de 2024
• Revisão e atualização das publicações entre 2017 a 2008

Atividades Gerais e de Planejamento

• Entrevista com vários veículos de comunicação para divulgar a assinatura do acordo entre o LIneA e o laboratório SLAC da Universidade de Stanford.
• Validação do vídeo sobre o INCT do e-Universo que completa a divulgação do trabalho sendo feito pelo INCT e LIneA e apresentando o IDAC do LSST.
• Preparação do relatório final do INCT do e-Universo descrevendo seu apoio ao LIneA.
• Visita ao datacenter (LNCC) no dia 21/08/2024 para verificação de algumas atividades, incluindo:

• Confirmação da capacidade de suporte de peso do piso no datacenter;
• Verificação da capacidade de energia das PDUs em outro rack;
• Validação das conexões do firewall.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

• Foram realizadas entrevistas para contratação temporária de um engenheiro de dados para assessorar o time na implementação da nova arquitetura de dados e no desenvolvimento de fluxos de dados com Apache-Nifi;
• Foram realizadas reuniões com o time de suporte à e-ciência da RNP para discutir melhorias na infraestrutura de rede local;
• Foram realizadas reuniões de alinhamento com a firma Laniaq Inc. e visita ao datacenter, para tratar do plano de instalação do novo servidor de banco de dados;
• Foi realizada reunião com as equipes do LNCC e do POPRJ para tratar da reestruturação da rede externa e da troca de blocos IPv4 entre o LIneA e o LNCC;
• Foi realizada reunião de alinhamento com o time de infraestrutura da UNESP sobre a solução Rucio para a transferência de dados entre o IDAC brasileiro e o LSST;
• Foi iniciado o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;

Gerenciamento de dados

• Foi finalizada a reestruturação dos diretórios para os dados do DES com o objetivo de preparar o ambiente para uso das plataformas Science Server e User Query;
• Levantamento de informações e contato com stakeholders no LSST para viabilizar o download de conjuntos de dados;
• Download da tabela MatchesTruth a partir do repositório do LSST no Google Cloud;
• Movimentação de dados do LSST no Lustre e organização dos datasets do LSST;  
• Foi implementado acesso ao banco de dados de catálogos para a plataforma User Query para os dados DES, incluindo o desenvolvimento e a implementação de códigos para a automatização das permissões de uso no PostgreSQL;

Apoio ao usuário

• Foi implementado no ambiente de produção o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google;
• Está em desenvolvimento e em testes uma ferramenta que automatiza o upload de vídeos para o canal do do LIneA no Youtube.
• Realizados ajustes nas configurações de parâmetros do escalonador de jobs Slurm, visando a melhor performance dos jobs no cluster Apollo. 
• Foram implementadas melhorias no formulário de triagem para registro de novos usuários incluindo versões em inglês em português;

Operação

• Realizada a atualização e o re-provisionamento das imagens dos nós de computação do cluster Apollo;
• Foi realizada a reconfiguração de quotas de usuários nos sistemas de arquivos de armazenamento temporário (T0) e nos diretórios pessoais; 
• Foram incluídos novos sistemas no servidor de cópias de segurança incluindo testes de restauração para validar as cópias;
• Foram iniciados testes para a completa atualização dos sistemas de servidores de nomes de domínio (DNS) do LIneA para o Rocky Linux 9;

Redes e segurança da informação

• Foi finalizada a organização do inventário de blocos de endereços de redes utilizados pelo LIneA no LNCC e no POPRJ;
• Foi iniciada a instalação e configuração da versão mais atual da solução de scanner de vulnerabilidades OpenVAS para manter o ambiente em conformidade com o conjunto de normas SIRTFI;
• Foram iniciados testes com a nova solução de firewall OPNSense incluindo mudanças na configuração lógica das redes virtuais;
• Foi iniciada a atualização do sistema da antiga DTS com o objetivo de habilitar o ambiente para testes com a solução de transferência de dados Rucio, adotada oficialmente pelo LSST;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

• Correção de bug no botão de download de imagens FITS a partir do Science Server. 
• Padronizações na aparência das páginas do Science Server e User Query – adequação à identidade visual do novo site com links para as redes sociais.     
• Implementação de página de erro de autenticação ou autorização em conformidade com a identidade visual para informar o usuário em caso de falha no login.
• Remoção de funcionalidades obsoletas no Target Viewer (rating/reject, menu de permissão). 
• Implementação da visualização do mapa de sistemáticos “fração de detecção” nas 5 bandas. 
• Validação científica das imagens DES DR2. 
• Atualização da aplicação para adequação ao novo serviço de autenticação CILogon com mudanças no provedor de metadados. 
• Escrita de documentação de apoio ao usuário com exemplos de uso do User Query. 
• Revisão e melhorias nos textos sobre os levantamentos DES, Gaia e 2MASS.
• Reinstalação total do ambiente de testes, início da preparação para instalação do ambiente de produção.
• Investigação de possíveis soluções para reduzir o tempo de carregamento das imagens HIPS no Sky Viewer.  
• Atualização do jupyter notebook de tutorial com exemplos de acesso aos dados gerados no User Query através do JupyterHub.

Photo-z Server

• Deploy do serviço de orquestração de processos submetidos pelas aplicações no cluster no novo servidor srvorch-dev – integração do serviço com a aplicação PZ Server (em andamento).
• Desenvolvimento de método para criação de training sets simulados a partir da seleção de amostra no sistema de arquivos Lustre. 
• Implementação da primeira versão do pipeline Combine Spec-z Catalog. 
• Testes de cross-matching com LSDB usando dados do LSST DP0.2 

Photo-z Compute

• Implementação de parâmetros de configuração específicos dos algoritmos FlexZBoost e GPz. 
• Adaptação do “prepare-pz-tests” para o novo scheduler Slurm, para preparar processos executados em produção com controle de proveniência
• Notebooks de controle de qualidade dos dados de saída e de estatísticas resumidas – em andamento. 
• Notebooks de controle de qualidade dos dados de entrada com exibição de propriedades dependentes da região no céu (mapas) – em andamento. 
• Suporte para leitura de arquivos de entrada no formato hipscat adicionado
• Atualização da documentação para o desenvolvedor com instruções para as duas configurações diferentes: modo de desenvolvimento e modo de produção.

Solar System:

• Serviço de subscrição:
  • Implementação do registro e autenticação de usuários sem uso de senha (passwordless).
  • Conclusão da implementação e revisão de banners, telas, e templates de email.
• Implementação de incertezas nas predições enviadas para homologação:
  • Cálculo de incertezas nas predições, tanto temporal quanto espacial, foi implementado.
  • Correção de falhas nas predições para Plutão e asteroides com caracteres especiais no nome.
  • Implementação de novas métricas, como a fração iluminada da Lua durante os eventos.
• Links persistentes
  • Em fase de testes, foi implementada uma solução para identificadores que resistem a pequenas atualizações nas predições, garantindo a permanência dos identificadores no banco de dados.
• Curso sobre o portal
  • Desenvolvimento continuado de uma biblioteca Python a ser utilizada no curso.
  • Estrutura e slides do curso foram elaborados e revisados.
• NIMA: calculador de efemérides
  • Testes realizados com o NIMA para assegurar sua futura implementação na refatoração do serviço.
• 
  

Comunicação, Divulgação e Educação:

• Notícias:
  • Panorama dos inscritos e participantes no curso “Fundamentos de Banco de Dados”;
  • Notificação de interrupção nas plataformas científicas (problemas no LNCC);
  • Panorama dos inscritos e participantes no curso “Desenvolvendo Software Científico”;
  • InfraDay #14;
  • Observatório Vera Rubin: Instalação do espelho secundário é concluída;
  • Rubin Community Workshop 2024: estudantes membros do LIneA apresentam trabalhos.
• Relatório INCT:
  • Colaboração com informações para o texto
  • Imagens diversas
  • Revisão de planilhas
• Vídeo INCT:
  • Recebimento do vídeo em 21/08
  • Revisão e solicitação de mudanças em 21/08
• SNCT 2024:
  • Envio de e-mail informando sobre a SNCT e convidando colaboradores a propor atividades.

Comunicação:

• Envio da matéria sobre a participação brasileira no projeto LSST à FAPERJ.
• Organização dos textos para notificação dos usuários sobre a mudança na forma de registro no LIneA (CAFe > CILogon).

Curso: 

• Desenvolvendo Software Científico:
  • Validação do curso (29/07)
  • Inscrições para o curso de 30/07 a 9/08
  • Aplicação do curso em 15/08
  • Material adicionado ao Google Classroom
• Fundamentos de Banco de Dados
  • Lembrete aos participantes do formulário
  • Produção dos certificados
  • Envio dos certificados
  • Material adicionado ao Google Classroom
• Planejamento para o curso de Jupyter Notebook

Divulgação Científica:

• O observatório Rubin vai caçar anãs brancas
• Que tipo de torcedor é você nas Olimpíadas?
• Instalação do espelho secundário do Rubin Observatory
• Especial dias dos pais
• Você sabe como achar exoplanetas?
• Superlua (agosto)
• Há 18 anos Plutão deixava de ser um planeta

Site:

• Entrevista com desenvolvedores
• Proposta de projeto para pendências existentes do novo site
• Ajuste em links quebrados (página de documentos)
• Glossário:
  • Finalização da revisão pela bolsista
  • Organização da planilha
  • Auxílio nos termos com dúvida (em andamento)

Atividades Gerais e de Planejamento

• Preenchimento da planilha para solicitar prorrogação do INCT do e-Universo junto ao CNPq;
• Foram realizadas várias atividades relacionadas aos processos de importação de equipamentos atualmente em curso no setor de importações do CNPq;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gerenciamento de dados

• Foi feito o teste final e bem sucedido da prova de conceito (POC) com o Apache NiFi, realizando o download, transferência e ingestão dos dados do catálogo 2mass.  
• Checagem, organização e disponibilização das imagens do DES DR2 no formato HiPS e PTIF no Lustre para leitura pelo novo DES Science Server hospedado no LIneA.  
• Iniciado o desenvolvimento de uma solução para identificação e remoção de dados dos diretórios de scratch dos usuários (garbage collector);

Apoio ao usuário

• Foi iniciada a homologação da plataforma interativa Jupyter Notebook no Open OnDemand visando identificar possíveis problemas e também documentar a melhor forma de uso para os usuários do cluster Apollo;
• Foi desenvolvido e implementado no ambiente de homologação o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google.

Operação

• Foi finalizada a migração do ambiente do antigo DES Portal para uma infraestrutura virtualizada e removidas todas as dependências dos servidores do cluster ICEx;
• Foram corrigidos diversos erros nos trabalhos de backup agendados para o servidor de documentos e a storage principal;
• Iniciada a reavaliação e melhoria do processo de configuração de quotas de usuários nos sistemas de arquivos da storage NAS e do Lustre FS;
• Foi iniciada a implementação da nova infraestrutura para execução das plataformas web em produção, a qual inclui o uso de soluções de alta disponibilidade (HA) e de balanceamento de carga (LB).
• Implementado novos servidores para as aplicações Pz-Server e Orchestration

Redes e Segurança da informação

• Realizada a atualização dos responsáveis técnico e de segurança do Provedor de Identidades do LIneA na Comunidade Acadêmica Federada (CAFe).
• Finalizado o planejamento e o desenho da rede local para a implementação da nova solução de firewall que considera o uso de VLANs para segmentar as redes de administração de dispositivos, gerenciamento e de acesso aos sistemas.

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Implementação de registro automático de tabelas criadas pelos usuários no banco de dados através do Userquery para serem exibidas na ferramenta Target Viewer. 
• Criação de endpoint e disponibilização de URL para monitoramento do status do serviço para equipes do LIneA e NCSA. 
• Implementação de classe genérica para consulta dos dados do usuário do COmanage e LDAP para ser usada pelos diversos microsserviços.
• Disponibilização de imagens do DES DR2 nos formatos FITS, HIPS e PTIFs no ambiente HPC do LIneA para alimentar localmente as ferramentas de visualização. 
• Adição de link para página de documentação para o usuário. 
• Configuração de grupos de usuários a fim de permitir o controle de permissões por tabelas e schemas. 
• Front-end do serviço User Query – layout, informações sobre datasets (DES DR2 e Gaia DR3) e levantamentos, adequação à identidade visual 
• Documentação para instalação do ambiente de desenvolvimento.
• Definição do processo de dump e restauração dos metadados de schemas do Daiquiri para sincronizar instâncias local/staging/production. 
• Implementação de um novo sistema para correção de metadados importados, que causaram parada no funcionamento da interface query após atualização do Daiquiri, SAML2 ou CMS. 
• Atualização do Django e instalação do Django Saml2. 
• Remoção da autenticação com Shibboleth 
• Implementação da nova página de login com Saml2 a partir do registro Comanage com botões para logar via CAFe ou CILogon.

Portal SSO (Solar System Objects)

• Desenvolvimento e implementação da execução automática de predições;
• Desenvolvimento continuado do serviço de subscrição do portal;
• Testes de completeza e precisão na cálculo de incertezas a partir de órbitas do JPL concluídos com sucesso;
• Desenvolvimento de estratégias para testar refinamento de órbitas in loco com NIMA;
• Início de implementação de mapas de predição baseados em javascript;
• Desenvolvimento continuado da biblioteca lineaSSP para uso do portal;

Photo-z Server

• Conclusão do documento de design e requisitos do pipeline Training Set Maker.
• Front-end da tela de interação com o usuário para disparo de execução do pipeline Training Set Maker. 
• Melhorias na página de documentação da API. 
• Reorganização do material didático para apoio ao usuário – separação do conteúdo em jupyter notebooks direcionados por assunto. 
• Melhorias na tela de upload – botão de retorno 
• Implementação de autenticação interna usando Django PySAML 2 
• Criação de modelos de dados para pipelines e processos.  
• Correção de bug – falha ao abrir tabela de arquivo FITS 
• Upgrade de versões no ambiente de testes

Photo-z Compute

• Implementação de correção do efeito da extinção galáctica e adição de colunas de identificação nos dados de entrada.
• Implementação do suporte ao algoritmo GPz.
• Configuração de scripts para execução em modo de produção e desenvolvimento e escrita de documentação para o operação em ambos os modos. 
• Script para criação de conjuntos de treinamento aleatoriamente selecionado a partir dos dados de simulação hospedados no lustre em paralelo usando o cluster.     
• Implementação de parâmetros de configuração específicos dos algoritmos BPZ e TPZ. 
• Testes end-to-end com o algoritmo TPZ.
• Solução do problema do estouro de memória com arquivos de treinamento grandes no TPZ.  
• Início da escrita de jupyter notebooks de tutorial para usuários. 

Comunicação, Divulgação e Educação:

• Notícias:
  • Ocultação estelar (pt. 2)
  • LIneA participa do primeiro evento LSST na América Latina
  • Aviso: Processo de migração para o novo site institucional
  • LIneA concede entrevista para Fiocruz sobre o projeto LSST
  • Portal do Sistema Solar LIneA adota operação autônoma para predições otimizadas
  • Curso sobre “Versionamento de Código” é aplicado com sucesso
  • LIneA é convidado para o grupo de trabalho do Telescópio Nancy Roman
  • Lançamento do novo site institucional
  • InfraDay #13
  • Cientistas brasileiros participam do encontro Dark Energy Science Collaboration do LSST
  • LIneA na mídia: mais de 30 matérias abordam o trabalho realizado pelo laboratório
  • Fundamentos de Banco de Dados: confira o panorama das inscrições e aplicação do curso
• Relatório INCT:
  • plots da planilha financeira
  • entrevistas pontuais com membros do INCT
• Vídeo INCT
  • revisão do storyboard
  • reunião com equipe Flávia da Matta
  • revisão e aprovação do storyboard para confecção

Comunicação:

• Evento: Comunicação estratégica ao nosso alcance
  • período de inscrições (27/06 a 1/07)
  • aplicação em 4/07
  • certificados para os participantes
• Contato assessoria de imprensa FAPERJ:
  • colaboração na divulgação de notícias envolvendo o INCT do e-Universo
  • desenvolvimento de texto para a FAPERJ 
• Revisão de textos para as notícias

Minicurso: 

• Curso Versionamento de código:
  • material adicionado ao Classroom
  • certificados para os participantes
• Curso “Fundamentos de banco de dados”
  • validação por parte da equipe
  • período de inscrições (2 a 15)
  • aplicação do curso (17/07)
• Organização para o próximo curso: Desenvolvimento de Software científico 

Divulgação Científica:

• Resultados dos primeiros 5 anos do projeto Dark Energy Spectroscopic Instrument (DESI)
• Dia do Asteroide
• Hoje a Terra está em seu ponto mais distante do Sol: o afélio!
• Como é o bojo da via láctea? 
• Como se parece um telescópio profissional hoje em dia?

Site:

• Webinars:
  • 2023 e 2022
  • ajuste na forma de apresentação dos webinares (sem imagem de capa, apenas o link para youtube direto)
• Migração para o novo site institucional 
• Migração dos sites antigos (azul e cinza) para outra URL
• Resolução dos issues abertos
  • total de posts para a página divulgação
  • planilhas dinâmicas LIneA e INCT
• Revisão do Glossário 
• Desenvolvimento do doc/manual de atualização do site

Atividades Gerais e de Planejamento

• Assinatura de acordo com  o Stanford LInear Accelerator Laboratory (SLAC).
• Participação de 4 membros do LIneA na reunião LSST Latin America realizada em La Serena, Chile.
• Contratação de bolsistas para atuação em gerência de projetos de software e implementação de metodologia Agile.
• Submissão de Letter of Intent para o LSST Discovery Alliance.
• Entrevista com firma de assessoria de imprensa.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gerenciamento

• Foram realizadas reuniões de alinhamento com os técnicos da firma Laniaq em preparação para a instalação do novo servidor de bancos de dados do IDAC Brasil;
• Foi realizada na reunião LSST Latin America 2024 em La Serena, Chile, a apresentação sobre o trabalho que está sendo feito para implantar a infraestrutura computacional do IDAC Brasil;

Apoio ao usuário

• Foram implementadas melhorias no conteúdo da documentação incluindo a gravação e disponibilização de vídeos tutoriais com orientações de uso da nova plataforma Open OnDemand, incluindo o novo processo de registro de contas e o uso do cluster de processamento;
• Foi realizada a migração do website de documentação – docs.linea.org.br – para a plataforma Github Pages com a url personalizada;
• Foi desenhado um novo processo de registro simplificado que agiliza a identificação do perfil do usuário de forma automática;
• Realizadas melhorias na documentação dos catálogos de dados DES DR2 e GAIA, e 2MASS, incluindo a validação dos dados, e disponibilizados em repositório próprio;
• Instalação e configuração do novo website do LIneA;

Operação

• Finalizada a primeira fase da migração do ambiente do DES portal para uma infraestrutura mais simples com o objetivo de liberar a infraestrutura atual para novos projetos;
• Realizadas diversas atualizações de segurança nos servidores Skybot, Web Proxy e Login;
• Foram instalados e configurados quatro servidores (workers) ao Kubernetes para atender aos requisitos de processamento na plataforma Jupyter Notebook;
• Realizada a reconfiguração das rotas das redes privadas de modo a liberar o servidor gateway da infraestrutura do cluster ICEX;
• Realizadas diversas melhorias no sistema de registro incluindo a criação de grupos adicionais integrados ao servidor LDAP;
• Finalizada a integração do sistema de autenticação com a plataforma CILogon e implementadas melhorias na configuração do proxy SATOSA;
• Instalado e configurado novo servidor de backup bacula v13;

Monitoramento

• Implementadas melhorias na configuração do monitoramento das interfaces de gerenciamento (iDRAC) dos servidores Dell via protocolo SNMP
• Realizada a configuração para monitoramento do tráfego de dados, incluindo gatilhos e notificações, nas interfaces de rede dos servidores voltados para a internet;
• Melhorias nos dashboards de apresentação de perfis de usuários e de monitoramento de bancos de dados;

Gerenciamento de dados

• Instalados e configurados novos servidores de bancos de dados administrativos incluindo a configuração da replicação entre eles;
• Migradas as bases de dados de dados das aplicações legadas e históricas para o novo servidor de bancos administrativos;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Conclusão da implementação inicial do User Query baseado no daiquiri com:
  • página inicial com identidade visual do LIneA
  • páginas de documentação de datasets disponíveis
  • página de queries funcionando com MyDB    
• Conclusão da migração dos serviços de visualização do NCSA para o LIneA com a simplificação das páginas desabilitando funcionalidades obsoletas.   
• Integração com protocolo SAML2 autenticação com rede CAFÉ e CILogon.
• Utilização do Comanage para obtenção de informações necessárias para autorização do acesso a dados de colaboração      
• Melhorias no front-end:
  • correção do link para o site do LIneA no rodapé
  • correção no logo do INCT
  • melhorias na página de contato
  • adição do nome da instância no título da landing page 
• Correção de bug no upload de arquivos CSV no Target Viewer   
• Correção de bug no overlay do DES DR2 objects catalog no Sky Viewer  
• Adição de dados de teste ao ambiente de desenvolvimento (tutorial list) 
• Registro dos mapas do release Y6A2  
• Validação da documentação de setup do ambiente local de desenvolvimento 

Portal SSO (Solar System Objects)

• Melhorias na página de exibição de detalhes de ocultação, incluindo:
  • Otimização na exibição de coordenadas estelares e do objeto
  • Exibição de unidades de medida
• Início do desenvolvimento de soluções para determinar a incerteza projetada no céu da predição de ocultação e do instante central da ocultação:
  • Integração de profissional ao time para executar o arcabouço teórico
  • Estudo sobre a determinação a partir de matrizes de covariância das soluções orbitais disponibilizadas pelo laboratório JPL/Nasa
  • Estudo sobre a determinação a partir de refinamento orbital próprio com o software NIMA
• Continuação do desenvolvimento do serviço de subscrição
• Desenvolvimento parcial de biblioteca Python para simplificar e tornar o acesso à API do Portal SSO mais eficiente
• Desenvolvimento e implementação de banner de alerta para indicar que o acesso está sendo feito em ambiente de homologação
• Correção de bug detectado em tarefas de backend recorrentes que utilizam Celery
• Criação parcial de curso para uso do Portal SSO 

Photo-z Server

• Integração com Orchestration:
  • Criação de classe genérica para gerenciamento do Upload 
  • Elaboração de mecanismo de integração do Orchestration no Pz Server (desenvolvimento e produção)
• Implementação de mecanismo para Upload diretamente pelo Pz Server library.
• Correção de erro ao exibir conteúdo de um Upload.
• Correção de erro no build automático da página de documentação da API
• Melhorias na página de produtos (simplificação do table preview para acelerar o carregamento da página) e de pipelines (botão de voltar).  
• Novo card para futuro pipeline pz-compute 
• Passagem de conhecimento sobre deploy de ambiente homolog  
• Update do Django e instalação do pre-commit 

Photo-z Compute

• Investigação sobre complexidade de implementação de algoritmos (comparação entre LePhare, Delight e GPz) 
• Implementação de scripts simplificados de execução já incluindo configurações de ambiente 
• Início da implementação de parâmetros de configuração específicos de cada algoritmo, começando pelo FlexZBoost.  
• Adaptação do script de preparação de processos (captura de metadados para controle de proveniência) para funcionar com Slurm, em substituição ao antigo escalonador HTCondor. 

Comunicação, Divulgação e Educação:

• Notícias:
  • Curso de fundamentos de prog. em Python reúne 70 pessoas. 
  • Participação na Semana de Informação Profissional do Colégio Andrews;
  • Tese Manuela;
  • Análise de risco pelo CAIS/RNP
  • Ocultação estelar é detectada através do portal (pt. 1)
• Relatório INCT:
  • Material para a Angela
  • Acompanhamento de reuniões
  • Reunião para tirar dúvidas dos projetos científicos
• Vídeo INCT:
  • Revisão do storyboard
  • Reunião de acompanhamento
  • Revisão da narração
• Bolsistas CDE: envio do relatório parcial das atividades realizadas entre março e maio
• Webinar: Astrofotografia (6/06)
• Organização da planilha financeira;
• Solicitação de modelo para carta do BPG enviada ao Ministério;

Comunicação:

• LIneA na mídia:
  • Mais de 30 sites noticiaram a participação brasileira no LSST com base no texto elaborado pela área de comunicação e enviado às Instituições dos pesquisadores participantes.
  • Mapeamento das notícias
• Apresentação sobre comunicação por Luciana B. Gomes para o time LIneA.
• Inscrições para o minicurso de comunicação em 24/06 até 1/07.
• Contato com a Folha de São Paulo (novidades sobre o LSST: camêra, LSST LATAM).
• Participação no programa Boletim de Ciência da Fiocruz.

Minicurso: 

• Montagem do cronograma para todos os cursos até novembro;
• Envio dos certificados para os participantes do curso “Fundamento de prog. em Python”;
• Curso: Versionamento de código: git, github e gitflow
  • validação em 27/05
  • inscrições em 3/06 até 10/06
  • aplicação em 12/06
  • curso no Google Classroom
• Desenvolvimento do curso Fundamentos de banco de dados; 

Divulgação Científica:

• Postagens nas redes sociais:
  • Meteoros em Portugal
  • Espelho do LSST
  • O lado escuro da Lua
  • Imagens astronômicas para o dia dos namorados
  • Solstício de inverno
• Ocultação estelar detectada pelo Solar System Portal
  • Entrevista com Giuliano Margoti, mestrando UTFPR
  • Edição dos vídeos
  • Publicação em 21/06 e 25/06

Site:

• Revisão do site
• Verificação das pendências pelo Colativo
• Issues pendentes no github
• Verificação da documentação para deploy do novo site
• Atualização das notícias e anúncios (concluído) 
• Atualização dos webinares (em andamento) 
• Publicações revisadas 2019 a 2021 (concluído) 
• Revisão do Glossário (em andamento)

Atividades de Planejamento

• Escrita e revisão coletiva dos documentos de descrição dos projetos Science Server, PZ Server e PZ Compute com cronogramas de entregas até dezembro de 2024.
• Escrita da política de backup e restauração.  

Atividades de operação e gerenciamento de infraestrutura computacional.

Apoio ao usuário

• 13 tickets resolvidos (helpdesk)
• 5 atendimentos em vídeo chamada (office hours)
• Documentação Open OnDemand finalizada
• Documentação Cluster Apollo finalizada 
• Gravação Vídeo “How to Register” em andamento 

Manutenção

• Levantamento de problemas de hardware com a empresa Big Blue
• Upgrade de servidores que apresentaram falha de segurança
• Instalação e configuração da versão mais recente do servidor Bacula

Autenticação e Autorização

• Atualização dos grupos de usuários com perfis públicos
• Preparação para adição do CILogon no front-end do Open OnDemand 
• Integração do PZ Server com o ambiente de testes Satosa-dev
• Contato com equipe responsável pela distribuição do CILogon para implementação do serviço usando Satosa sem custos.   

Monitoramento

• Criação e configuração de um ambiente de testes para o Grafana
• Validação dos dashboards existentes

Curadoria de dados

• Plano de organização dos diretórios de dados científicos públicos e privados
• Documentação do acervo de dados para as coleções DES DR2 e Gaia DR3

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

• Varredura em todas as funcionalidades dos microsserviços Sky Viewer e Target Viewer instalados no ambiente de testes do LIneA, levantamento de requisitos e correção de bugs.   
• Integração com COmanager para identificação do usuário e identificação dos grupos

Portal SSO

• Início do desenvolvimento do serviço de subscrição para usuários cadastrados receberem avisos de futuras ocultações por email 

Photo-z Server

• Mudança do sistema de autenticação e autorização para o Satosa-dev, em preparação para implementação do CILogon
• Novo card na tela de pipelines (PZ Compute) 
• Atividades de passagem de conhecimento sobre deploy da aplicação no ambiente de testes do LIneA
• Update do Django e instalação da ferramenta pre-commit 
• Botões de retorno na barra de navegação da página pipelines 
• Implementação de autenticação interna com Django na orchestration 

Photo-z Compute

• Testes com RAIL TPZ Lite 
• Início da implementação do suporte ao algoritmo LePhare   
• Identificação de bugs e abertura de issues no repositório dos autores 
• Produção de jupyter notebooks de caracterização de amostras

Comunicação, Divulgação e Educação:

• Notícias:
  • Total de inscritos no minicurso
  • Anúncio de bolsas remanescentes (desenvolvedores)
  • LSST LATAM (aviso das inscrições)
  • Infraday #14
  • Pesquisadores participam de evento na França (…)
•  Webinar: Ofer (2/05)
• Vídeo INCT:
  • Seleção de imagens
  • Solicitação de mudanças no storyboard
  • Reunião para alinhamento com a Flávia da Matta
• Organização geral do Google Classroom
• Novos afiliados no site (Bruno Moraes, Andresa e Iago)
• Envio do relatório parcial para todos os bolsistas (infra, dev e cde)
• Declarações:
  • Marcela Vitti (justificando a falta na faculdade)
  • Bruno Moares (concurso CBPF)
• Circular sobre grants LSST DA
• Convite webinar: Paulo Assunção (Astrofotografia)

Divulgação Científica:

• Vídeo sobre o LSST
• Aurora Boreal
• James Webb
• Homenagem ao dia do Físico

Relações Públicas:

• Revisão de textos
• Contato com Universidades

Minicurso: 

• E-mail de lembrete para as aulas
• Formulário de presença (dias 2 e 9)
• Organização do material no Google Classroom
• Cronograma dos próximos cursos

Site:

• Github issues: #10, #11, #12, #14, #16,
• Reunião de documentação
• Validação da documentação (localmente e no servidor – com barreiras ainda)

Atividades de Planejamento

• Elaboração de projeto submetido à FINEP
• Elaboração de projeto submetido à RNP 
• Discussão inicial sobre projeto a ser submetido ao LSST Discovery Alliance
• Iniciado o processo de importação do novo roteador Juniper e da nova storage 1.2 PB junto ao CNPq;
• Iniciado o processo de importação do novo roteador Juniper;
• Iniciado o processo de importação da nova storage 1.2 PB;

Atividades de operação e gerenciamento de infraestrutura computacional.

• Instalação do Open OnDemand (ODD);
• Criação de vídeos tutoriais sobre o OOD;
• Criação e Deploy de novas imagens com OOD nas apl`s cluster Apollo; 
• Atualização do COmanage e simplificação dos fluxos de registro;
• Comparação dos grupos COmanage vs grupos LDAP;
• Iniciado a validação da documentação de deploy do novo site;
• Download, ingestão, indexação e verificação do acervo Gaia DR3; 

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Mudanças na distribuição de distâncias das simulações (código de simulações);
• Modificações nos gráficos de Quality Assurement do código de detecção, seguindo o que foi determinado pelo grupo de pesquisa.
• Atualização das tarefas definidas na reunião semanal;

WaZP

• Nova versão python disponibilizada no github para testes

Orchestration

• Finalizado a definição da estrutura.
• Finalizado a primeira versão da API REST.
• Implementado executor local com todas funcionalidades.
• Implementação do executor slurm em andamento.

Photo-z Compute

• Benchmark pipeline pz-compute após correções de bugs na instalação do Slurm utilizando o algoritmo flexzboost atingindo a marca de 9h de processamento para 40 bilhões de objetos.
• Implementação de mudanças nas configurações e na manipulação dos dados de entrada e saída do pipeline para incluir o suporte a um novo algoritmo (TPZ). 
• Início dos testes do pipeline pz-compute com Jupyter notebooks usando a interface Open OnDemand.  

Science Server

• Revisão e correções de bugs no ambiente de desenvolvimento
• Atualização das instruções de instalação
• Dados de exemplo para uso dos desenvolvedores
• Remoção do botão de Cutout
• Remoção do botão explorer para classes de objetos que não sejam cluster
• Alteração da imagem DES DR2 agora hospedada no LINEA
• Correção do login federado no User query
• Correção das credenciais de usuário ao fazer login federado.
• Iniciado o desenvolvimento de pipeline para teste de criação de imagens PTIFF do DES para uso com o Science Server

Photo-z Server

• Corrigido bug no build da documentação do pz server lib.
• Desenvolvimento de pipeline simples de contagem de objetos para testes da orchestration
• Melhorias na navegabilidade do site através do uso de cache nas prévias das tabelas de dados
• Correção de bug na criação automatizada da documentação 
• Atividades de passagem de conhecimento sobre deploy da aplicação no ambiente de testes  

Portal SSO

• Atualização/Integração do portal com catálogo GAIA DR3 
• Novos filtros por diâmetro e duração do evento
• Correção de bugs

CANVAS

• Reuniões de planejamento
• Levantamento de requisitos e escrita de documentação técnica (em andamento) 

Comunicação, Divulgação e Educação:

• LIneA News (1º trimestre de 2024)
• Notícias:
  • Novo portal de ocultações estelares (redes sociais, mailchimp e agências de fomento)
  • Lançamento do novo site LIneA
  • 15 anos de atuação do Singulani no LIneA
  • 15 anos de atuação da Rosane no LIneA
  • Prêmio do Clécio de Bom no evento de Harvard
  • Novos resultados do levantamento DESI
  • Notificação de manutenção (serviço de registro)
• Webinar:
  • Contato com o palestrante Prof. Ofer Lahav (foto, título e resumo)
  • Arte para redes
  • Links Zoom + Youtube
• Revisão da política de backup
• Revisão de todos os planos de trabalho dos bolsistas (atualização)
• Vídeo INCT do e-Universo:
  • Revisão do roteiro
  • Seleção de imagens
  • Reunião com equipe Flávia da Matta
• Organização da planilha de bolsistas
• Relatório INCT do e-Universo (Angela):
  • Conversa e apresentação do escopo de trabalho
  • Reunião com o coordenador INCT (2 encontros)
  • Reunião com o vice-coordenador INCT 
  • Definição dos responsáveis por cada assunto
  • Forms de participação nos projetos científicos
• Modelo de relatório para os bolsistas do INCT

Divulgação Científica:

• Dia mundial da Astronomia
• Maior câmera digital do mundo
• Chuva de meteoros
• 34 anos do telescópio Hubble 

Relações Públicas:

• Revisão final para o texto “Dia mundial da Astronomia”
• Texto para Universidades (base a partir do texto “Dia mundial da astronomia”)
• Listagem dos PIs e suas Universidades
• Listagem de sites, podcasts e youtubers
• E-mail para os PIs informando sobre a ação de contato com as universidades
• Oportunidade de participar na matéria do RBS TV (conversa e convite para Thaisa)

Minicurso: 

• Arte para o minicurso
• Desenvolvimento do formulário de inscrição
• Inscrições abertas de 5/04 a 19/04
• Desenvolvimento do e-mail com orientações para os interessados

Site:

• Revisão dos issues (git)
• Reunião sobre documentação (Colativo + LIneA)

Atividades de Planejamento

• Planejamento estratégico
• Cronograma de entregas e eventos 2024
• Elaboração de material introdutório e atividades de Onboarding do time de bolsistas CNPq — reuniões de planejamento e sessões online de atividades hands-on 
• Organização dos projetos e subprojetos de software no Github Projects
• Elaboração de modelos de documentos de planejamento de projetos de software e de design e requisitos para produtos de software 
• Início do preenchimento de documentos de design e requisitos a partir de entrevistas com stakeholders 
• Organização de reuniões semanais de acompanhamento dos projetos com o time de bolsistas  

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementado dashboard para monitoramento do servidor de aplicação da aplicação SolarSystem.
• Ajustes foram realizados no dashboard usuários LIneA no Grafana.
• Foram criadas contas e configurados os acessos dos bolsistas do INCT. 

Descrição de serviços Melhorias nas plataformas científicas:

CANVAS

• Início Setup Backend e configurações básicas do repositório.

Photo-z Server

• Correção de bug na library pz-server – atualização de dependências
• Correção de link na página de tutoriais. 
• Ocultação da barra de rolagem 
• Adicionado menu de navegação com caminho completo das páginas
• Disponibilização de QA notebooks de exemplo na documentação da biblioteca pzserver 

Orchestration

• Iniciado o desenvolvimento da orchestration.

Photo-z Compute

• Testes com algoritmo TPZ em amostras reduzidas 
• Testes iniciais de execução de notebooks no ambiente HPC usando a platatorma OnDemand 

Portal SSO

• Preparação do portal para release público 
• Diversas correções de bugs
• Refactoring do ambiente de dev/produção para facilitar o deploy
• Refactoring no frontend da página pública. 
• Implementação de interfaces compatíveis com dispositivos móveis. 
• Melhorias no Formulário de filtro. 
• Funções para calcular parâmetros adicionais no pipeline de predição
• Criação de Documentação de usuário. 
• Criação de Documentação da API. 
• Controle de proveniência das predições de ocultações
• Design das telas do futuro serviço de subscrição 
• Implementação de endpoints para serviço de subscrição

Science Server

• Userquery/Daiquiri Autenticação com Shibboleth/Login federado foi finalizada.
• Remoção das páginas antigas de sign up
• Implementação de devcontainer no repositório do daiquiri 

Comunicação, Divulgação e Educação:

• Notícias:
  • Aniversário da Associação LIneA
  • Resumo da chamada pública para as bolsas do INCT do e-Unvierso
  • Boas-vindas aos novos bolsistas
  • Lançamento do vídeo IDAC
• Bolsas INCT
  • Slides de onboarding
  • Boas-vindas aos novos bolsistas (1/03)
  • Mapeamento das inscrições para notícias
• Projeto FINEP
  • Informações dos pesquisadores
  • Informações das instituições
  • Informações equipe técnica
• Organização das informações dos membros INCT e BPG
• Solicitação de teses e dissertações aos pesquisadores do BPG
• Planilhas: membros INCT e BPG para o site
• Declaração Gustavo
• Vídeo INCT: colaboração no desenvolvimento do roteiro
• LSST LATAM: informe de pré inscrição 
• Bolsistas CDE
  • Retorno dos e-mails com dúvidas
  • Encontros semanais de até 1h para alinhamento das atividades
  • Elaboração dos planos de trabalho por área

Divulgação Científica:

• Especial mês das mulheres (uma postagem por semana homenageando astrônomas relevantes para a área)
• Equinócio de outono (20/03)
• Eclipse da Lua (25/03)

Relações Públicas:

• Mapeamento das notícias envolvendo o LSST (jornais)
• Mapeamento das universidades dos PIs BPG
• Notícia sobre o dia mundial da astronomia (gancho para abordar o lsst, bpg e o linea) para enviar aos jornais
• Textos:
  • LSST América Latina
  • vídeo IDAC
  • site institucional

Minicurso: 

• Desenvolvimento do minicurso “Fundamentos de programação para python”
  • Slides, exercícios e gabarito
• Validação do curso (25/03)
• Cronograma para aplicação do minicurso

Site:

• Revisão do site -dev
• Issues no github
• Handover técnico (ajustes pedidos, planilha automatizadas e publicação)
• Solicitação da criação da pág “publicações”
• Teses e dissertações planilhadas e atualizadas no site atual
• Planilhar publicações de 2022 e ajustar erros no site
• Planilhar e atualizar publicações de 2023 e 2024

Atividades de Planejamento

• Continuação do processo de avaliação das candidaturas dos bolsistas técnicos para atuar nos projetos de desenvolvimento de software, infraestrutura, divulgação científica e educação. 

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada visita ao datacenter (LNCC) para manutenção corretiva da solução de armazenamento HPC Lustre. Foram realizados diversos testes de performance com o apoio do suporte Dell a fim de identificar o problema de performance.
• Foi iniciada a avaliação da aplicação Apache-Nifi incluindo a implementação de infraestrutura virtual para o desenvolvimento de um protótipo de pipeline básico com o objetivo de automatizar a transferência de dados na rede interna do IDAC/BR;
• Foram realizados avanços no projeto de reestruturação do COManage com diversos problemas corrigidos entre eles a captura de atributos e a atualização da versão da aplicação. Ainda em andamento.
• Foi registrado na plataforma de importação do CNPq o pedido de importação via FOB do novo roteador de borda que foi negociado com a Binário/Juniper.
• Realizada aplicações de patches de segurança em diversos servidores para corrigir problemas de vulnerabilidades;
• Foi realizada a atualização completa da plataforma wordpress que hospeda o website.

Descrição de serviços Melhorias nas plataformas científicas:

TNO

• Finalizada a integração do pipeline Predict occultation em ambiente docker/cluster;

• Criado script para deploy o pipeline Predict occultation;
• Atualização da lista de asteroides utilizando dados do MPC de forma automatizada.
• Refactoring da página pública, para compatibilidade em diversos tamanhos de tela.
• Pipeline foi atualizado para que a etapa de cálculo do path coeff seja executada em paralelo. 
• Novos atributos científicos foram calculados/adicionados aos resultados do pipeline.
• Melhorias no processo de deploy/instalação do portal e pipeline.
• Todos os campos das tabelas asteroide e predição foram revisados.
• Adicionado página de documentação utilizando documentos Markdown.
• Pipeline teve suas dependências atualizadas saindo de python 2.x para python 3.x.
•  Programa de geração de datas para as ephemerides passou a ser executado uma única vez por job ao invés de ser executado para cada asteroide.
• O devcontainer foi revisado e o processo de onboard no projeto foi facilitado.
• Foi implementado pipelines de CI para validação e formatação dos scripts python. 
• Está sendo implementado pipeline CI para validação e formatação do frontend Javascript. 

Photo-z Server

• Criado pipeline de exemplo usando LSDB;
• Realizado estudo de como utilizar o SLURM em conjunto com Dask/Ray;

Photo-z Compute

• Finalizada a apresentação e entrega do relatório de testes de escalabilidade no cluster Apollo e validação da instalação do Slurm com atualização das previsões de duração das rodadas com os dados do LSST DR1, após upgrade na infraestrutura.     

Comunicação, Divulgação e Educação:

Notícias:

• Dia internacional das meninas e mulheres na ciência
• Workshop ESO
• Press release BAO-DES

Bolsas INCT do e-Universo:

• Entrevistas
• Organização dos selecionados
• Elaboração dos e-mail de devolutiva (aceitos, em espera, não selecionados)
• Desenvolvimento do plano de trabalho para cada área de atuação

Site:

• Migração para o github LIneA
• Handover

Lembrete das reuniões: 1) BPG situação política; 2) AGO presencial

Reunião presencial: AGO, hack session de software, handover site

Desenvolvimento do projeto para FINEP

Atividades de Planejamento

• Organização e execução de processo para avaliação das candidaturas dos bolsistas técnicos para atuar nos projetos de desenvolvimento de software, infraestrutura, divulgação científica e educação. 

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada visita ao datacenter (LNCC) para executar manutenção preventiva em diversos servidores e equipamentos, entre eles servidores de aplicação e de virtualização, além da conferência das etiquetas de patrimônio;
• Foi realizado o mapeamento e o planilhamento de todos os ativos de TI sob a gestão do LIneA/INCT; a planilha foi compartilhada com o gerente do suporte de TI do LNCC Gisele Zukowski;
• Foi implementado novo quadro de monitoramento na ferramenta grafana para comparação de uso do Cluster Apollo e o sistema de arquivos Lustre.  
• Foi realizada a contratação do Felipe Cardoso para implementar melhorias no sistema de registro tendo sido desenvolvido um plano de trabalho com foco na correção dos problemas e na atualização da solução COManage.
• Foi definida pela diretoria do LIneA com apoio da equipe de TI e do suporte à e-Ciência da RNP a compra do roteador Juniper ACX7024 junto à Binário/Juniper.
• Foi organizado e realizado processo seletivo para a contratação de um novo analista de infraestrutura para compor o time de operações de TI. 
• Contratação pela empresa Infax e integração do novo analista de infraestrutura de TI pelo time LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

TNO

• Finalizada a integração do pipeline Predict occultation em ambiente docker/cluster;
• Criado script para deploy o pipeline Predict occultation;

Photo-z Server

• Criado pipeline de exemplo usando LSDB;
• Realizado estudo de como utilizar o SLURM em conjunto com Dask/Ray;

Photo-z Compute

• Finalizada a apresentação e entrega do relatório de testes de escalabilidade no cluster Apollo e validação da instalação do Slurm com atualização das previsões de duração das rodadas com os dados do LSST DR1, após upgrade na infraestrutura.     

Comunicação, Divulgação e Educação:

Notícias:

• Press release DES
• Resultado da chamada pública CNPq para o BPG
• Pesquisadores brasileiros ganham posições de destaque no LSST-DESC

Bolsas INCT do e-Universo:

• Oferta para os juniores do BPG;
• Implementação dos JAs-BPG
  • CHAMADA PÚBLICA PARA BOLSAS DO INCT
    • Texto para chamada pública
    • Desenvolvimento da arte 
    • Desenvolvimento do edital
    • Lançamento do edital (17/01)
    • Organização das candidaturas
    • Resposta aos e-mail de dúvidas
    • Organização das áreas para entrevista dos candidatos
    • Realização de entrevistas

Press release DES:

• Tradução da notícia
• Revisão por pares
• Criação do design
• postagem nas redes sociais 
• Envio para as principais agências (SAB, CNPq, FINEP, ABC, RNP, FAPERJ)

Site:

• Revisão dos textos das chamadas
• Pedido de previsão de entrega
• Revisão geral do site

Declaração: Comprovante de orientação – Gustavo Rossi

Criação do Linktree para o LIneA

Contato com o pós-doc Douglas: envio do relatório final de atividades como bolsista

Atividades de Planejamento

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada uma verificação dos servidores NC’s durante a visita ao LNCC, identificando aqueles em uso, com problemas e disponíveis para utilização.
• Relatório anual do LSST
• alteração da configuração da rede local do cluster
• implementação do dashboard de uso do cluster
• investigação sobre o problema no lustre
• planilha de inventário de equipamentos
• testes de performance no cluster apolo

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

LIneA Science Platform

• Correção de bugs no acesso ao Science Server (endereços gov.br remanescentes) 

Cutout Service

• Adequação dos parametros da API de cutout para estar em conformidade com o protocolo VO SODA. 
• Criação de container com ambiente com todas as dependências e serviços necessários para o Cutout service.
• Implementação de uma primeira versão funcional da ferramenta de cutout no modo síncrono. 
• Atualização da versão do Aladin.  

TNO

• Transferência de uma cópia completa do banco de dados do Minor Planet Center da Universidade de Maryland.  
• Implementação da autenticação do dashboard. 
• Implementação parcial do UWS, Service e Policy para controle dos jobs.
• Execução do pipeline do portal na versão que usa Slurm para alimentar a página de predições aberta ao público com valores corrigidos. 

Photo-z Server

• Criação e upload no PZ Server de conjunto de dados espectroscópicos simulados para serem usados em testes.  
• Finalização do documento de design do pipeline Training Set Maker, incluindo plano de testes. 
• Implementação de tratamento de erros para todas as requisições da API. 
• Atualização do ambiente de testes com nova versão do código. 

Photo-z Compute

• Implementação de melhorias no script de pré-processamento do catálogo de objetos visando compatibilidade com o particionador de dados hipscat_import 
• Realização de testes para verificação e validação da instalação do Slurm e novos benchmarks para comparação de desempenho após o upgrade do cluster Apollo. 

Portal MaNGA

• Sem atividades neste período.
  

Hips Image

• Solução do problema de incompletude no footprint e nova execução para criação das imagens HIPS em todas as bandas, para toda a área do DES DR2

Comunicação, Divulgação e Educação:

• Notícias:
  • Manutenção repositório SDSS
  • Reunião de acompanhamento dos INCTs (Faperj)
  • Diretor do LIneA visita o Rubin
  • Recesso final de ano 
  • Highlights da reunião CdU
  • LIneA na revista da SAB
  • Conquista para comunidade astronômica brasileira 
  • Boas festas!
• Site:
  • Revisão do site
  • Revisão dos textos
  • Wireframe enviado para desenvolvimento
• LIneA na mídia:
  • Faperj
  • ABC
• Atualização da lista de e-mails PIs e JAs do BPG
• Elaboração da Política de renovação das bolsas INCT
• Webinar: Henry (7/12)
• Vídeos internos (CA e CTC) no youtube
• Revisão da Política da Informação (CGSI)
• LIneA News 4º trimestre
• Press release DES: tradução.
• E-mail para os PIs informando sobre as bolsas INCT

Atividades de Planejamento

• Encontro presencial para organização da reunião do Comitê de Usuários.

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementado monitoramento de uso, em tempo real do Cluster Apollo.
• Realizado download dos catálogos de single exposure do Y6A1 para o grupo de TNO.
• Foi feita a configuração no Zabbix para monitorar a validade do certificado SSL do Jupyterhub, e implementado o monitoramento dos certificados do kubernetes.

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

LIneA Science Platform

• O Userquery (daiquiri) foi separado do Science Server e um novo ambiente de validação foi instalado. 
• Foi implementado no Userquery parte das funcionalidades necessárias para autenticação federada com SAML. 
• Testes de comparação do TAP service oferecido pelo LIneA com outros fornecedores (Casjobs Johns Hopkins University, Noirlab, CADC, SIMBAD, CDS, Vizier)
• Documentação sobre a criação de PTIFFs 

Cutout Service

• Foi iniciado o desenvolvimento do serviço de cutout, instalação das dependências (Django, Django Rest, Celery, etc…) foi criado ambiente de desenvolvimento com devcontainer. 
• Foi configurado as bibliotecas de test automatizado
• Foi configurado as bibliotecas de documentação. 
• O protótipo fornecido pelo Adriano foi alterado para atender as necessidades do serviço, permitindo paralelismo. 
• Foi iniciado o desenvolvimento da API Rest seguindo o padrão SODA sugerido pelo VO. 
• Foi implementado endpoint para cutouts do DES de forma síncrona nos formatos Fits e PNG.
• Foi implementado documentação e geração de schemas com OpenAPI.

TNO

• Adaptação do pipeline do portal TNO para substituição do escalonador de jobs (Condor → Slurm).  
• Melhorias diversas nos filtros da página de predições de ocultações (detahes: #734) 
• Criação de layout para a exibição dos highlights da predição e reorganização dos cards.
• Update versão do Aladin. Foi necessário criar um novo componente para receber as coordenadas dos objetos. 

Photo-z Server

• Desenvolvimento da interface que permite a edição dos metadados de um produto e alteração dos arquivos auxiliares.
• Desenvolvimento da tela de menu de pipelines. 
• Implementação de botões de navegação pelas páginas do site. 

Photo-z Compute

• Upgrade de versões de bibliotecas e correções no código para manter compatibilidade com as versões novas. 
•  

Portal MaNGA

• 
  

Hips Image

• Execução do pipeline de criação de HIPS nas imagens do DES DR2
• Investigação sobre incompletude no footprint  

Comunicação, Divulgação e Educação:

• Notícias:
  • Manutenção Cluster
  • Oferta do Jupyter Hub para instituições (anúncio na SAB e ABC)
  • Aviso do upgrade do banco de dados
  • Heloisa na sessão “spotlight” do novo site LSST Discovery Alliance
• Reunião Comitê de Usuários.
  • corte no vídeo da reunião
  • contribuição no relatório
  • envio de todo material (apresentação + vídeo da reunião) para os participantes
• Certificados SNCT
• Pull Requests para o docs.linea
• LineA na mídia (link) 
• Vídeo IDAC:
  • revisão (10/11)
  • revisão (17/11)
  • finalizado em 24/11
• Seleção de imagens:
  • Entrevista Nicolaci (SAB)
  • Matéria BPG (SAB)
• Pedido de suplementação CNPq (revisão)
• Participação na conferência de lançamento do site LSST Discovery Alliance
• Organização do webinar Dr. Henry (7/12)
• Organização do CSTI especial Dr. Reinaldo Rosa (24/11)

Atividades de Planejamento

• AGE

Atividades de operação e gerenciamento de infraestrutura computacional.

• testes no slurm
• upgrade do postgresql (banco de catálogos)
• replicação do banco de dados do MPC
• configuração de VLANs na rede em preparação para  instalação do Open OnDemand
• reunião do CAT
• relatório anual LSST

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Adição do Slurm do LIneA na configuração do Parsl;

LIneA Science Platform

TNO

• Adaptação da submissão do pipeline predict occultation para Slurm (+Parsl);
• Adaptação do sistema de monitoramento p/ Parsl;
• Adaptação da função abort task;
• Implementação de funções para calcular e armazenar o coeff path previamente.
• Refactoring na criação dos mapas utilizando celery
• Melhorias no filtro por posição utilizando os parâmetros do coeff path
• Correção de bugs na interface de predição. 

Photo-z Server

• Escrita de relatório anual para o LSST. 
• Planejamento para ano fiscal estadunidense 2024 (outubro 2023 a setembro 2024). 
• Atualização da página de documentação no github: https://linea-it.github.io/pz-lsst-inkind-doc/   

Photo-z Compute

• Execução de testes de integração com o Slurm do LIneA;
• Planejamento de atividades para contratação de serviço terceirizado de engenheiro de software em novembro.

Portal MaNGA

• 
  

Hips Image

• Criação de scripts de submissão slurm para o Hips Image; 

Comunicação, Divulgação e Educação:

• Vídeos institucionais:
  • Ajustes finais (imagens, textos e locução).
  • Envio para o videografista.
• Site:

• Alinhamento geral
• Resposta às pendências solicitadas pela empresa Colativo 
• Notícias:
  • Lançamento do vídeo institucional
  • Novo endereço do LIneA
  • 20ª SNCT 
  • Participação no PGDay
  • Atualização dos Apollos
  • Update IDAC Brasil
  • Highlights reunião IDAC
  • Importação do banco de dados
  • Participação do LIneA na 20ª SNCT

• Enquetes: organização de todas as enquetes em uma planilha para o site
• 20ª SNCT:
  • layout para divulgação
  • LIneA News para avisos
  • Anúncio na SAB
  • Formulário para certificado de presença
  • Suporte nas apresentações
• Assembleia Geral presencial (10/10)
• Novos JAs: envio do kit de boas-vindas
• Tradução do texto IDAC para o site
• Vídeo tutorial: portal MaNGA
• Revisão de textos “Projetos Científicos”

Atividades de Planejamento

• Continuação da preparação de relatórios trimestral (FY23 Q4) e anual (FY23) e os planos para o FY24 para as contribuições in-kind do LIneA  para o Rubin Observatory;

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementado quadro de monitoramento em tempo real com informações gerenciais sobre os perfis de usuários e suas instituições;
• Instalado e configurado no cluster apollo o gerenciador de filas de trabalho Slurm pela empresa VersatusHPC; foram configuradas diferentes filas e perfis para uso dos recursos computacionais;
• Adquirido junto à Laniaq, via CNPq, para o IDAC Brasil o primeiro servidor de banco de dados da Super Micro, com processador duplo e memória randômica de 512 gigabytes e capacidade de armazenamento bruto de 184 terabytes;
• Realizada pesquisa de preço junto à fabricante Cisco para o roteador e os switches visando a substituição dos atuais equipamentos da rede local;
• Contratada a Timbira, firma especializada em bancos de dados PostgreSQL, para realizar a atualização da atual versão do banco de dados de catálogos e implementar a replicação do banco de dados do  serviço Minor Planet Center (MPC) da Universidade de Maryland;
• Realizadas novas reuniões de alinhamento com o time de suporte de e-ciência da RNP e com a firma Laniaq para o refinamento da configuração do novo sistema de armazenamento de dados NAS para o IDAC com a capacidade inicial de 1.3 petabytes;
• Iniciada a preparação do relatório trimestral e anual do projeto IDAC Brasil para o Rubin Observatory (FY23 Q4);

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Foi adaptado o código para a avaliação de value added catalogs (VACs) para catálogos do DES produzidos para uso com o software Gawa;
• Iniciados testes de uso do código Gawa na novo gerenciador de filas de trabalhos Slurm no cluster de computadores;
• Implementadas melhorias nos códigos de avaliação de qualidade;

LIneA Science Platform

• Estudo/Análise da documentação IVOA para o serviço de cutouts.

TNO

• Avaliação dos resultados gerados pelo pipeline de predição.
• Atualização no pipeline de predição para ficar compatível com nova versão da API do JPL. 

Photo-z Server

• Integração com formato VOTable, já é possível importar um arquivo VOtable mas ainda falta tratar o mapeamento das colunas. 
• Realização de testes da ferramenta hipscat_import para particionamento dos dados com arquivos do DES DR2, LSST DP0.1 e DP0.2
• Preparação de notebook de caracterização e instruções de acesso a amostra de redshifts espectroscópicos. 
• Desenvolvimento da orchestration que fará a administração dos processos disparados por usuários e enviados ao cluster Apollo, em andamento. 
• Implementação da exibição do notebook de descrição dos dados de forma automática na página do data product, quando disponível, junto ao preview das primeiras linhas da tabela.  
• Correção de bugs e aplicação de regras de permissão diferentes para usuários comuns e administradores, em andamento. 
• Participação em reuniões semanais do LINCC   

Photo-z Compute

• Testes para validação da instalação do Slurm após expansão do cluster Apollo, em andamento.  

Portal MaNGA

• Update de dependências backend, para melhorar a segurança e estabilidade. 
• Refactoring da interface galaxies, melhora de performance no carregamento, correção de bugs e implementação de mudanças solicitadas após o lançamento da aplicação.
• Update da biblioteca de componentes material UI. 
• Troca do componente Datagrid para o Material UI datagrid.  
• Melhorias na landing page.
• Implementado algumas ferramentas de qualidade de código como pre-commit, commitzen para permitir um melhor controle do versionamento. 

Comunicação, Divulgação e Educação:

• Vídeos institucionais:
  • Alterações no storyboard (IDAC)
  • Sugestão de novas imagens (IDAC)
• Site:

• Revisão do material enviado pelo Colativo.
• Reunião de alinhamento.
• Revisão do material após alinhamento.
• Notícias:
  • Instalações Apollo (atualização)
  • Participação no WorCAP – INPE
  • DES meeting (NCSA)
  • Banco de dados
  • Divulgação do “Encontro Acadêmico e Modelagem Computacional”

• Educação
  • Convite para palestrantes (20ª SNCT)
  • Workshop INPE:
    • Apresentação de palestra sobre serviços prestados à comunidade
    • Oferecimento de minicurso de aplicações do Jupyter Notebook na astronomia 
  • Apresentação de palestra no evento PG Day RJ na Universidade São José  
• Enquetes
  • Preparação de enquetes sobre necessidades de utilização de dados com base no modelo de dados do LSST DP0.2 a ser enviada ao BPG-LSST. 

Atividades de Planejamento

• Preparação de relatórios trimestral (FY23 Q4) e anual (FY240 para o Rubin Observatory
• Planejamento e definição de requisitos para os projetos de software a serem desenvolvidos para o LSST
• Estudos  visando definição de orçamento para o próximo triênio
• Planejamento e definição de tarefas de colaboração com o LSST Interdisciplinary Network of Collaboration and Computing (LINCC)

Atividades de operação e gerenciamento de infraestrutura computacional.

• Iniciado o levantamento e a documentação de todos os ativos de TI para futuro registro na plataforma GLPI (Programa de Gerenciamento de Ativos de TI )
• Patches de segurança foram aplicadas  nos servidores de autenticação e de acesso ao ambiente e nos servidores web do LIneA;
• Realizada visita técnica ao datacenter no LNCC para ajustes no cabeamento das conexões da  rede infiniband;
• Realizada reunião de alinhamento técnico entre a equipe de TI do LIneA e de HPC da HPE para a implementação da parte lógica do novo ambiente de HPC;
• Realizada a integração lógica da rede infiniband do novo cluster apollo e do cluster Lustre;
• Realizada visita técnica ao datacenter no LNCC para troca de módulo de memória em um dos novos nodes;
• Realizada reunião de alinhamento sobre o projeto de atualização da rede local com a equipe de suporte a e-ciência da RNP para definir os pontos de rede e a configuração dos equipamentos a serem adquiridos;
• Foram realizadas reuniões de alinhamento com o time de suporte de e-ciência da RNP e com a firma Laniaq para ajustes na configuração do novo sistema de armazenamento de dados NAS para o IDAC;
• Participação no PCW 2023 da colaboração Rubin em Tucson, Arizona;
• Realizada visita ao centro de dados NOIRLab e uma reunião para troca de conhecimento e experiências entre o time de TI do LIneA e do NOIRLab;
• Realizada primeira reunião de alinhamento com os responsáveis pelos IDACs da Austrália, Canadá, Coréia do Sul, Espanha, Estados Unidos e Japão;
• Realizada reunião com o time de HPC da HPE para passagem de conhecimento sobre o novo ambiente de HPC com as máquinas apollo;
• Finalizado registro de credenciamento do LIneA junto ao CNPq para a importação de equipamentos de pesquisa para o IDAC;
• Realizado  pagamento para a HPE referente ao serviço de instalação e reestruturação do ambiente de HPC;
• Realizado o pagamento da segunda parcela do serviço de manutenção dos servidores apollo (primeira versão) que serão utilizados nos serviços providos pelo IDAC;

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Foram implementadas melhorias no algoritmo de inserção de nova distribuição baseada em dados reais para objetos simulados.

LIneA Science Platform

• Hipsimage: criação de repositório com scripts para geração de imagens hips; 
• Levantamento de requisitos, para cutout service, avaliação dos protocolos IVOA  (SIA, SODA) para serviços de cutout. 
• Início do desenvolvimento do serviço de cutout. 

Photo-z Server

• Hipscat
  • Estudo sobre como fazer a importação para hipscat;
  • Realizada a importação do Y6 GOLD no tier 0 do Lustre; 
• Integração em fase inicial do protótipo de orquestração de pipelines ao projeto;
• Finalização do documento de design incluindo o desenho do front-end para as telas dos pipelines;
• Implementação da página de pipelines provisória e card que redireciona para esta página na tela inicial. 
• Implementação de campo para preenchimento dos nomes das colunas de arquivos em upload pelos usuários; 
• Correção de bugs na página de data products; 
• Preparação e validação de dataset compilado com amostras de redshifts espectroscópicos reais da literatura.  
• Início da implementação de VO Tables. 

Photo-z Compute

• Apresentação dos resultados dos testes de escalabilidade em evento do LSST.

Portal MaNGA

• Update de dependências, para melhorar a segurança e estabilidade. 
• Refactoring da interface explorer, melhora de performance no carregamento, correção de bugs e implementação de mudanças solicitadas após o lançamento da aplicação..  
• Melhorias na landing page.

Comunicação, Divulgação e Educação:

• Vídeos institucionais:
  • aceite do vídeo para o LIneA
  • colaboração no desenvolvimento do texto para o vídeo do IDAC e INCT
  • seleção de imagens para composição dos vídeos IDAC e INCT
  • Recebimento da primeira versão do storyboard (IDAC)
  • Revisão da primeira versão e envio para modificações
• Site:

• Organização das planilhas
• Logotipos diversos
• Revisão geral do site
• Notícias:
  • Artigo sobre o MaNGA + layout e postagem nas redes sociais
  • Participação do time do PCW 2023
  • Aviso de manutenção do site
  • CSTI especial (Manuela Ferreira) + layout e postagem nas redes sociais
• Educação
  • Classroom:
    • Criação do tópico “Tutoriais” + organização do material
    • Criação do tópico “Bootcamp” + organização do material
  • Workshop INPE:
    • Alinhamento para participação no Workshop 
    • Envio do resumo para a palestra
    • Envio do resumo do minicurso

Atividades de Planejamento

• Conclusão da definição dos equipamentos a serem adquiridos para o IDAC e cronograma das compras.
• Preparação de material para credenciamento do LIneA visando a  importação de equipamentos
• Preparação e avaliação de material de divulgação para o lançamento do IDAC incluindo   novo desenho para o site e conteúdo para vídeo de divulgação
• Negociações sobre os memorandos de entendimento entre o MCTI, LIneA e o Rubin Observatory

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada visita técnica ao datacenter no LNCC em preparação para a instalação dos novos servidores apollo;
• Foi realizada reunião de alinhamento técnico entre a equipe de TI do LIneA e de HPC da HPE em preparação para a instalação das máquinas apollo e a reestruturação do ambiente de HPC;
• Foi realizada a cotação e a aquisição de tomadas de 63A para adequar a instalação elétrica às PDUs do novo rack HPE;
• Foi realizada a avaliação da proposta de serviço da firma VersatusHPC para a instalação dos gerenciador de trabalhos Slurm e do sistema de gerenciamento Open On Demand;
• Foi realizada reunião de alinhamento sobre o projeto de atualização da rede local com a equipe de suporte a e-ciência da RNP para definir a estratégia de,implementação;
• Foi realizado alinhamento com o Knut Olsen, responsável pelas contribuições in-kind do IDAC no Rubin Observatory, para a visitação e troca de conhecimentos entre o time LIneA e a equipe do NOIRLab durante o Rubin PCW 2023 que será realizado em agosto;
• Realizado atualização de patch segurança nos servidores login, webback3, webback5 e idp01.
• Realizado o aumento de quota dos usuários internos do LIneA.
• Feito  a configuração de envio de notificações de incidentes do servidor sdssb3.
• Realizado ajustes nos plugins do twitter e no  plugin do LDAP no site do LInea.
• Adicionado no monitoramento de url, novas urls (scienceportal).

Projetos de Software:

MaNGA portal

• Implementado uma série de mudanças nos arquivos megacube, sendo necessário reprocessar esses arquivos no cluster Condor e alterar o portal para lidar com o novo formato dos arquivos. 
• Implementado um script para extrair dos megacubos as informações usadas pelo portal.
• Alterada a lista de objetos do portal, um novo conjunto de ~75 atributos estão disponíveis podendo ser usados como filtro para seleção dos objetos.
• Implementado download de arquivos que possuem a Broad Component. Alguns megacubos oferecem 2 opções de download.

LSP

• Participação em reuniões de planejamento.
• Implementado o acesso às imagens Ptifs a partir do ambiente do LIneA, disponível só no ambiente de dev por enquanto.
• Está sendo implementado o acesso às imagens Hips a partir do ambiente do LIneA.

PZ Server

• Desenvolvimento de camada de orquestração de processos remotos.
• Iniciando integração da camada de orquestração de processos com o backend do pz-server API.
• Estudo da biblioteca hipscat import
• Melhorias no front-end: botão “share” para compartilhar produtos com usuários, modo de tela escura, opção de entrar com texto para informar os nomes das colunas de tabelas na tela de upload de arquivos. 

TNO:

• Foi corrigido bug na integração celery/rabbitmq necessário para execução das tarefas assíncronas como geração de mapas por exemplo.
• Apoio ao time da 11Tech. 

Canvas:

• Criação de documento de requisitos para a aplicação Canvas. 
• Criação de protótipo no Figma  com as principais interfaces do sistema para auxiliar na fase de levantamento de requisitos. 

Photo z Compute

• Script para preparação de processos com controle de proveniência.
• Implementação de limpeza dos dados na etapa de pré-processamento.  
• Script para calcular tempo de duração de processos em paralelo.
• Realização de testes de escalabilidade em diferentes condições, por ex., variando o volume de dados, o formato dos dados, a infraestrutura de armazenamento utilizada, as configurações dos códigos de photo-z adotados.   

GAWA:

• Criação de novo repositório para avaliação das detecções em com dados reais (qa_gawa_real);
• Atualização de tabelas com objetos reais detectados;
• Criação de filtro baseado em isócronas para detecção de objetos;
• Melhorias nas simulações de forma a simular objetos com mais de uma idade e metalicidade;
• Rodadas de detecções no levantamento DES e gráficos característicos;
• Melhorias nos plots de objetos não detectados.

WaZP:

• Preparação de artigo para a publicação do catálogo de aglomerados de galaxias compilado usando o WaZP aos dados dos seis anos de observação do Dark Energy Survey.
• Análise dos resultados obtidos a partir das simulações do LSST em andamento.  

Comunicação, Divulgação e Educação:

• Notícias:
  • 3ª edição do minicurso Jupyter Notebook
  • Instabilidade no servidor do Science Server
  • Simpósio do LSST
  • Implantação do IDAC
  • Paralisação das máquinas
• Planilha de membros do INCT
  • Atualização da planilha com os novos membros
  • e-mail de todos os membros
  • contato para atualização de cadastro 
• 65º LIneA News (2º trimestre)
• Layout para assinatura dos e-mails
• Vídeo institucional: revisão e ajustes finais

Minicurso: 

• Emissão dos certificados
• Aviso sobre o “plantão tira dúvidas”
• Convite do INPE para aplicação do minicurso no WORCAP23

Divulgação:

• Revisão geral do site (versões enviadas dias 28/06 e 13/07)
• Organização das planilhas que irão alimentar o site
• Reunião com o Colativo
• Atualização das publicações no site antigo

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi implementado um novo dashboard que fornece visibilidade global da disponibilidade de todos os servidores físicos e virtuais;
• Foi finalizada a migração do serviço de e-mail Zimbra para o Gmail, e o de listas de e-mail Mailman para o Google Groups, ambos no Google Workspace, utilizando a licença de 5 anos cedida pelo Google ao LIneA (2021-2025 licence for non-profit organizations);
• Foi solicitado o pedido de credenciamento e integração do provedor de identidades do LIneA para uso do sistema de redes Eduroam;
• Projeto Curadoria de Dados:
  • Foi iniciada a organização dos dados legados no projeto de Curadoria de Dados, começando pelo levantamento dos dados dos catálogos DES DR2 e Y6A1 com a identificação da localização, volume e tipos de arquivos disponíveis na infraestrutura do LIneA;
  • Foi criado o rascunho do documento de definição de tipos de produtos do LIneA/IDAC;
  • Foi iniciada a criação da primeira versão da Norma de Gestão de Dados;
• Foi realizada reunião de alinhamento com equipe de engenharia de HPC da HPE para definir a data de início da instalação dos novos equipamentos;
• Foram realizadas reuniões de alinhamento com o time de suporte de e-ciência da RNP e a com a firma Laniaq para a definição da configuração do novo sistema de armazenamento de dados NAS para o IDAC;
• Foram realizadas reuniões de alinhamento sobre o projeto de atualização da rede local tendo sido definida a nova arquitetura da rede do LIneA/IDAC;
• Foi realizada reunião de alinhamento com a firma VersatusHPC para fechar o escopo do projeto de instalação do software Slurm;
• Foi realizado o pedido de registro junto ao CNPq através da submissão de formulário e do envio de uma série de documentos para credenciar o LIneA para a importação de equipamentos de pesquisa para o IDAC;
• Foi realizado o pagamento da primeira parcela do serviço de manutenção dos servidores apollo (primeira versão) que serão utilizados nos serviços providos pelo IDAC;
• Enviado à colaboração Rubin LSST o relatório referente às atividades do projeto IDAC Brasil no terceiro trimestre do ano fiscal de 2023 (FY23 Q3).

Descrição de serviços Melhorias nas plataformas científicas:

TNO:

• Alteração no pipeline de predição para gerar e armazenar informações que permitam o acompanhamento do progresso. 
• Alteração no pipeline de predição separando as duas etapas em processos de sistema diferentes, para permitir monitoramento do processo.
• Alteração no pipeline para corrigir bug que causava estouro de quota em disco.
• Correção de Bug nos pipelines para asteroides da classe comet que possuem uma / no nome o que causou problemas na criação dos diretórios.
• Implementação de tabelas para acompanhar o status dos jobs de predição e orbit trace: #664  #663
• Correção de bug no build da imagem frontend problema com estouro de memória e time out. 
• Instalação do container SORA no ambiente de desenvolvimento. (ainda não foi completa é necessário algumas mudanças no container por parte da 11Tech.)
• Instalação do Celery/Rabbitmq no portal. #651
• Participação em reuniões de planejamento e acompanhamento do projeto. 
• Deploys frequentes no ambiente de dev para validação das entregas do time 11Tech
• Validação de PRs e testes no ambiente. 
• Reuniões para levantamento de requisitos e avaliação das entregas.
• Organização do Projeto e planejamento.

LSP

• Implementação e instalação (deployment) da instância de desenvolvimento utilizando containers;
• Alteração para permitir URLs diferentes por ambiente na landing page. #14;
• Definição do escopo das funcionalidades de Cross-Matching e Datasets a landing page.  #11;
• Configuração do ambiente de desenvolvimento para permitir queries assíncronas no TAP Service;
• Correção de bug na ferramenta de download dos resultados após habilitar as tarefas assíncronas;
• Participação semanal em reuniões de planejamento;
• Organização e planejamento do projeto.

PZ Server

• OnBoard e treinamento do jandson.
• Acompanhamento do Jandson e apoio nas tarefas.
• Elaboração do documento de design do Training Set Maker.
• Desenvolvimento de protótipo de camada de orquestração de processos remotos.
• Início de desenvolvimento de pipeline de crossmatching.

CANVAS

• Reuniões de Levantamento de Requisitos.
• Planejamento e documentação dos requisitos.
• Desenvolvimento de protótipos das interfaces (em andamento).
• Reunião Jamyr e Evandro para tirar dúvidas sobre o projeto.

Science Server

• Alteração dos containers para executar sem root, necessário para mudanças no ambiente. 
• Correção do ambiente da colaboração / público após mudanças feitas na infra do NCSA. (em andamento)

Comunicação, Divulgação e Educação:

• Orientações para bolsista (Douglas)
• Organização dos textos para o site
• Revisão do vídeo institucional
• Preparação para o minicurso (slides com informações importantes, forms para emissão de certificados)
• Notificações sobre duplicatas nos registros
• Organização dos membros INCT
• Notícias:
  • Visita do diretor ao INPE
  • Visita ao DiRAC
  • Virtual summer school DP0
  • Chegada das máquinas 
  • Heloisa PCW
• Textos:
  • Estatística das inscrições no minicurso

Minicurso: 

• Envio de e-mail com confirmação de participação no minicurso
• Orientações iniciais aos participantes (link zoom, acesso ao slack)
• Aplicação do minicurso (7/06)
• Informações gerais para os participantes (vídeos da aula, material)
• Orientações para o pagamento dos palestrantes

Site:

• Envio do cronograma para próximas etapas do site novo
• Apresentações adicionadas ao site atual
• Conversa com Leandro e Jandson (problema de atualização do twitter no site)

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Atualizações e correções na plataforma JupyterHub
   2. Foi realizado o Infra Day #10 que consistiu na atualização de diversos sistemas e aplicações com o objetivo de corrigir as vulnerabilidades detectadas e também para adicionar novas funcionalidades. Em destaque foram atualizadas as plataformas JupyterHub e Jupyter Notebook, bem como implementadas melhorias no upload de arquivos nesta última.
   3. Foram implementados novos servidores de banco de dados postgresql primário e secundário, com replicação automática, e que serão utilizados para armazenar os bancos administrativos (metadados) das aplicações em produção;
   4. Foi iniciado o projeto de Curadoria de Dados com o objetivo de implementar uma estrutura física e lógica bem como o uso sistemático de metadados visando o projeto do IDAC;
   5. Foram recebidos e armazenados no datacenter do LNCC, em Petrópolis, os novos servidores de processamento e o rack que foram adquiridos junto à HPE em 2022;
   6. Foi assinado o contrato com a HPE para a execução dos serviços de suporte e garantia dos equipamentos recém entregues, bem como a execução do projeto de reestruturação do ambiente de HPC;
   7. Foi assinado o contrato com a HPE para a execução de serviços de manutenção dos antigos servidores apollo com validade de 1 ano;
   8. Foi realizada a cotação e a contratação da empresa A3 Tech para a movimentação de equipamentos ativos e inativos nos racks;

2. Comunicação, Divulgação e Educação
   1. Notícias:
      1. Participação da Mariana Penna-Lima no Sfair UNESP
      2. PCW 2023
      3. Evento Photo-Z
      4. Bootcamp LSST
   2. Minicurso Jupyter Notebook
      1. Planejamento das entregas (material + dry run)
      2. Acompanhamento do andamento
      3. Elaboração do layout para anúncio
      4. Elaboração do formulário de inscrição
      5. Anúncio via e-mail, site, redes sociais, mailchimp, SAB
      6. Elaboração do texto para confirmação da participação
   3. Vídeo institucional
      1. Revisão do storyboard
      2. Seleção de imagens, logotipos e material necessário
      3. Alinhamento final para produção do vídeo
   4. Conversando sobre TI – entregas de serviços/trabalhos
      1. Daniel Oliveira (GAWA)
      2. Henrique Dante (Photo-Z)
      3. Rocío Coz
   5. Criação de links para documentos diversos.

3. Site
   1. Reunião com a Colativo
   2. Ajustes finais na organização dos conteúdos
   3. Organização de todos os textos para revisão/desenvolvimento

4. Dashboard para as planilhas
   1. todo
   2. todo

5. Workflows
   1. GAWA
      1. todo
      2. todo
   2. Photo-z Server
      1. Atualização da versão no da biblioteca pzserver no pip com melhorias e correções
      2. Finalização do notebook de tutorial 
      3. Adequação ao template do LINCC para repositórios de projetos em Python 
      4. Apresentação do status do projeto e entregas parciais para Melissa Graham (pessoa no LSST responsável pela avaliação das entregas deste projeto) 
   3. Photo-z Compute
      1. Finalização do projeto de benchmark do RAIL com eng. de software, entregas finais dos scripts de paralelização para os clusters Apollo e Santos Dumont, revisão de pull requests, redação de relatório e apresentação para o time.   
   4. LIneA Science Platform
      1. todo
      2. todo
   5. Portal SSO
      1. todo
      2. todo
   6. Portal MaNGA
      1. todo
      2. todo

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Foi realizada a atualização completa do ambiente do website do LIneA incluindo o sistema operacional e a plataforma wordpress para corrigir vulnerabilidades de segurança;
   2. Foi criada e disponibilizada documentação em docs.linea.org.br para orientar os usuários sobre a geração de chaves criptográfica e de uso do SSH; 
   3. Foram realizados ajustes e correções no monitoramento das áreas globais de armazenamento de forma a melhorar as notificações em caso de incidentes;
   4. Foi dado continuidade na migração do serviço de email Zimbra para o Google Workspace tendo sido migradas as listas de email para o Google Groups. Também foi integrada a autenticação do Google ao IDP do LIneA e foram criados vídeos instrutivos e documentação de uso aos usuários;
   5. Iniciada pesquisa para entender o funcionamento da ferramenta de monitoramento Prometheus com o objetivo de aperfeiçoar o monitoramento das aplicações no kubernetes e em containers
   6. Desenhado novo processo para registro e concessão de acesso ao SuperComputador Santos Dumont no projeto EUBD;
   7. Foi realizado o Infra Day #9 que consistiu na atualização de diversos sistemas e aplicações com o objetivo de corrigir as vulnerabilidades detectadas;
   8. Foi definido e criado documento de desenho de projeto para validar se a ferramenta Keycloak poderá ser utilizada como solução de registro e autenticação de contas para o IDAC;
   9. Foi iniciado o processo de descomissionamento de alguns equipamentos com o objetivo de liberar espaço na infraestrutura para a instalação dos novos que serão dedicados ao IDAC;
   10. Realizadas reuniões de alinhamento com a firma Laniaq Inc para fechar a compra do novo servidor de banco de dados para o IDAC Brasil;
   11. Foi solicitada à firma BigBlue cotação para contrato de manutenção corretiva dos equipamentos Dell que estão sem garantia;
   12. Foi realizada reunião de alinhamento junto à firma VersatusHPC para a cotação de serviço de instalação e configuração do sistema gerenciador de filas Slurm;
   13. Foi finalizada a cotação do serviço de reestruturação do ambiente de HPC junto à firma HPE e de fornecimento de novos servidores para substituir os atuais servidores de firewall ;
   14. Foi solicitada cotação de um sistema de armazenamento de dados à firma Laniaq com a capacidade de 1PB bruto;

2. Comunicação, Divulgação e Educação
   1. Notícias:
      1. Comitê de relações internacionais – Rogério Rosenfeld
      2. Posição de co-coordenador do DES – Felipe Oliveira
      3. Workshop IDAC
      4. Visita do Mario Juric 
      5. Aviso de serviços indisponíveis (falta de luz no LNCC)
      6. Diretor LIneA visita o Vera Rubin
   2. Org. dos webinares no site (vídeo yt + apresentação)
   3. Comunicado: site fora do ar (3/04)
   4. Série Webinar:
      1. Mariano – IDAC Argentina (convite)
      2. Stephen – IDAC Canadá (apresentado)
      3. George – IDAC UK (convite)
   5. Proposta de minicurso Jupyter Notebook (Andressa e Gabriel) – em desenvolvimento
   6. Vídeo institucional: revisão do storyboard; reunião de alinhamento; seleção de imagens para composição do vídeo.
   7. Post de Páscoa.
   8. Atividade para o bolsista PDJ Douglas: atualização das publicações no site.
   9. Refazer certificado de IC – Maisa.
   10. Revisão do texto convite para o evento “Futuro dos centros de e-ciência”.
   11. Convite para CSTI: Daniel (UFF) e Fábio (LNCC).
   12. Contato com equipe da Biofísica UFRJ – webinar.
   13. Inclusão de novo JA BPG – Hyago (Thaísa).
   14. Criação da mailing list: idacs@linea.org.br 
   15. Planilha com representantes dos IDAC – org. por países

3. Site
   1. Alinhamento interno sobre o site.
   2. Reunião com o Colativo (12/04 e 14/04) 

4. Dashboard das planilhas financeiras
   1. Conferência de contas a pagar 
   2. Conciliação bancária
   3. Análise do Budget Real x Previsto
   4. análise financeira

5. Workflows
   1. GAWA
      1. Simulações e rodadas de detecção de forma a servir de base para conclusões constantes no relatório final submetido à Fundação Heising-Simons.
      2. Alterações no código para produzir gráficos de acordo com o solicitado pelo grupo
   2. Photo-z Server
      1. Mudanças na landing page. 
      2. Foi adicionado suporte a catálogos com extensão .txt
      3. Foi implementado o Table Preview.
      4. Conclusão do refactoring da biblioteca, agora renomeada para apenas pzserver, atualização do notebook de introdução para o usuário 
   3. Photo-z Compute
      1. Scripts utilizando o ceci como gerenciador de wotrkflows
      2. Pipeline de pré-processamento dos dados para criação de “skinny tables” (inputs formatados para o RAIL) 
      3. Comparação de performance
   4. LIneA Science Platform
      1. Reuniões de levantamento de requisitos sobre o Tap Service.
      2. Foi configurado no daiquiri o serviço de tap para queries síncronas.
   5. Portal SSO
      1. Foi implementado a integração do pipeline orbit trace com o portal, este pipeline já está operacional para um pequeno conjunto de objetos. 
      2. Iniciado a integração do pipeline Predict Occultation ao portal.
      3. Reuniões de acompanhamento com o time da 11Tech. 
      4. Implementado novo plot com as observações do DES para um asteroid.
   6. Portal MaNGA
      1. Foi implementada uma nova função para atualizar os headers dos megacubos.
      2. Foi feito um refactoring na estrutura do portal, melhorias no containers e serviços. 
      3. Estão sendo implementadas novas funções relacionadas ao espectro, para atender a demanda do paper.

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Implementadas customizações e melhorias no sistema de monitoramento Zabbix de modo a detectar problemas físicos nos servidores fabricados pela SuperMicro e pela HPE;
   2. Realizada a atualização da plataforma wordpress para a última versão disponível tanto no ambiente de desenvolvimento quanto de produção com o objetivo de corrigir vulnerabilidades de segurança;
   3. Implementação de ferramenta de varredura de vulnerabilidades para os servidores web e de email (zimbra);
   4. Iniciada migração das contas de email do servidor zimbra para o google workspace;
   5. Iniciada pesquisa para identificar o sistema operacional Linux mais adequado a substituir o CentOS-7, cujo suporte a atualizações será encerrado no ano de 2024;
   6. Realizada a manutenção do servidor de banco de dados do SDSS. Tendo sido necessário trocar a placa-mãe, um dos processadores e um dos discos rígidos;
   7. Implementadas otimizações na configuração do sistema de arquivos NFS com o objetivo de melhorar o desempenho de escrita e leitura dos diretórios compartilhados na rede;
   8. Participação na organização do workshop Supporting Computational Science With Rubin LSST contribuindo com a apresentação para a área de infraestrutura de software e de hardware tendo como base as atividades do IDAC no Brasil; Também tivemos participação ativa nas discussões sobre o uso adequado dos recursos que serão disponibilizados pelos IDACs à comunidade Rubin LSST;
   9. Finalizada a definição da configuração do servidor de banco de dados para o IDAC, em parceria com a consultoria Timbira;
   10. Definido a plano para a realização da análise de riscos para as instalações do IDAC Brasil em parceria com o CAIS/RNP e a área de segurança da informação do LNCC;
   11. Iniciadas as discussões em torno do plano de reestruturação do ambiente de computação de alta performance em parceria com o time de engenharia de HPC da HPE;
   12. Iniciada a criação de política de uso e de armazenamento de dados no contexto do IDAC;
   13. Enviado à colaboração Rubin LSST o relatório referente às atividades do projeto IDAC Brasil no segundo trimestre do ano fiscal de 2023 (FY23 Q2). 

2. Comunicação, Divulgação e Educação
   1. Office hours:
      1. Nicoly e Andreia (problemas com o registro na CAFe).
      2. Rogerio Riffel (Portal Manga)
   2. Envio do forms de aceite a posição de PI para o Dr. Clécio Bom.
   3. Convite para o especial do mês das mulheres no LIneA “As pesquisadoras do BPG” – Mariana Penna-Lima, Maria Luiza Falci, Thaisa Bergmann e Ana Chies.
      1. Entrevista individual;
      2. Elaboração do design para o vídeo;
      3. Texto de apresentação;
      4. Postagem nas redes sociais e LIneA News.
   4. Contato com candidatos à bolsa IC-INCT.
   5. Informe da finalização do processo seletivo para as bolsas INCT.
   6. Texto para anúncio dos novos bolsistas INCT.
   7. Reunião para “Destaques LIneA e INCT”
   8. Conferência dos membros BPG que estão registrados no COmanage.
   9. Envio do forms para os casos científicos do IDAC.
   10. Atualização dos e-mails – listagens BPG.
   11. Webinar especial: Mario Juric (agenda, site, LIneA News, postagens nas redes sociais).
   12. Texto sobre a visita do Mario Juric ao LIneA.
   13. Texto sobre a visita do diretor LIneA ao DAC UK.
   14. GT report + Acordo LIneA em google doc.
   15. Texto sobre a avaliação positiva do Rubin Observatory para as atividades realizadas pelo LIneA.
   16. Texto para a contratação de novos colaboradores para apoiar as atividades do IDAC.
   17. Post sobre as cartas de apoio ao LIneA encaminhadas ao MCTI.
   18. Reunião com equipe da Flávia da Matta – vídeo institucional.
   19. Revisão do roteiro para o vídeo + seleção de imagens
   20. Envio do 64ª LIneA News.
   21. E-mail sobre o ticket #13990 (Vitor)
   22. Recorte no vídeo do Mario Juric.

3. Site
   1. Reunião com a consultoria COLATIVO para alinhar sobre a nova versão do website do LIneA;
   2. Realizada avaliação da apresentação do wireframe para o novo site.

4. Dashboard para as planilhas
   1. Reunião com o IN10 
   2. Organização das planilhas para análise dos Dashboards
   3. Conferência de contas a pagar 
   4. Conciliação bancária
   5. Análise do Budget Real x Previsto
   6. Proposta de nova planilha para controle dos Bolsistas
   7. Análise dos recursos financeiros INCT do e-Universo

5. Workflows
   1. GAWA
      1. Alterações no Jupyter Notebook de quality assurement (simulações e detecções).
      2. Melhorias nos gráficos de completeza e pureza.
      3. Preparação do relatório para o Heising-Simons.
      4. Rodadas do código de detecção.
      5. Simulação para testes nas máquinas do Cluster LIneA.
   2. Photo-z Compute
      1. Onboarding novo colaboador (eng. de software).  
      2. Criação de script pra automatização do pipeline RAIL com paralelização no cluster Apollo e no supercomputador Santos Dumont.
      3. Testes comparativos preliminares para identificação de gargalos e fontes de lentidão nos dois ambientes. 
      4. Preparação de conjuntos de treinamento para algoritmos de aprendizado de máquina utilizados pelo pipeline RAIL com dados do LSST Data Preview Zero (DP0). 

6. Plataformas Científicas
   1. Photo-z Server
      1. Melhorias nos filtros da API:
         1. Implementada a possibilidade de checagem de filtros antes da requisição
         2. Tratamento de erros em casos de filtros inválidos
      2. Tratamento de erro na autenticação caso o token seja inválido;
      3. Implementação do dev-container;
      4. Melhorias na interface do upload;
      5. Deploy do ambiente de teste usando o servidor de database (desdb4);
      6. Criação de endpoint com meta informações dos schemas;
      7. Melhorias no sistema de download do arquivo principal; 
      8. Melhorias na pz-server-lib
      9. Implementação de novo formato de arquivo mais flexível no upload.
      10. Preparação e (upload no ambiente de testes) de data products variados para servirem de exemplo em tutoriais e para serem utilizados em futuros testes da API.   
   2. LIneA Science Platform
      1. Participação em reunião para levantamento de requisitos e planejamento do serviço de cutouts.
   3. Portal SSO
      1. Participação de reuniões técnicas com o time da 11tech. 
      2. Preparação do ambiente de dev para primeira reunião de checkpoint com 11tech.
      3. Atualização e correção de bugs nos pipelines orbit trace e predict occultation.
      4. Início da integração Portal/Pipelines
      5. Início do review de código das novas implementações.
   4. Portal MaNGA
      1. Onboard na aplicação Manga
      2. Melhorias no ambiente de dev, alteração da imagem docker para não utilizar root.
      3. Atualização dos arquivos megacubo.
      4. Atualização da aplicação para os novos megacubos
      5. Melhoria no código que extrai dados dos megacubos
      6. Melhorias na interface para operações lentas.
      7. Manga início da integração com IFscube

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Configuração do ambiente de testes do Comanage
   2. Feita  configuração nos servidores desdb4 e desdb6 para enviar e-mail de alertas, caso haja algum incidente com o servidor.
   3. Feito a exportação dos usuários das listas de email do mailman, para poder ser importados no Google Workspace listas (grupos).
   4. Realizado correção do erro no sistema de arquivo do Lustre
   5. Realizado a transferência de dados devhome para o homedir do /lustre/t1/ms04/

2. Comunicação, Divulgação e Educação
   1. Desenvolvimento de post para o press release TNO (Telescópio Espacial James Webb usa técnica de ocultação para estudar os anéis de Chariklo).
   2. Criação do formulário de produção acadêmica para afiliados.
   3. Office hours: Rogério Riffel
   4. Bolsas INCT
      1. resultado por parte do comitê gestor
      2. desenvolvimento do formulário para aceite da bolsa
      3. elaboração do texto para informar a seleção do candidato
      4. contato com os selecionados: Flávia Rommel e Douglas Rodrigues
   5. Onboarding: Tatianna (financeiro)
   6. Texto para o recebimento das máquinas para o IDAC
   7. Entrevista com Bruno Morgado sobre o novo artigo para revista Nature
      1. produção do vídeo para divulgação do artigo
      2. postagem nas redes sociais
   8. Revisão do roteiro para o vídeo institucional LIneA
   9. Revisão do texto FNDCT
   10. Informações para o texto “Carta de apoio ao LIneA”
   11. Certificado de extensão – Heloisa
   12. Postagem comemorativa sobre o dia internacional das meninas e mulheres na ciência 
   13. Formulário modelo de perguntas sobre casos científicos para o IDAC
   14. Infográficos para o LIneA em números
   15. Revisão do Jupyter Notebook
   16. Participação do prof. Marcelo Leite no conversando sobre TI

3. Site
   1. Reunião com equipe do COLATIVO para alinhamento 
   2. Orçamento da segunda parte fechado e modo de pagamento combinado.

4. Dashboard para as planilhas
   1. xxxx
   2. xxxx

5. Workflows
   1. GAWA
   2. Photo-z Server
      1. Migração do projeto de desenvolvimento do Jira para o GitHub projects  
      2. Implementação de melhorias no front-end sugeridas por membros do LSST
      3. Continuação desenvolvimento API pz-server-lib e notebook de tutorial para usuários.
   3. Photo-z Compute
      1. Revisão do planejamento e cronograma de atividades para 2023
      2. Contratação e onboarding de novo colaborador 
   4. LIneA Science Platform
      1. Foi instalado um ambiente de testes do daiquiri. está em andamento a integração do daiquiri com a autenticação do linea usando Shibboleth.
   5. Portal SSO
   6. POrtal MaNGA

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Realizado configuração de monitoramento para o tráfego de rede IN/OUT nos servidores GWICX e LOGINICX.
   2. Feito a instalação e configuração de um novo Zabbix proxy para realizar o monitoramento dos host do cluster. 
   3. Iniciado teste de migração do sistema operacional CentOS -7 para uma distribuição Linux 8 (ainda não decidido  qual distribuição será usado Oracle Linux 8, AlmaLinux8 ou Rocky Linux 8), ainda sendo verificado.
   4. Realizado visita no LNCC para troca do disco do Storage ME4084
   5. Realizado a visita no LNCC para troca da fonte do Servidor R740
   6. Realizado a visita no LNCC para manutenção corretiva do Storage ME4084, que não estava reconhecendo os discos.
   7. Realizada a visita no LNCC em conjunto com a Big Blue para a troca da Placa Mãe e de outros componentes no servidor SDSSB3.
   8. Correção do certificado HTTPS do site manga.linea.org.br

2. Comunicação, Divulgação e Educação
   1. Bolsas INCT
      1. organização das inscrições recebidas;
      2. planilha com as informações de cada candidatos; 
      3. solicitação de mentor;
      4. respostas aos e-mails de dúvidas.
   2. Reunião para desenvolvimento do vídeo institucional LIneA/INCT d e-Universo 
   3. Plots para gráficos diversos.
   4. Office hours: Bruno Morgado e Jaderson (BPG). 
   5. Organização dos novos membros do INCT. 
   6. Anúncios: Retorno dos webinares; Oportunidade para pós-docs (CBPF); 
   7. Envio dos certificados para os ICs. 
   8. Envio de certificado para participante do Workshop 2021.
   9. Revisão paper para Nature (Bruno Morgado)
   10. Revisão press release TNO
   11. Diagramação para documento enviado à Ministra.
   12. Postagem nas redes sociais: entrevista dos membros BPG para o jornal Zero Hora.
   13. CSTI: convite para o Marcelo Leite

3. Site
   1. Atualização de links – história LIneA
   2. Reunião com a empresa IN10 – organização das planilhas/data studio
   3. Colativo: Apresentação da proposta de organização do conteúdo do site 

4. Planilha Financeira
   1. xxxx
   2. xxxx

5. LSST
   1. GAWA
   2. Photo-z Server
      1. Reunião com membros do LSST Data Management para apresentação de resultados. Conversão de pedidos e sugestões em issues nos respectivos repositórios. 
      2. Continuação desenvolvimento API pz-server-lib e notebook de tutorial para usuários.
   3. Photo-z Compute
      1. Abertura de contas no Santos Dumont
      2. Continuação testes com RAIL 
   4. LIneA Science Platform
      1. Retomada do desenvolvimento do serviço User Query baseado no software Daiquiri (desenvolvimento pausado em março de 2022)
      2. Levantamento de requisitos para a integração entre os diferentes serviços do LSP (JupyterHub, Science Server, User Query)

1. Atividades de operação e gerenciamento de infraestrutura computacional

1. Foi criado um tutorial básico de registro via COManage e postado no site Documentação para Usuários.
2. Foi realizada a criação do mapa (Zabbix) da topologia de rede do LIneA.
3. Foi realizado as instalações do agente zabbix nos equipamentos do node antigos (centOS-6) para serem monitorados caso aconteça algum incidente.
4. Realizamos também a configuração para o monitoramento via Zabbix, monitoramento de checagem simples via ping nos hosts antigos (CentOS5), para poder ser verificado se estão online.
5. Foram removidas todas as listas de email com o domínio antigo (gov) do maillist, devido não estar mais ativo.
6. Foi detectado links quebrados no site do LIneA com o antigo domínio (gov) os mesmo já foram atualizados para o novo domínio (org).
7. Tentamos fazer a ativação das notificações de incidente nos nodes ICEX, mas não funcionou nas máquinas de modelos SGI e as demais do modemo iLO5 (HPE) não tem licença de uso desse serviço de envio de notificações. A solução vai ser a instalação de um Zabbix-Proxy para poder fazer todo o monitoramento dos nodes ICEX via Zabbix-Server.
8. Simplificação do cadastro no CoManage, para facilitar o processo de criação de usuários do projeto LSST.
9. Correção  da sincronização dos horários nos servidores DBMaster e DBSlave através do Update no serviço NTP.
10. Acionamento a Dell para envio de novo disco para substituição no Storage ME4084.
11. Substituição do certificado do Servidor srvlupa de .gov para .org
12. Ajuste no script utilizado para automatização do reset de senha
13. Ajuste no site de reset de senha 

2. Comunicação, Divulgação e Educação

1. Finalização da versão inicial da página de documentação para os usuários (https://docs.linea.org.br)
2. Elaboração gráfica do convite para o onboarding
3. Anúncios: onboarding; resultado eleições BPG; bolsas INCT; reunião CAT; participação do Rogerio Rosenfeld em mesa redonda (Argentina); apresentação Adriano (Heising Simons); reunião dos conselhos; bolsas INCT; atualização do anúncio para participação do INCT; DES meeting
4. Resultado das eleições BPG (postagem nas redes sociais e informe nº4)
5. Preparação de apresentação para o onboarding.
6. Contato com a Dell (press release) e Serrapilheira. 
7. Elaboração gráfica da agenda para reunião dos conselhos.
8. Resposta aos e-mails com dúvidas (bolsas INCT).
9. Resposta ticket – dúvida sobre registro.
10. Organização dos participantes presentes no onboarding.
11. Certificados estudantes de IC LIneA.
12. Revisão do texto “Minuta CTC e CA” + adição dos tópicos apresentados.
13. Edição do vídeo da reunião dos conselhos LIneA
14. Textos: Onboarding; Reunião dos conselhos LIneA; Finalização das atividades dos bolsistas LSST Corporation. 
15. LIneA News – quarto trimestre.
16. Post de final de ano para redes sociais – Boas festas! 
17. Post de final de ano interno para colaboradores – Boas festas!

3. Site
   1. Contrato fechado com a empresa COLATIVO
   2. Início do sprint para organização do conteúdo (7/12 e 14/12)

4. Planilha Financeira 

5. LSST

1. GAWA
   1. todo
2. Photo-z Server
   1. Foram implementados Unit Tests para o backend/API do pzserver. 
   2. Desenvolvimento de funções do novo serviço Training Set Maker 
3. Photo-z Compute
   1. Estudo da documentação do framework RAIL
   2. Testes de execução do RAIL no Santos Dumont
4. LIneA Science Platform
   1. Atualização dos tutoriais para novos usuários

1. Atividades de operação e gerenciamento de infraestrutura computacional

1. Foram implementadas melhorias no sistema de monitoramento da infraestrutura visando dar transparência aos usuários do BPG LSST e facilitar o acompanhamento da infraestrutura computacional do LIneA, para isso foram desenhados e implementados quadros de monitoramento em tempo real para: todos os sistemas de armazenamento globais; primeira camada de equipamentos de rede (wan). aplicações web e urls importantes para a operação. Além disso foi implementado mapa central de monitoramento com todos os equipamentos de rede disponíveis no ambiente;
2. Foram realizadas mudanças pontuais no website: substituição das urls internas das redes sociais no site do LIneA, disponibilização de acesso pelo site ao Google Classroom
3. Foram implementadas melhorias na documentação com a criação de tutorial básico de registro via COManage e realizada proposta de otimização do registro de usuários no COManage;
4. Foram realizadas diversas atualizações para correção de vulnerabilidades de segurança nos servidores SDSSF1 e SDSSF2 da aplicação web Skyserver;
5. Foi finalizado documento com as etapas do projeto de banco de dados para o IDAC Brasil incluindo suas especificações de configuração de hardware.
6. Foi realizada cotação junto aos fornecedores e avaliação de novas propostas para o novo modelo de roteador para o IDAC (Juniper ACX7024) sob recomendações da RNP;
7. Foi realizada reunião com o Comitê de Assessoramento Técnico para apresentar os resultados alcançados pelos projetos de infraestrutura no último ano e também solicitar aconselhamento com relação aos objetivos de compras e as propostas recebidas para o IDAC Brasil.

2. Comunicação, Divulgação e Educação

1. Chamada BPG-LSST:
   1. Encerramento do processo de escolha dos mentores pelos JAs.
   2. Envio do formulário de aceite para os JAs avulsos.
   3. Encerramento da chamada (16/11)
2. Organização do onboarding.
   1. Elaboração do convite para os membros do BPG
   2. Elaboração da apresentação
3. Elaboração do slide deck para apresentação dos PIs no onboarding.
4. Planejamento 2023 – presencial – (26/10)
5. Documentação: desenvolvimento do texto para os “primeiros passos”
6. Notícias:
   1. Participação do estudante de IC Gabriel na live dos Astrotubers.
   2. Pesquisadora LIneA/INCT do e-Universo recebe fellowship para Oxford.
   3. LIneA cria programa de mentoria para os JAs.
   4. Membros do LIneA participam do XXXII ADASS. 
   5. Mais de 100 brasileiros têm a oportunidade de participar do maior projeto da astronomia 
7. Criação do “Informe BPG”
   1. Informe 1: Onboarding
   2. Informe 2: Boas-vindas aos pesquisadores juniores
   3. Informe 3: Eleições
8. Levantamento das mailing lists do BPG
9. Formulário:
   1. Necessidades computacionais – BPG
   2. Eleições BPG
10. Elaboração dos certificados para os estudantes de IC.
11. Chamada para novos membros do INCT do e-Universo.

3. Site
   1. Definida agência para manutenção do site

4. Planilha Financeira 

1. todo
2. todo

5. LSST

1. GAWA
   1. todo
   2. todo
2. Photo-z Server
   1. Finalização do desenvolvimento da versão BETA (front-end, back-end e API)
   2. Finalização da documentação para o usuário e do tutorial em formato Jupyter Notebook
   3. Criação de formulários de feedback
   4. Criação de formulários para inscrição de usuários com login via GitHub
   5. Apresentação em telecon internacional para membros do LSST
   6. Início da fase de testes com usuários convidados
3. Photo-z Compute
   1. Continuação dos testes do pipeline RAIL com dados do release LSST DP0 e comparação com dados reais do DES SV.
4. LIneA Science Platform
   1. Atualização do tutorial para novos usuários do serviço JupyterHub, divisão do material de apoio em três Jupyter notebooks.
   2. Documentação para o usuário no hub central de documentação do LIneA 
   3. Correção de bugs no back-end relacionados ao autosave e logout (em andamento)

1. Atividades de operação e gerenciamento de infraestrutura computacional

1. Foram implementadas melhorias no sistema de monitoramento da infraestrutura visando dar transparência aos usuários do BPG LSST e facilitar o acompanhamento da infraestrutura computacional do LIneA, para isso foram executadas as seguintes atividades:
   1. Iniciado o desenho de quadro de monitoramento incluindo a criação de scripts para coleta de dados de todos os sistemas de armazenamento globais;
   2. Configuração e a integração de protocolo de monitoramento na storage MIS 5600i com o Zabbix, incluindo a ativação do envio de alertas de incidentes críticos por email
   3. Configuração do sistema CloudIQ de monitoramento ativo da Dell nos servidores e nas storages do sistema de arquivos lustre.
2. Reconfiguração e recuperação do site do BPG LSST com a correção das urls internas que apontavam para o antigo domínio do LIneA;
3. Com o objetivo de reduzir a possibilidade de erros e agilizar o registro de contas foi feito o desenho do processo de registro de usuários e implementada automação de tarefas manuais utilizando a ferramenta Ansible; 
4. Foi implementado site docs.linea.org.br com a ferramenta Mkdocs e implementado processo de integração e entrega contínua para a renderização do site com a integração do repositório na plataforma Github.com. Este site conterá a documentação base para os usuários do BPG LSST e parte do ambiente do IDAC Brasil.
5. Foi realizada a revisão de contas de usuários conforme definido na Política de Segurança da Informação do LIneA com o objetivo de manter a segurança do ambiente em geral;
6. Foi realizado em conjunto com a engenharia de HPC da HPE o mapeamento da infraestrutura do cluster de processamento Icex-Apollo com o objetivo de identificar problemas e levantar informações para a integração com os novos nós de processamento Apollo 2000 que estão próximos de serem entregues.
7. Foi realizada visita ao datacenter em conjunto com a empresa A3 Soluções Tecnológicas para a avaliação dos cabos de rede do cluster Icex-Apollo que apresentam deterioração devido ao calor intenso na parte traseira dos equipamentos.
8. Foi realizada com a Unitech e a engenharia da Dell reunião de alinhamento para discutir sobre a proposta de expansão do atual sistema de arquivos Lustre, visando a aquisição de equipamentos de armazenamento de dados para o IDAC Brasil.
9. Foram realizadas reuniões com o time da Timbira para a definição do modelo de arquitetura do sistema de banco de dados para o IDAC Brasil, tendo sido definido que será adotado um modelo misto de servidor e storage que seja resiliente, seguro e que permita a instalação futura de servidor secundário a fim de oferecer redundância ao banco de dados.
10. Foi provisionado ambiente com a primeira versão do LIneA Science Platform no endereço lsp.linea.org.br;

2. Comunicação, Divulgação e Educação

1. Chamada BPG-LSST:
   1. Anúncio da continuidade do processo para os JAs inscritos via formulário.
   2. Anúncio da reunião de boas-vindas para os PIs.
   3. Resposta aos e-mails de dúvidas.
   4. Organização dos JAs com os mentores.
   5. Reunião de “boas-vindas ao BPG-LSST” (27/09)
2. Problema com mailchimp — resolvido
3. Blog sobre a reunião de boas-vindas e post nas redes sociais
4. Revisão do “Manual de boas-vindas” — atualização de links e textos.
5. LIneA News 3º trimestre.
6. Anúncios Ideas Workshop e Oportunidade LSSTC.
7. Atualização de informações do LIneA no site do LSSTC Catalyst Fellowship. 
8. Proposta de participação do estudante de IC Gabriel de Oliveira em live dos Astrotubers — programada para 26/10
9. Revisão do Planejamento Estratégico (Jul/Dez de 22)
10. Blog sobre o resultado geral da chamada do BPG-LSST.
11. Revisão press release DELL
12. Reunião interna BPG: Definição do processo de eleições.
13. Encontro presencial para alinhamento do Planejamento Estratégico (13/10)
14. Aviso de prorrogação do prazo para escolha do mentor no BPG (JAs inscritos via forms).
15. Oportunidade de bolsa FAPERGS (bolg, post nas redes sociais e mailchimp).
16. Office hours: forms para solicitação e atualização da planilha
17. Atualização de todos os formulários do site — link para redes sociais e notificação de preenchimento.
18. Contato com responsável pela área de divulgação científica da Serrapilheira — pendente.
19. Envio de e-mail para os JAs com o profile de cada PI do BPG 
20. Contato com agências de manutenção para o site.

3. Site
   1. Levantamento de erros ou bugs.
   2. Busca de agência para manutenção — em andamento.

4. Planilha Financeira 

1. Foi realizada a correção da fórmula de cálculo de empenhos incluindo a correção no quadro de apresentações da ferramenta datastudio (dashboard)

5. LSST

1. GAWA
   1. Continuação de testes no ambiente Santos Dumont com dados de entrada em torno de 8 mil graus quadrados;
   2. Implementação de melhorias na configuração de recursos computacionais com Parsl.
2. Photo-z Server
   1. Implementação de melhorias no front-end – textos explicativos, correção de bugs na ferramenta de upload, expansão da lista de formatos de arquivos permitidos e simplificação da tela de produtos. 
   2. API – continuação do desenvolvimento da biblioteca pz-server-lib com funções para consulta de dados e metadados de forma programática,  documentação para o usuário e Jupyter Notebook tutorial.
   3. Criação de produtos científicos “falsos” simulando os futuros data products que serão utilizados no PZ Server para testar as ferramentas de download, upload e as funções da API. 
3. Photo-z Compute
   1. Criação de conta no Santos Dumont para novo desenvolvedor.
   2. Continuação do estudo do software RAIL e do gerenciador de workflows ceci, desenvolvidos pelo LSST. Testes preliminares com dados do release LSST DP0.  
4. LIneA Science Platform
   1. Disponibilização de URL para ambiente de produção.
   2. Alimentação das páginas de conteúdo (about, tuorials, contact)

Atividades de operação e gerenciamento de infraestrutura computacional:

• Foram realizadas reuniões de alinhamento com fornecedores para entendimento e ajustes nas propostas para o servidor de banco de dados e o roteador para o IDAC;
• Foram realizados ajustes no projeto de banco de dados para o IDAC em parceria com a Timbira consultoria, sendo o projeto alterado de banco distribuído para servidor único devido às recomendações do Rubin Observatory (LSST);
• Foi preenchido e enviado o relatório anual referente à contribuição in-kind para o projeto IDAC Brasil do Rubin Observatory (LSST);
• Em parceria com a RNP foi iniciada a transferência de dados do DR2 (imagens fits e ptifs) para o ambiente do LIneA;
• Criação e disponibilização de quadro de monitoramento em tempo real das máquinas de processamento apollo, também foram disponibilizados links públicos no web site para essas interfaces;
• Correção de problemas de segurança com a atualizações dos diversos servidores web disponíveis na infraestrutura (nginx e apache) incluindo o servidor de acesso à infraestrutura (sistema de login);
• Implementação de sistema de monitoramento e de alertas para transferências de dados não usuais na infraestrutura;
• Realização de visita técnica ao centro de dados em Petrópolis para efetuar troca de discos e resolver problemas na infraestrutura do cluster Lustre
• Implementação de melhorias na configuração do servidor de cópias de segurança (Bacula) para automatizar e evitar intervenções humanas.

Comunicação, Divulgação e Educação:

• Chamada BPG:
  • Contato com a comissão para retomada da escolha dos JAs; 
  • finalização das informações dos PIs e JAs por áreas; 
  • envio das informações para os PIs e JAs
  • Contato com PI (adicionou um PI como JA)
  • reunião interna com membros do BPG para definição da reunião de “boas-vindas”; 
  • doodle para escolha da data da reunião
  • texto e elaboração do convite para “boas-vindas”;
  • preparação da apresentação de “boas-vindas”
• Flávia da Matta: logotipo IDAC Brasil e roteiro para vídeo institucional.
• Chamada para interessados na 19ª SNCT 
• Relatórios de IC Heising Simons (João Victor e Maisa)
• Publicação nas redes sociais: TON
• Declaração de encerramento Gabriel de Sousa Oliveira (LSSTC)
• Projeto para Serrapilheira: revisão do texto e adição dos logotipos + rodapé

LSST:

• GAWA workflow
  • Implementadas melhorias no código de simulações dos campos estelares a serem analisados pelo código Gawa: as simulações agora podem ser feitas sobre um campo com qualquer ângulo sólido. Além disso foram feitas rodadas de teste no cluster do Linea de forma a analisar o tempo computacional das rodadas. Foram também produzidas simulações com grandes áreas (cobrindo 5000 graus quadrados);
  • Correção de bugs ao retirar candidatos duplicados. Rodadas utilizando esquemas de paralelização Parsl e Dask no supercomputador Santos Dumont de forma a determinar qual a melhor abordagem.
• PZ in-kind
  • PZ Compute pipeline
    • Estudo do pipeline RAIL, preparação para testes no Santos Dumont 
  • PZ Server plataform
    • Iniciado o desenvolvimento da API de acesso a dados hospedados na plataforma via código Python e preparação de Jupyter Notebook de tutorial para apoio a usuários. 
    • Implementada a autenticação via Github para usuários de um determinado time dentro de organização do Github

• LIneA Science Platform
  • Criação e disponibilização de URL para de ambiente de testes
  • Implementação da versão inicial da landing page no ambiente de testes

Atividades de operação e gerenciamento de infraestrutura computacional:

• Continuação da execução do plano de migração do domínio linea.gov.br para linea.org.br, o qual incluiu as seguintes atividades:
  • Correção de links internos na plataforma wordpress que abriga o site de desenvolvimento e de produção
  • Migração das ferramentas de automação de infraestrutura jenkins, rundeck e o sistema de status e histórico de incidentes
  • Alteração dos emails de notificação nas interfaces de administração iLO e iDRAC dos servidores
  • Migração do sistema de identificação e autorização IdP e SATOSA, incluindo a adição de atributos para a eduGain no IdP;
  • Identificação nos arquivos do site entradas hardcoded para linea.gov.br
  • Alteração dos endereços dos servidores e dispositivos de infraestrutura no Zabbix
• Foram implementadas melhorias no sistema de monitoramento com as seguintes atividades:
  • Integração do sistema de monitoramento Zabbix com o Grafana
  • Instalado e configurado o servidor de monitoramento do kubernetes (metrics-server)
  • Implementados quadros de monitoramento para o ambientes do kubernetes e do servidor JupyterHub para os usuários;
• Realizada a expansão do cluster kubernetes com a instalação e configuração dos nós de trabalho kworker06, 07 e 08;
• Foi realizada a atualização do servidor IdP da versão 3.x para a 4.x. Também foi necessário reconfigurar a relação de confiança entre as aplicações e o novo servidor incluindo nova homologação junto à Comunidade Acadêmica Federada – CAFe;
• Foram organizadas reuniões de alinhamento com a empresa especializada em consultoria de banco de dados para ajustes na proposta do IDAC;
• Realizada visita ao datacenter para troca de discos e manutenção corretiva em sistemas;

Comunicação, Divulgação e Educação:

• Chamada BPG: Blog com panorama geral das candidaturas recebidas; atualização e envio do formulário PIs e JAs; planilha com informações dos PIs e JAs por áreas; 
• Troca dos e-mails das redes sociais (gov para org).
• Elaboração da chamada de bolsa para pós-docs e ICs.
• Blog sobre a participação dos membros LIneA no PCW 2022
• Anúncios: Webinar ICs HS; Novos PIs do BPG; Banco de dados fora do ar; Participação de membros do LIneA no PCW 2022. 
• Termo de Compromisso – voluntário Adriano
• Declaração de encerramento de bolsa – Andressa Wille
• Site: adição de link com nomes dos colaboradores LSST 

LSST:

GAWA workflow:

• Introdução do GAWA ao cluster SDumont;
• Início de testes com diferentes configurações e elaboração de relatório comparativo; 
• Implementação de documentação no GAWA com Github Pages; 

PZ in-kind:

• PZ Compute pipeline:
  • Continuação de testes utilizando novas configurações;
• PZ Server plataform:
  • Implementação de autenticação com Satosa/Github;
  • Reestruturação do mecanismo de upload de produtos;
  • Início da Implementação de biblioteca de acesso a Pz Server API;
  • Início da Implementação de tratamento da autenticação via Satosa, por obtenção de token interno;
  • Criação de mecanismo que viabiliza acesso a API via token por aplicação/usuário.

Atividades de operação e gerenciamento de infraestrutura computacional:

• Definição e execução do plano de migração do domínio linea.gov.br para linea.org.br, o qual incluiu as seguintes atividades:
  • Avaliação e diagramação do serviço de resolução de nomes (DNS);
  • Criação e configuração de novas zonas nos servidores de resolução de nomes, com redirecionamento automático da antiga para a nova zona;
  • Configuração de novo domínio nos servidores de email e de listas de emails, incluindo a manutenção de contas de email;
  • Configuração de apontamentos para redirecionar mensagens eletrônicas do antigo domínio para o novo;
  • Reconfiguração dos servidores web com a implementação de páginas de encaminhamento automático para os novos endereços;
  • Reconfiguração das diversas instâncias da plataforma wordpress;
  • Reconfiguração e recriação de certificados SSL para os aplicativos e serviços web;
  • Reconfiguração de servidores e equipamentos de rede;
• Avaliação das propostas de serviços de banco de dados e de computação de alta performance para o IDAC;
• Definição de atividades estratégicas para o Planejamento Estratégico 2022-2023;

Comunicação, Divulgação e Educação:

• Chamada BPG-LSST: Apoio logístico; Preparação de material com informações dos JAs e PIs; Elaboração do formulário de aceite PIs e JAs; Comunicado aos PIs aptos e em lista de espera.
• Reorganização da planilha de novos usuários. 
• Blogs: Office Hours para o Jupyter Hub; Aula colaborativa entre PACE e LIneA; Migração de domínio (gov.br para org.br)
• LIneA News segundo trimestre.
• Anúncios: Migração de domínio; PCW; Enabling Science.
• Reuniões: Modificações no logotipo do IDAC Brasil; Publicidade da PSI LIneA (CAIS).
• Desenvolvimento de roteiro para video institucional
• Planejamento para o 2º semestre
• Organização do Webinar apresentado pelos ICs LIneA.
• Entrevista com o Diretor LIneA liderada pela DELL.
• Atualização do username das redes sociais (linea_org).

Treinamento: 

• Piloto: Read the docs and MK doc (aplicado para os ICs)

LSST:

WAZP workflow:

• Definição de estrutura organizacional de compartilhamento de resultados e inputs na loginicx
• Criação de repositório no github.

GAWA workflow:

• Integração do Parsl no gerenciamento de jobs paralelos
• Definição de estrutura organizacional de compartilhamento de resultados e inputs na loginicx
• Melhorias na performance do GAWA: definição de particionamento por tiles e adoção do Lustre (inputs e outputs)
• Introdução do Dask ao cluster ICEX

PZ in-kind:

• PZ Compute pipeline:
  • Integração ao ambiente SDumont
  • Transferência do DP0  para o SDumont e outputs para o LIneA, e medição taxa de transferência
  • Execução do PZ Compute no SDumont com o DP0 Full
  • Execução do PZ Compute no cluster ICEX com os recursos similares ao da rodada no SDumont e comparação dos resultados.
• PZ Server plataform:
  • Melhorias no layout e correção de pequenos bugs.
  • Iniciada integração com Satosa.
  • Iniciada reestruturação da interface de upload.
  • Reunião de alinhamento com representante do LSST.

Atividades de operação e gerenciamento de infraestrutura computacional:

• Implementada aplicação para tratamento de logs no proxy SATOSA e adicionadas regras personalizadas no sistema de detecção de intrusão OSSEC para captura de eventuais informações de uso do proxy de autenticação SATOSA;
• Instalação e configuração da ferramenta de escaneamento de vulnerabilidades em rede Openvas com apoio do Centro de Atendimento a Incidentes de Segurança da RNP (CAIS/RNP);
• Implementado processo educacional interno em cybersegurança que visa o envio de alertas e avisos aos usuários do ambiente do LIneA;
• Finalizada a adoção do framework SIRTFI (Estrutura Confiável de Resposta a Incidentes de Segurança para Identidade Federada) com a implementação de diversos processos, procedimentos e ferramentas de cybersegurança;
• Iniciada a avaliação das diversas propostas de equipamentos e serviços enviadas pelos fornecedores para a implementação do IDAC Brasil;
• Implementado o monitoramento via Zabbix dos endereços das diversas aplicações mantidas pelo time de TI do LIneA incluindo a notificação do estado de cada uma delas;
• Preenchimento e envio de relatório técnico com as entregas do segundo trimestre de 2022 para o projeto BRA-LIN-S1 referente a instalação do Independente Data Access Center (IDAC) conforme acordo com a colaboração internacional LSST.
• Implementadas melhorias na plataforma JupyterHub visando a disponibilidade e adequação de recursos computacionais conforme perfis dos usuários.

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Adaptação dos componentes subsets_separation, photoz_train, photoz_valid e dnf para rodar com os dados do LSST DP0 que possuem colunas faltantes.  
• Implementação de classificação estrela/galáxia no pipeline VAC Cluster Simulation baseada na classificação disponível no release LSST DP0. 

Comunicação, Divulgação e Educação:

• Entrevistas BPG: contato com candidatos e apoio logístico nas entrevistas.
• Anúncios: bolsa LSST Corporation; evento IAC DES; andamento da chamada BPG; evento DESCam 10 anos; evento Workshop DESI; lançamento Jupyter Hub; webinário CNPq e vídeo INCT.
• Forms para feedback dos usuários Jupyter Hub
• LIneA News: Nova sede LIneA e Lançamento Jupyter Hub
• Texto de liberação do SIRTFI

Minicurso: 

• Planejamento do curso Read the docs e MK docs.

Site:

• Atualização da página de artigos

LSST:

LSST Portal:

• Reunião de brainstorm e planejamento para o desenho da landing page do LInea Science Platform. 

PZ in-kind:

• Pz Compute:
  • Início preparatório para execução no SDumont;
• PZ Server:
  • Adicionada autenticação por token com base no usuário e senha do database;
  • Finalizada a integração entre front-end e back-end;
  • Finalizada primeira versão da aplicação, disponível em: https://pz-server-dev.linea.gov.br/
  • Relatório trimestral da in-kind contribution;
  • Reunião de alinhamento com representante do LSST.

Atividades de operação e gerenciamento de infraestrutura computacional:

• Atualização e reorganização do plano de trabalho para a instalação do Independent Data Access Center (IDAC) para o LSST com o objetivo de melhorar a visibilidade no acompanhamento das tarefas e também adequar melhor os prazos acordados;
• Realizado o levantamento e a diagramação das conexões de rede para o plano de atualização da rede local e sua integração ao IDAC Brasil;
• Definição do roteiro de desenvolvimento e entrega do LIneA Science Platform para o IDAC Brasil;;
• Foram realizados e documentados novos testes de performance no ambiente Lustre FS com a ferramenta FlexibleIO;
• Foram realizadas novas reuniões de alinhamento de requisitos com diversos potenciais fornecedores para a instalação do IDAC Brasil;
• Realizada a atualização dos ambientes de produção e desenvolvimento do website do LIneA bem como da plataforma wordpress e de todo o conjunto de módulos.
• Realizada a instalação e configuração de servidor dedicado ao armazenamento temporário de vídeos das reuniões administrativas do laboratório, incluindo a automação das transferências de vídeos da nuvem do aplicativo Zoom para a rede local;
• Foi realizada a instalação e configuração do novo servidor de aplicações bem como a migração de todas as aplicações do antigo servidor para este novo;

Comunicação, Divulgação e Educação:

• Termo de Outorga (novo bolsista)
• Termo de advertência (bolsista)
• Programação mensal do webinar 
• Vídeo INCT do e-Universo para a CNPq
• Anúncios: Esclarecimento sobre o funcionamento LIneA; Reunião IDAC UK; Problema com o Google maps; InfraDay; Evento Cosmo 22; Evento DES. 
• Formulário para feedback dos voluntário LIneA Jupyter Hub
• Formulário de interesse em novos cursos LIneA. 
• Reunião do CA (data marcada).

LSST:

GAWA workflow:

• Integração da nova estrutura de diretórios e melhorias no código.

PZ in-kind:

• Pz Compute:
  • Inclusão de pequeno conjunto de dados para teste no repositório;
  • Adicionada nova forma de registrar os logs dos jobs paralelos;
• PZ Server:
  • Deploy da aplicação em ambiente de teste;
  • Início da integração entre front-end e back-end;
  • Início da implementação da autenticação via Github
  • Implementação da interface “Data Products”

Atividades de operação e gerenciamento de infraestrutura computacional:

• Foi realizada a atualização do JupyterHub para correção de brechas de segurança (v1.4.2 > v1.5.0). Foram implementadas melhorias no código do sistema de autorização e de configuração de recursos computacionais com base no perfil do usuário, e implementada nova interface de apresentação que permite ao usuário ter a visão do seu perfil no ambiente. Também foi alterada a versão da imagem do servidor Jupyter Notebook.
• Foram organizadas reuniões subsequentes de alinhamento com diversos fornecedores de equipamentos e de serviços com o objetivo de apresentar mais detalhes acerca dos requisitos para o Centro de Dados Independente para o LSST (IDAC).
• Foi realizada a atualização de todos os servidores web existentes no ambiente com o objetivo de corrigir brechas de segurança e proporcionar maior estabilidade aos sistemas web e também a migração do sistema operacional do servidor de aplicações (EUPS) da versão obsoleta CentOS6 para a CentOS7.
• Foi realizado assessoramento técnico com a elaboração de relatório de justificativa técnica para a aquisição de equipamentos para expansão do cluster de processamento (HPE Apollo) que será disponibilizado para uso exclusivo do IDAC Brasil.
• Foi implementada melhoria no sistema de monitoramento dos servidores físicos com a configuração de envio de alertas de problemas de hardware por e-mail.

Descrição de serviços Melhorias nas plataformas científicas:

• TNO
  • Foi corrigido um bug com Astropy no pipeline Orbit Trace. 
  • Foi corrigido um bug no registro dos resultados gerados pelo Orbit Trace. 
• Science Server
  • Foi realizada uma alteração na página de instruções de login e cadastro nos serviços do DESaccess.

Comunicação, Divulgação e Educação:

• Postagens sobre a chamada pública do BPG-LSST
• LIneA News trimestral 
• Organização do material educativo LIneA no Google Classroom
• Blogs diversos
• Anúncios diversos
• Chamada para o BPG-LSST: finalização das inscrições; organização do material recebido; blog com estatísticas.
• 2ª Reunião da comissão de admissão BPG-LSST
• Revisão do material para a colaboração LIneA e PACE
• Termo de custeio para viagem dos bolsistas LSST Corporation

LSST:

GAWA workflow:

• Correção de bug ao usar o Parsl com o mr_filter em paralelo. O Parsl foi removido temporariamente pois o workflow tem que ser reformulado;
• Reunião com colaboradores e o time de TI  para definir mudanças estruturais e documentação do código;

PZ in-kind:

• Estudo de como utilizar autenticação oauth com Github + Django no Pz Server;
• Reestruturação do código do Pz Server para facilitar a integração do frontend com o backend;
• Criação de documentação inicial de como instalar o Pz Server no ambiente de teste e produção;
• Criação do pipeline de Contínuos Integrations do repositório.

Atividades de operação e gerenciamento de infraestrutura computacional.

• Instalação e configuração de ambiente JupyterHub em produção. Com a implementação de mudanças visuais e estruturais na interface de seleção de imagens. Também foi corrigido o sistema de identificação quando o usuário efetua o registro e o acesso por login de rede social (Google).
• Realizados testes de validação da instalação do novo sistema Skyserver e CASJobs do projeto Sloan Digital Sky Survey (SDSS) incluindo a verificação dos dados ingeridos. Instalação de cliente de monitoramento Zabbix nos servidores deste ambiente.
• Levantamento de requisitos técnicos em conjunto com o fornecedor de equipamentos de HPC para a aquisição de novos equipamentos que visam a expansão do cluster ICEx-Apolo e criação de relatório técnico 
• Migração das instâncias do ScienceServer de produção e desenvolvimento ora instaladas em servidor virtual para uma máquina física utilizando a tecnologia de containers docker.
• Realizado upgrade do servidor web Nginx que serve de porta de acesso para as aplicações e portais web.
• Preenchimento e envio de relatório técnico com as entregas do primeiro trimestre de 2022 para o projeto BRA-LIN-S1 referente a instalação do Independente Data Access Center (IDAC) conforme acordo com a colaboração internacional LSST.
• Organização e apresentação da reunião com fornecedores visando a aquisição de equipamentos para o IDAC (LSST).

Descrição de serviços Melhorias nas plataformas científicas:

JupyterHub:

• Entrega da versão inicial da biblioteca dblinea (oferece leitura dos dados do banco via comandos Python de dentro do JupyterHub) no github (disponível para instalação via pip ou conda).
• Registros de listas de targets no science server a partir da biblioteca dblinea.
• Jupyter notebook de tutorial para novos usuários 
• Implantação da versão baseada em kubernetes no ambiente de produção (URL padrão), desativação do ambiente de testes.  

 Science Server:

• Foi implementado autenticação via Token API, para permitir o acesso pela biblioteca dblinea. Foi criada uma interface que permite ao usuário gerenciar seu Token.
• Sobre a ferramenta Daiquiri, foi feito handover do Matheus para Glauber e Cristiano. Foi corrigido um problema de dependência, foi feito uma pequena documentação sobre o estado atual da ferramenta e sua instalação em ambiente de desenvolvimento. 

DES Portal:

• Disponibilização dos dados do LSST, release DP0.1 no portal (join de dados espalhados em diferentes arquivos, ingestão no banco e cópia no Lustre, registro como novo release/dataset) 

Comunicação, Divulgação e Educação:

• Reunião Comissão de admissão BPG. 
• Elaboração da carta convite para fornecedores e convidados especiais – IDAC Brazil.
• Atualização do Manual de Boas-vindas
• Chamada pública BPG: organização de Q&A, cartas de recomendação, planilha com candidaturas, posts especiais para a chamada.  
• Apresentações: Resultado parcial das candidaturas para o BPG; Tutorial de Registro nos perfis públicos.
• Anúncios diversos.
• Lançamento e tutorial do Jupyter Hub (beta). 
• Revisão da mensagem para cadastro de novos usuários.
• Alinhamento da parceria LIneA + PACE.

LSST

PZ in-kind:

• Protótipo de front-end concluído: landing page e upload page  (implementação local, na máquina do desenvolvedor, código disponível no github). 
• Protótipo de back-end concluído: API, banco de dados administrativo e ferramenta de upload (implementação local, na máquina do desenvolvedor, código disponível no github). 

GAWA workflow:

• Criação de repositório do GAWA no github;

• Adaptação do código original para funcionar em qualquer ambiente com um conjunto pequeno de dados;
• Adicionada paralelização ao código usando Parsl;

Atividades de operação e gerenciamento de infraestrutura computacional.

• Criação de playbooks ansible para automatizar a montagem e desmontagem de diretórios remotos NFS e Lustre, e a instalação dos agentes zabbix e sssd nas máquinas clientes.
• Revisão do processo de registro de usuários através da ferramenta COManage registry e da documentação de entrada de novos usuários
• Iniciados testes para validação final da instalação do novo sistema de arquivos lustre
• Atualização do inventário de equipamentos de uso dos colaboradores e dos servidores e equipamentos de rede do LIneA
• Realizada instalação de ambiente de desenvolvimento da plataforma JupyterHub sobre o Kubernetes.
• Realizada transferência dos dados do SDSS-IV DR17 para a rede interna e foram disponibilizados servidores para instalação dos sistemas SkyServer e CasJobs em servidor Windows.
• Realizada a migração do novo site do ambiente de desenvolvimento para o de produção. Tendo sido mantido o antigo site no ar porém em endereço diferente.

Descrição de serviços Melhorias nas plataformas científicas:

JupyterHub:

• Atualização da instalação do JupyterHub no Kubernetes para fazer o spawn a partir de uma imagem docker única
• Melhorias na página inicial (front-end)
• Criação de biblioteca para acesso a dados públicos (DES DR2) e conexão com o Science Server
• Preparação de tutorial para usuários iniciantes na plataforma

DES Portal:

• Atividades regulares (testes, produção de catálogos, etc)
• Correção de bugs no pipeline do DethMap Y6 com arquivos healpix.
• Investigação de problema de estouro de memória com o pipeline WAZP quando usado em simulações do LSST.

Comunicação, Divulgação e Educação:

• Elaboração de documento com “Perguntas e Respostas” para as dúvidas do BPG.
• Lançamento do LIneA Office Hours (Tecnologistas + cientistas do BPG).
• Anúncios diversos
• Planejamento de reuniões: Comissão BPG, Comitê Organizador, Fornecedores (IDAC Brazil). 
• Alinhamento da parceria LIneA + PACE.
• Informe de adiamento do tutorial e lançamento do Jupyter Hub.
• Postagem para o “dia internacional das meninas e mulheres na ciência”

Site:

• Organização dos afiliados.
• Organização dos colaboradores LIneA.
• Revisão do cadastro de colaboradores

LSST

PZ in-kind:

• Design document (continuação)
• Documentação no formato mkdocs no github
• Cronograma de entregas para 2022
• Implementação de versão inicial de teste do banco de dados administrativo da plataforma PZ Server (em desenvolvimento)

Atividades de operação e gerenciamento de infraestrutura computacional.

• instalação e configuração de ambiente para implementação de nova versão do website principal do LIneA, incluindo a migração da antiga versão do website para a nova versão;
• Implementadas melhorias e correções no servidor JupyterHub de testes instalado no Kubernetes: alteração na interface de apresentação de imagens docker, integração a autenticação via federação CAFe; migração da url jupyter-dev para jupyter;
• Início do descomissionamento do servidor JupyterHub single.
• Iniciada a criação de ambiente de desenvolvimento para as ferramentas e aplicações de Identificação e Autorização;
• Migração dos backends do proxy Satosa da federação de identificação e autorização CAFe expresso para CAFe;
• Instalação e configuração do agente zabbix em todas as máquinas do cluster apolo e nas virtualizadoras;

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Disponibilização do conjunto de dados DES Y6 Gold particionado em HEALPix no novo Lustre
• Disponibilização do conjunto de dados LSST DC2 particionado em arquivos balanceados e em HEALPIx no novo Lustre
• Alteração do scratch do portal para o novo Lustre
• Correção de bugs no pipeline Photo-z Training causados pela ​reestruturação da LDAP do LIneA

LIneA JupyterHub:

• Iniciada a escrita da documentação de apoio ao usuário
• Notebook tutorial LineA JupyterHub Primeiros Passos
• Início do desenvolvimento da biblioteca de acesso a dados (linea_db) 

TNO:

• O pipeline de Orbit Trace, está sendo integrado ao pipeline de Predict Occultation na intenção de aproveitar o gerenciamento de processos que será implementado para a predição .

Comunicação, Divulgação e Educação:

• Press release (APOGEE e MaNGA)
• Formulário para inscrições do BPG-LSST
• Plano de Governança BPG-LSST
• Elaboração do documento com orientações estudantes de iniciação científica
• Anúncios: chamada BPG, novo site, novos estudantes de IC
• Contato com voluntários para acesso ao Jupyter Hub LIneA
• LIneA News especial
• Blogs diversos

Site:

• Revisão dos conteúdos para as páginas
• Atualização da página ciência (LSST)

Planilha Financeira 

• Pequenas correções
• Lançamento de despesas

Atividades de operação e gerenciamento de infraestrutura computacional.

• Finalização e submissão do plano de trabalho do IDAC 2022-2038 cobrindo todos os aspectos para a instalação e manutenção do Centro de Dados para o LSST;
• Reinstalação do servidor JupyterHub de testes no cluster kubernetes;
• Instalação do servidor Zabbix proxy com o objetivo de organizar melhor o sistema de monitoramento facilitando a captura local de métricas e dados no datacenter;
• Cópia e disponibilização das imagens HiPS (6TB) no novo ambiente Lustre para uso das aplicações de análises científicas (science server);
• Revisão e submissão do documento ao DAGSer/RNP para a análise da proposta de instalação e disponibilização do serviço de autenticação e autorização do LIneA (Stack IdP) na Comunidade Acadêmica Federada (CAFe);
• Disponibilização do novo site para o workshop lsst-brazil2021;
• Revisão e disponibilização de documentação para inicialização e desligamento dos equipamentos no datacenter;

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Inclusão de novos usuários “tasters”, treinamento e realização de testes nos pipelines E2E.  

Science Server:

TNO:

LSST

LSST Portal:

• Reformulação do workflow PZ Parsl com o código de Photo-z CMNN para viabilizar a comparação entre resultados do LSST DP0 e DES Y6.
  • Utilização do conjunto de treinamento default do próprio código
  • Adaptação para falta da banda-u no DES Y6 (código originalmente hardwired para 6 bandas).

Comunicação, Divulgação e Educação:

• Aplicação do curso de github (avançado)
• Notícias/blogs diversos
• Planejamento para chamada do BPG
• Organização e realização do evento LSST Brazil
• Organização para seleção de bolsistas Heising Simons Foundation
• LIneA News 4º trimestre 
• Live com youtubers (Astrotubers)
• Post sobre a entrada do LSST no Guinness Book 

Site:

• Atualização do site LSST Brazil (vídeos, apresentações, Q&A)
• Ajustes no novo site LIneA

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementada solução para integração e sincronização das instâncias de desenvolvimento e produção do website oficial do LIneA;
• Criado e apresentado em reunião de alinhamento com representante do LSST o rascunho do plano de trabalho do IDAC 2022-2035;
• Realizada visita no datacenter para reparo de sistemas e de rede, e troca de discos nos servidores DESDB6, KWORKER02, MDS2, VIRT14 e VIRT16;
• Implementada integração entre diferentes bancos de dados com a criação de tabelas estrangeiras para a interface de consultas Daiquiri;

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Criação de arquivos balanceados do dataset Y6A2 Gold usando o cluster Spark.
• Inclusão de novos usuários no grupo Pipeline Tasters

Science Server:

• Implementado filtro aos objetos submetidos a cutout no DESaccess, para evitar que objetos fora do footprint do DES sejam processados. 

TNO:

• Finalizado a imagem docker responsável pela predição de ocultações estelares e o refinamento de órbita.
• Implementado o registro dos resultados das predições no banco de dados
• niciada avaliação dos resultados comparando com os obtidos usando o novo código SORA
• Iniciada a próxima etapa de transformar o pipeline em um serviço que possa funcionar com tarefas agendadas. 

LSST

LSST Portal:

• Início de desenvolvimento com Spark (AXS):
  • Criação de cluster Spark utilizando o HTCondor + Lustre
  • Definição de particionamento para o AXS
• Documentação PZ Server: criação de diagramas de casos de uso e entidade relacionamento.
• Conversão de formato fits para parquet do dataset Y6A2 Gold. 

Comunicação, Divulgação e Educação:

• Anúncios diversos
• Escrita de Blogs 
• Organização do evento LSST Brazil 2021
• Certificados do curso git básico
• Formulários para solicitações
• Contato com youtubers para colaboração no evento LSST Brazil

• Aplicação do curso git básico
• Organização e lançamento do curso git avançado

Site:

• Layout para página de colaboradores LIneA
• Desenvolvimento do site para o evento LSST Brazil 2021
• Desenvolvimento do site para o curso de git avançado

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementadas as regras de segurança para as senhas de usuários no novo LDAP, bem como foi iniciada a documentação técnica e também de usuários; foi instalado o servidor slave03 no PoP-RJ e integrado o servidor de emails Zimbra ao novo LDAP; Também foi realizada a atualização de sistema da máquinas IdP e implementadas melhorias na ferramenta web de troca de senhas;
• Foi realizada a atualização do sistema gerenciador de bancos de dados PostgreSQL para a versão 13.4 e em seguida efetuada a migração de todos os bancos de catálogos astronômicos para esta nova versão;
• Foram realizados os testes de transferência de dados (DP0) entre a DTN e o IN2P3 na França e foi finalizado seu relatório técnico;
• Foi apresentado ao LSST o rascunho do documento do plano de trabalho para o IDAC.

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

TNO:

• Foi criada uma imagem docker, contendo o NIMA e o PRAIA OCC programa responsável pela predição de ocultações estelares, agora temos as 2 etapas, refinamento e predição sendo executadas pela mesma imagem, o pipeline foi alterado para utilizar a nova imagem, estamos agora trabalhando no registro dos resultados da predição.  

Comunicação, Divulgação e Educação:

• Apresentação “Conheça o LIneA” para os candidatos à bolsa LSST Corporation
• Acompanhamento do processo seletivo dos bolsistas LSST Corporation
• Participação LIneA na 18ª Semana Nacional de Ciência e Tecnologia
• Anúncios diversos
• Escrita de Blogs 
• LIneA News especial 

Minicurso: 

• Organização do curso de Git básico
• Planejamento dos cursos: Github e Gitflow, Aplicações para a astronomia

Site:

• Layouts para páginas diversas

Planilha Financeira 

LSST

LSST Portal:

Atividades de operação e gerenciamento de infraestrutura computacional.

• Iniciada a execução do plano de implementação das tecnologias de identificação e autorização (stack IdP) no ambiente de produção visando atender aos requisitos do IDAC (LSST), que incluiu a instalação de novos servidores LDAP com Debian 11, habilitação de criptografia, instalação da ferramenta de administração LAM (LDAP Account Manager), a substituição do antigo cliente LDAP nscd para sssd e a migração das aplicações para o novo ambiente;
• Implementadas correções no item sanções e punições da Política de Segurança da Informação conforme orientações do CAIS/RNP;
• Instalação e disponibilização da versão de testes do Jupyter Hub no Kubernetes, incluindo o controle de recursos computacionais com base no perfil do usuário.
• Iniciados testes de transferência de dados (DP0) entre a DTN e o IN2P3 na França, com objetivo de obter métricas;
• Iniciado rascunho do documento de plano de trabalho para o IDAC.

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Reativação de alguns datasets na interface Dashboard

TNO:

• Finalizado o pipeline de Refinamento de órbita utilizando NIMA e toda a parte de aquisição de inputs a partir de serviços externos como MPC e AstDys. O pipeline foi implementado em uma imagem docker que está sendo executada no cluster Condor, para isso foi desenvolvido uma api para comunicação entre o Condor e o portal TNO. 
• Iniciamos o desenvolvimento do pipeline de Predição de Ocultação, no momento estamos na parte de aquisição dos inputs necessários, à próxima fase é a execução no cluster utilizando a mesma solução da etapa anterior.

Comunicação, Divulgação e Educação:

• Material para a divulgação da Semana Nacional de Ciência e Tecnologia.
• Divulgação de bolsa do LSST Corporation.
• Press Release Templeton Foundation
• Press Release LINCC
• Escrita e revisão de blogs
• Material de divulgação científica para redes sociais
• LIneA News nº 56

Minicurso: 

• Preparação do material para o minicurso de Git e GitHub.
• Certificados para os minicursos (LIneA Science Server e Jupyter Notebook) 

Site:

• Mudanças na infraestrutura e no processo de instalação e atualização do wordpress e de seus módulos adicionais (plugins).
• Atualização de plugins e do framework do site (wordpress).
• Implementação de perfil editor para usuários que manterão conteúdo sem o poder de administrador. 
• Mudança no conteúdo em diversas áreas do site novo.
• Mudanças na navegabilidade
• Atualização dos textos para as colaborações científicas. 
• Organização do conteúdo História e Associação LIneA. 

Planilha Financeira 

• Melhorias para atender novas demandas de visualização dos gastos.

LSST

LSST Portal:

• Início da integração do código CMNN ao pipeline Photoz-parsl.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Revisão da Política de Segurança com a equipe de governança de segurança da RNP (CAIS), sendo necessárias pequenas correções; iniciado também a implementação dos requisitos técnicos de conformidade com o framework SIRTIFI;
• Iniciado a plano de reorganização da infraestrutura de servidores e da rede;
• Realizados testes de performance nas duas áreas de armazenamento do novo lustre com o objetivo de homologar a instalação; também foi realizado o upgrade do sistema do switch Dell da solução. Além disso foi criada e disponibilizada a documentação técnica para administração do novo ambiente lustre;
• Expansão do cluster kubernetes com a adição de três nós ‘workers’;
• Implementado no Zabbix versão de testes de dashboard de monitoramento do cluster kubernetes;
• Iniciado plano de implementação do conjunto de tecnologias de identificação e autorização (stack IdP) no ambiente de produção visando adequação aos requisitos do IDAC (LSST);

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Manutenção de pipelines do Data Preparation. Identificação de problemas nos mapas de Foreground Objects e substituição pelo mapa corrigido.

TNO:

• Finalizado o desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES utilizando Parsl para processamento no Cluster HtCondor. 
• Iniciamos o desenvolvimento do pipeline Refine Orbit, está sendo implementado as integrações com serviços do MPC para aquisição de parâmetros orbitais e observações.  

Comunicação, Divulgação e Educação:

• Desenvolvimento dos anúncios para primeira página do site.
• Escrita e revisão de blogs.
• Regulamento e Termo de Outorga para bolsas LIneA e LSST Corporation.
• Press Release Templeton Foundation.

Minicurso: 

• Organização e seleção dos inscritos.
• Instruções para os selecionados.
• Formulário de satisfação.
• Criação e edição de conteúdo para divulgação.
• Confecção de material didático e disponibilização no Github.
• Aulas e apoio online para os alunos.

Site:

• Revisão dos textos das colaborações científicas.
• Adição do Manual de boas vindas ao site.
• Criação de páginas e atualização de conteúdo no novo site do LIneA.
• Ajustes de navegação no menu lateral e menu superior.

Planilha Financeira 

• Revisão das planilhas do INCT, FINEP e Bolsa de Produtividade e Organização de documentação.
• Criação e ajustes de relatórios com dados da planilha feito no Data Studio.

LSST

LSST Portal:

• Criação de particionamento balanceado do DP0 com Apache Spark no cluster do LIneA.
• Início do design do novo pipeline Training Set Maker e Photo-z Sever. 
• Criação de método para iniciar cluster Spark standalone no HTCondor.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Transferência do catálogo DP0 (2.5TB) do LSST da França para o Brasil;
• Realização de mais testes com a ferramenta FIO para validação da solução Lustre operando a 100Gbps integrada ao cluster Apollo; criação da documentação de administração dos equipamentos incluindo seu cadastro na plataforma PNIPE do Ministério da Ciência e Tecnologia.
• Implementação da solução SATOSA integrado ao provedor de identidades do LIneA à CAFe;
• Definição e criação de política de segurança da informação e suas normas complementares visando a integração do provedor de identidades do LIneA ao CILogon (LSST);

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Melhorias no pipeline Galaxy Properties para ler de arquivos balanceados e com consolidador paralelo. 
• Correção de erros nos dados que alimentam o pipeline Photo-z Compute e criação de produtos de photo-z com os dados do Y6.
• Melhorias e adaptações no componente query builder e nos pipelines de criação de VACs (GA, GE, Cluster) para entrar em conformidade com as mudanças presentes no catálogo Y6A2 Gold v2.0. 

LSST Portal:

• Iniciado o design da plataforma Photo-z Server
• Iniciado testes com Apache Spark no cluster do LIneA

TNO:

• Desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES. A etapa de integração  do código científico ao portal está completa. 
• Finalizado testes com Parsl, estamo
• Testes de escalabilidade e performance sendo realizados. 

Comunicação, Divulgação e Educação:

• Preparação de enquetes de opinião para comunidade
• Desenvolvimento do manual de boas vindas para novos membros
• Escrita e revisão de blogs
• LIneA News trimestral
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Desenvolvimento dos anúncios para primeira página do site.

Minicurso: 

• Preparação das aulas e material didático para o Minicurso Jupyter Notebook
• Atualização do site dos Minicursos com registro de participantes
• Criação de imagem docker customizada com as bibliotecas Python que serão utilizadas nas aulas
• Disponibilização de um JupyterHub isolado para ser acessado pelos alunos, separado do ambiente de produção. 
• Preparação do conteúdo para o site do minicurso

Site:

• Organização do conteúdo de comunicação.
• Apresentação dos resultados das enquetes aplicadas até o momento. 
• Colaboração de diversas áreas na organização estrutural do novo site

Planilha Financeira 

• Revisão da planilhas do INCT, FINEP e da Bolsa de Produtividade

LSST

• Participação na apresentação sobre as propriedades do DP0 e do Rubin Science Platform

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Foi realizada a integração das 16 máquinas Apollo ao novo sistema de arquivos Lustre, tendo sido necessária a reconfiguração da rede infiniband, a instalação de novo driver da interface de rede e a criação e instalação de novas imagens de sistemas. O novo sistema de arquivos está acessível em /lustre/t0 e /lustre/t1.
• Foram realizados testes de performance a fim de identificar se o novo sistema de arquivos está de acordo com o especificado (100Gbps). Os resultados foram apresentados na reunião semanal de infraestrutura do LIneA.
• Foi instalado novo servidor de monitoramento Zabbix e habilitado monitoramento ativo nas máquinas do novo sistema de arquivos Lustre.
• Foi instalado e disponibilizado para testes o sistema de gerenciamento de conjunto de dados científicos chamado Dataverse.
• Foi realizado o download das imagens .ptiff do release DES DR2
• Foi realizado o registro de usuários “LIneA” no novo sistema de gerenciamento COManage

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Foi finalizada a instalação do Science Server no LIneA para atender a comunidade Brasileira.
• Instalação/Registro Catálogo Delve NGC55 no Science Server Público, foi necessário desenvolver mecanismos de permissão para que o catálogo e as imagens ficassem disponíveis apenas para usuários do grupo DELVE.
• Correção de Bugs no Science Server Público.
• Registro das imagens de mapas do release Y6A2 no Science Server da colaboração e do LIneA.

DES Portal:

• Foi finalizada a instalação do dataset Y6A2 GOLD.
• Foi realizada a adaptação do pipeline Star Galaxy Separation (novo pipeline) para trabalhar com o particionamento por arquivos balanceados.
• Foi realizada a limpeza de produtos obsoletos no database Postgres de catálogos. 
• Foram realizadas investigações/adaptações em pipelines e na infra-estrutura do DES Portal em virtude do novo dataset Y6A2 GOLD.
• Foi feita investigação de ferramentas para monitorar os produtos do database Postgres de catálogos. 

LSST Portal:

• nenhuma atividade

MaNGA:

• nenhuma atividade 

TNO:

• Continuamos no desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES. Toda a etapa de preparação dos dados de entrada já está pronta. Estamos integrando o código científico ao portal e testando a ferramenta de paralelização Parsl que permitirá o processamento desses dados no cluster. 

Comunicação, Divulgação e Educação:

• Administração das redes sociais LIneA.
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Desenvolvimento dos anúncios para primeira página do site.
• Desenvolvimento do edital para a bolsa de iniciação científica para a LSST Corporation.
• Press Release das publicações referentes às análises realizadas com os dados do release DES-Y3
• Lançamento da Plataforma LIneA Science Server no Brasil. 
• Atualização de mala direta.
• Desenvolvimento de material para novos integrantes LIneA.

Minicurso: 

• Planejamento para aplicação dos módulos I e II. 

Site:

• Atualização do calendário de eventos.
• Desenvolvimento do novo layout para vídeos.
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Organização do conteúdo para webinars e vídeos de reuniões.

Planilha Financeira 

• Criação da planilha de Orçamento FINEP

Planejamento 

• Avaliação das atividades para os próximos seis meses.
• Avaliação da entrega parcial do planejamento estratégico. 

LSST

• Relatório BRA_LIN Profile explorer com detalhamento das atividades dos pipeline scientists. 

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Iniciada a instalação e adequação do ambiente JupyterHub na plataforma Kubernetes e sua integração ao sistema de autenticação federada.
• Implementadas mudanças na rede infiniband do cluster icex-apollo para a correta integração ao ambiente do novo sistema de arquivos lustre
• Foram levantados os requisitos necessários para criação e implementação de uma política de segurança da informação com o objetivo de atender às exigências da Comunidade Acadêmica Federada (CAFe) e do World Data System (WDS).
• Iniciado o levantamento e a documentação das faixas de rede do LIneA, também de suas rotas e seus endereçamentos IP associados aos hosts.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Foi implementado melhorias na integração com o DESaccess para geração de cutouts e está sendo desenvolvido um sistema de permissões para as informações de Releases visando a instalação do science server no Brasil com dados públicos e privados.

DES Portal:

• Ingestão do dataset Y6A2 Gold v2.0 no database gavo.
• Criação de Jupyter Notebook para validar dados fotométricos (datasets).
• Remoção dos datasets Y3 Gold e Y3 Gold Medium.

LSST Portal:

• Criação de proposta de uso do cluster HTCondor através de  containers/Jupyter Notebooks.

MaNGA:

• Inserção do Google Analytics para monitoramento do tráfego na aplicação;
• Integral Field Unit (IFU) Viewer: exibição de não-valores ao redor da área hexagonal de dados;
• Notificação de lançamento do MaNGA em produção.

TNO:

• Foi iniciado o desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES. 

Comunicação, Divulgação e Educação:

• Escrita e revisão de blogs.
• Administração das redes sociais LIneA.
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Desenvolvimento dos anúncios para primeira página do site
• Proposta de solicitação de bolsa de iniciação científica para a LSST Corporation..

Minicurso: 

• Módulo I: orientação para os inscritos, aplicação do módulo, formulário de avaliação do módulo, confecção dos certificados.
• Módulo II: avaliação do módulo, contato com a comissão para relatório.

Site:

• Atualização do calendário de eventos.
• Desenvolvimento do novo layout.
• Implementação do menu lateral.
• Implementação do card “anúncios”
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Organização do conteúdo.

Planilha Financeira 

• Criação da planilha de Orçamento FINEP

Planejamento 

• Avaliação da entrega final do planejamento de marca feito pela empresa Propósito.
• Avaliação da entrega parcial do planejamento estratégico.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Foram definidas normas e procedimentos de segurança para atender a requisitos de segurança necessários à integração do IdP LIneA à rede federada internacional;
• Iniciado planejamento para criação da documentação de política de segurança da informação;
• Foi realizada a atualização dos sistemas do serviço Skybot;
• Finalizado o download dos catálogos DR2 do Dark Energy Survey.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Integração do Science server com autenticação federada, e alterações na aplicação para o ambiente do LIneA. 

DES Portal:

• Normalização dos nomes dos pipelines VACs no database.
• Início da exportação das imagens Aladin do dataset Y3A2 para o NCSA.
• Investigação de erros no pipeline VAC Cluster com o dataset Y3 Deep.
• Correção de erro na submissão de processos no ambiente de produção.
• Investigação de problemas com a ingestão do dataset DC2 Run DR3.-

Dashboard:

• Correção de um bug no qual não carregava todos os dados/processos de um pipeline
• Ajuste para melhor visualização dos resultados (aumento de tamanho e disposição dos dados na tela)

MaNGA:

• Criação de mail list para comunicação interna.

Comunicação, Divulgação e Educação:

• Escrita e revisão de blogs.
• Administração das redes sociais LIneA.
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Minicurso: 

• Organização do módulo I para apresentação ao público (data e hora)
• Estrutura do conteúdo para o site do minicurso destinado ao módulo I.
• Acompanhamento no desenvolvimento do encarte para o módulo I.
• Contato com a comissão avaliadora para o módulo II (escolha do dia e hora)
• Apresentação teste do módulo II
• Reuniões gerais sobre o curso.
• Imagem de apoio na divulgação do curso.

Workshop

• Reuniões para alinhamento final.
• Monitoramento via YouTube.
• Atualização das redes sociais LIneA durante e após o evento.

Site

• Adição do card em carrossel com imagens sobre a missão do LIneA.
• Organização dos ícones de serviços na página inicial.
• Reestruturação da apresentação para o card de produtos.
• Implantação do calendário na página principal apresentando os eventos diários internos e externos.
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Postagem de blogs com notícias LIneA.
• Implementação de uma imagem para divulgação do curso.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Realizada migração das listas de email para o novo ambiente.
• Disponibilizado ambiente de homologação do serviço de identificação e iniciada documentação de administração e uso do COManage.
• Iniciada a homologação do cluster kubernetes com a instalação e configuração de aplicações básicas.
• Realizado levantamento da carga de trabalho dos serviços críticos para possível migração nuvem (cloud computing).
• Realizada atualização completa do servidor principal que hospeda os sites do LIneA.
• Iniciada implementação da ferramenta de detecção de intrusão OSSEC no ambiente.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Modificações na aplicação Target Viewer para integração com banco de dados do LIneA.
• Levantamento de requisitos e início da implementação do Explorer para cluster de estrelas. 

LSST Portal:

• Correções no site do bpg-LSST que apresentava avisos na tela de funções obsoletas gerando um impacto visual negativo no website.

DES Portal:

• Correção de bugs no novo dashboard.
• Mapeamento de tabelas antigas e obsoletas. Limpeza do banco de dados para liberação de espaço.
• Instalação de novos datasets: DES Y6A2 SOF, LSST simulação DC2

Comunicação, Divulgação e Educação:

– Acompanhamento do curso: Reunião e blog sobre a avaliação módulo I, planejamento para apresentação do módulo I ao público. Organização para avaliação interna e formação de comissão avaliadora externa para o módulo II.

– Escrita e revisão de blogs.

– Administração das redes sociais LIneA.

– Planejamento anual: Formação de Recursos Humanos.

– Acompanhamento da pesquisa de opinião: divulgação, reunião sobre resultados, workshop. 

– Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.

Workshop: 

• Reuniões de alinhamento e validação de conteúdo para o site.
• Atualização do site com a programação e ampla divulgação nas redes sociais LIneA (Facebook, Twitter e Site).
• Elaboração de uma página informando a quantidade de inscrições por país (observação de dados).

Site:

• Criação do sidebar à direita (notícias) com os últimos blogs postados.
• Identificação das colaborações científicas apoiadas pelo LIneA.
• Identificação dos serviços realizados pelo LIneA na página principal.
• Desenvolvimento de uma página para novos membros terem acesso às ferramentas (SSO Portal, Science Server, MaNGA Portal) desenvolvidas pelo LIneA.
• Implantação do calendário na página principal apresentando os eventos diários internos e externos.
• Organização da pasta de vídeos.
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Separação da barra lateral em duas entradas (blogs e twittes). 
• Post de blogs com notícias diversas relacionadas ao LIneA.

Planilha Financeira 

• Diversas reuniões para levantamento de requisitos, entendimento de nomenclatura e associações de dados. 
• Criação de páginas com cálculos na planilha financeira para alimentar o Data Studio.
• Criação de 8 Páginas no Data Studio referente a dados e cálculos com base na planilha financeira do LIneA, levanto em consideração as agências, contas e rubricas.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Reinstalação e configuração de servidores físicos para o cluster Kubernetes
• Realizada a transferência de de parte do conjunto de imagens do NCSA/DES DR2 para o ambiente do LIneA, bem como sua disponibilização na versão local da aplicação Science Server. 
• Iniciada a migração do serviço de listas de email para uma nova versão e também foi reinstalado o cluster de armazenamento lustre (atual).
• Iniciada investigação para corrigir problemas de integração da rede infiniband entre o ambiente atual e o nova storage lustre que está em fase de instalação.
• Foram definidos e implementados em ambiente de testes os fluxos de registro da plataforma de gerenciamento de identidade e autorizações COManage.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Integração do target viewer ao ambiente do LIneA para a versão pública dos dados do DES.

LSST Portal:

• Estudo da ferramenta AXS para integração dos resultados do LePhare com o dataset Y6 Gold Small
• Desenvolvimento parcial da componente de validação e avaliação da qualidade de redshifts fotométricos. Documentação completa e tutorial com Jupyter Notebook de demonstração. Reprodução de resultados publicados para o LSST Data Challenge I (Schmidt et al. 2020).

DES Portal:

• Implementação de solução no pipeline VAC para eliminar dependência de RA e Dec nos mapas.
• Implementação das bandas extras no componente Query Builder (u, J, H, Ks) e nas configurações do VAC GE e Cluster.
• Substituição do atributo ordering: de ring para nest no header do mapa de footprint criados no pipeline VAC.
• Ingestão, registro e adição de colunas no dataset Y6A2 SOF V2.
• Geração de catálogos científicos para os pipelines de Cluster e Galaxy Evolution utilizando dados do conjunto Y3 Deep, como desdobramento da atualização do banco de dados de redshift espectroscópicos. 

–

Comunicação, Divulgação e Educação:

– Workshop: revisão de textos, desenvolvimento da arte e divulgação (redes sociais e parceiros) e suporte/manutenção do site.

– Site: Alteração da identidade visual, modificação da estrutura para a introdução de novos conteúdos e suporte/manutenção. 

– Elaboração do planejamento 2021 (divulgação e engajamento com a comunidade).

– Administração das redes sociais LIneA (Twitter, Facebook, Blog).

– Pesquisa de opinião: revisão de textos, levantamento de instituições, divulgação.

– Acompanhamento do curso LIneA (comissão avaliadora, reuniões).

– Elaboração de material didático para o curso (apresentações e Jupyter Notebooks educacionais).

– Organização de reuniões.

– Estudo para definir as tarefas de melhoria na planilha financeira (transparência). 

Workshop: 

• Criação de arte para divulgação como banner no site do LIneA
• Inserção de conteúdo no site, dados dos palestrantes, títulos e descrições das palestras e modificação na forma de exibir o conteúdo.

Site:

• Criação de novo bloco na sidebar a direita para exibir eventos públicos do LIneA.
• Modificação do bloco para carrossel (ficar alterando os eventos de tempo em tempo).
• Substituição da logo antiga pela nova e ajustes de tamanho, proporção e coloração.
• Alteração de conteúdos diversos como afiliados, textos de páginas e redirecionamento para refletir algo real e fidedigno.

Planilha Financeira 

• Estudo sobre a planilha atual para gerar entendimento que será usado para promover alterações que irão facilitar e agrupar a visualização de dados.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Instalado e configurado sistema de virtualização Proxmox em cluster de alta-disponibilidade (migrado do oVirt devido a bugs identificados), também foram migradas todas as máquinas virtuais (VMs) para este ambiente e configurado backup automático.
• Integração e automação do gerenciador de registros COManage ao IdP do LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Implementação da interface de entrada e do Google Analytics, criação e edição de vídeos-tutoriais.
• Transferidos e disponibilizados os dados do DES DR2 do NCSA para o LIneA, implementação de criptografia com certificados SSL em containers docker. 
• Entrega da nova versão do Science Server no NCSA.

Solar System Portal:

• Implementação da interface de entrada do SSO Portal e criação de wireframes (representações de interfaces).

DES Portal:

• Otimização no sistema de paralelização de código no componente DNF do pipeline científico de cálculo de redshifts (Photo-z);

LSST Portal:

• Migração de códigos científicos para o Github e reestruturação visando adequação à futura infraestrutura do Portal LSST. 
• Continuação do trabalho de otimização do pipeline que calcula o redshift.

Comunicação, Divulgação e Educação:

• Desenvolvimento do curso LIneA (remoto) voltado para comunidade.

• Organização dos documentos oficiais e planejamento de um novo bloco de notícias na página inicial do site.

• Organização de reuniões sobre o site e do conteúdo apresentado ao público (geral e cientistas) do futuro site. Atualização do site.

• Apoio na implementação do site workshop 2021 LIneA.

• Apoio na preparação, publicação e divulgação do lançamento DES-DR2, em parceria com outras instituições públicas.

Relatório detalhado

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Foi instalado e configurado o hypervisor de virtualização Proxmox (migrado do oVirt para o Proxmox devido a problemas identificados após a instalação deste), configurado em cluster de alta-disponibilidade
• Migradas todas as máquinas virtuais (VMs) do antigo ambiente de virtualização para o novo. Realizados benchmarks e configurado backup automático das VMs.
• Integração e automação do sistema de gerenciamento de registros COManage ao provedor de identidade do LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Implementação da interface de entrada da plataforma com login e acesso rápido as interfaces, edição de vídeos tutoriais para o uso das aplicações e implementação do analytics para mapeamento do tráfego de usuários.
• Instalado e configurado sistema de renovação automática de certificados SSL Let ‘s Encrypt em containers docker e transferidos, ingeridos e disponibilizados os dados do Data Release 2 (DR2) do NCSA para o ambiente do LIneA.
• Entrega da nova versão do science server ao NCSA para disponibilizar a segunda versão dos dados públicos do DES (DR2).

Solar System Portal:

• Implementação da interface de entrada do SSO Portal e criação de wireframes (representações de interfaces) com o propósito de gerar debates sobre a nova interface a ser implementada.
• Reunião de planejamento para os próximos desenvolvimentos.

DES Portal:

• Otimização no sistema de paralelização de código no componente DNF do pipeline científico de cálculo de redshifts (Photoz);

LSST Portal:

• Migração de códigos de pipelines científicos para o Github e refactoring nos mesmos visando adequação à futura infraestrutura do Portal LSST no contexto do LIneA Science Platform. 
• Continuação do trabalho exploratório procurando otimizar o pipeline que calcula o redshift fotométrico  de maneira a permitir seu uso para o volume de dados esperado para o LSST.

Comunicação, Divulgação e Educação:

• Planejamento e desenvolvimento do Curso LIneA (remoto) voltado para comunidade, visando aplicações à astronomia e uso de novas ferramentas.
• Levantamento e organização dos documentos oficiais LIneA – disponível em local de fácil acesso para toda equipe. Planejamento para melhor disposição dos vídeos no site.
• Organização de reuniões sobre o site. Detalhamento dos principais tópicos e temas abordados pelo LIneA que serão apresentados ao público (geral e cientistas), buscando uma maior fluidez na navegação e entendimento do futuro site. Atualização do site atual (afiliados) e planejamento de futuras mudanças na páginas inicial (bloco de notícias, webinars)

• Implementação de uma interface com informações sobre o workshop 2021, na qual será possível ver todo o cronograma, registrar-se para participar do workshop promovido pelo LineA e ter acesso a informações complementares.

• Apoio na preparação, publicação e divulgação da informação que o DES, em parceria com o LIneA, tornaram público seis anos de dados com o DR2.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Instalação e configuração do Gerenciador Integrado de Administração do Lustre e do novo sistema de arquivos Lustre;
• Instalação e configuração em cluster do sistema gerenciador de virtualização oVirt e conclusão da instalação do novo ambiente de login e desenvolvimento do LIneA;
• Atualização do sistema gerenciador integrado de identidade COManage e iniciados testes de validação com módulo de integração ao LDAP do LIneA;

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Realizada a transferência e a disponibilização dos dados públicos do DES (DR2) a partir do NCSA nos EUA para o ambiente do LIneA em Petrópolis.
• Implementação de melhorias e criação de vídeos demonstrando o uso da plataforma. 

Solar System Portal:

• Foi iniciada a construção de um Dashboard para consolidar todas as informações administrativas do portal.
• Realizada reunião de avaliação do portal com apresentação da plataforma aos pesquisadores do grupo TON.

DES Portal:

• Implementação de jupyter notebook para a comparação dos mapas sistemáticos com releases anteriores;
• Implementação de jupyter notebook para a pipeline GAWA (em andamento);
• Adaptações dos pipelines para poder analisar os dados das regiões observadas com maior profundidade usando uma estratégia diferente do levantamento principal.

LSST Portal:

• Continuação do trabalho exploratório procurando otimizar  o pipeline que calcula o redshift fotométrico  de maneira a permitir seu uso para o volume de dados esperado para o LSST.

Comunicação, Divulgação e Educação

• Discussões sobre o desenho do novo site do projeto.
• Início da elaboração de cursos de treinamento para o uso das plataformas científicas

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Integração dos servidores apollo 2000 ao ambiente do novo sistema de arquivos Lustre, tendo sido instalado um novo switch infiniband de 100 Gbps e movidos os cabos de diversos servidores e equipamentos de rede.
• Implementada nova configuração lógica na rede do LIneA para integrar o atual ambiente com o novo do sistema de arquivos Lustre; Instalação e configuração de ambiente de testes com sistema de arquivos GlusterFS distribuído e replicado em conjunto com solução de virtualização de sistemas.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Integração ao novo sistema DESaccess e à funcionalidade de cortes de imagens com nova versão do serviço de Cutout, ambos disponibilizados pelo NCSA, correção de bugs e falhas de segurança com a atualização do framework Django Python para a versão 2.2

Solar System Portal:

• Foi finalizada a versão 2.0, com mudanças conceituais e estruturais no portal e na etapa Descoberta com a adição de identificação de objetos conhecidos no sistema solar, também foi implementada a etapa Download que automatiza a transferência de dados de CCDs descobertos.

DES Portal:

• Melhorias na paralelização dos mapas sistemáticos e implementação do novo pipeline científico GAWA para descoberta de galáxias anãs.
• Execução de testes de performance do pipeline Photo-z Compute explorando o uso de compressão de dados, também foi modificada a API para vincular conjuntos de dados aos pipelines e iniciado o desenvolvimento da nova versão do pipeline Photo-z Compute tendo como base a biblioteca Parsl.
• Investigação e correção de falhas na ferramenta Export e implementação de melhorias na classificação de dados no pipeline Spectroscopic Sample.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Levantamento de ambiente de virtualização abrangendo servidores e rede física e lógica dos clusters de virtualização.
• Apresentação e discussão com os stakeholders do plano de reorganização, otimização e redistribuição no uso de recursos computacionais já existentes
• Atualização do sistema e a migração das aplicações e serviços para plataforma virtualizada a fim de liberar recursos físicos para o cluster kubernetes.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Implantação de nova landing page
• Correção de consultas ao banco administrativo e bug na ferramenta de upload de dados, 
• instalação automática de certificados de criptografia via web em containers

Solar System Portal

• Desenho de interface para o sistema de refinamento e predição de órbita de objetos
• Implementadas melhorias para otimizar a leitura de imagens por meio de compressão de dados e corrigidos erros na visualização dos CCDs dos objetos.

DES Portal:

• Implementação de melhorias na aplicação que identifica e separa estrelas de galáxias 
• Iniciada a adaptação das aplicações Training Set Maker e Photo-z Training visando a compatibilidade com o próximo conjunto de dados do DES. 
• Ampliação da pipeline que faz os mapas sistemáticos de forma a incorporar conjuntos de dados com diferentes partições do céu (DEEP FIELDS)

Descrição do serviço Proposta de criação do Centro de Acesso a Dados para o Legacy Survey of Space and Time (LSST):

Foram realizados o levantamento de requisitos e o dimensionamento de infraestrutura de TI necessária para a criação de um Centro de Acesso a Dados para o projeto LSST.

Com o objetivo de adequar parte da infraestrutura do LIneA ao novo modelo computacional gerido via software, e adotado pelo LSST, foi dado andamento ao provisionamento de um cluster kubernetes em máquinas virtuais e iniciado o planejamento de sua expansão em máquinas físicas, considerando o uso de recursos já existentes. 

Também foram iniciados testes de implantação e integração da plataforma científica do LSST e do servidor Jupyter Hub no cluster kubernetes.

Descrição de serviços Melhorias no Portal Sistema Solar:

Foram iniciadas a implementação de: melhorias nas interfaces de apresentação com a criação de um novo visual, integração ao serviço de identificação e de autorização do LIneA, otimizações nas consultas em banco de dados e no algoritmo de calibração astrométrica da versão beta do Portal SSO, que é uma aplicação web sendo desenvolvida para realizar predições de ocultações estelares por pequenos corpos do Sistema Solar a partir de dados astronômicos produzidos por levantamentos astronômicos como o DES e o LSST.

---

JULIA

As atividades realizadas em Outubro/2020 por Julia Gschwend estão divididas em três frentes de trabalho: preparação para o LSST,  desenvolvimento de software (manutenção) para o DES e auxílio administrativo. Na primeira frente destacam-se: a participação no evento LSST Operations Bootcamp, organizado pelo projeto LSST, e das subsequentes reuniões de debriefing com o time de TI do LIneA para transferência de conhecimento; a leitura de documentação do LSST (ex.: LSST DM developer guide, LSST DESC Science Roadmap, LSST DESC Coding Guidelines, DESC Software Policies);  e a preparação de slides e participação em 3 edições do evento Conversando Sobre TI com convidados externos, discutindo temas relevantes para o desenvolvimento do futuro Portal Científico LSST do LIneA e a futura operação do Brazilian IDAC. Na segunda frente de trabalho, as atividades mais relevantes foram: a atualização e versionamento do pipeline Star/Galaxy Separation no DES Science Portal para a inclusão do método BDF_T, aplicável ao conjunto de dados Y3 Deep (DEEP FIELDS); e a adaptação dos pipelines Training Set Maker e Photo-z Training visando a compatibilidade com o conjunto de dados Y3 Deep. Na frente administrativa, destacam-se: a coordenação de reuniões com a equipe de TI para planejamento e acompanhamento das tarefas realizadas; e a contribuição para a escrita e/ou revisão de documentos diversos (ex.: ementa do curso de Introdução à Astronomia Moderna, Carta de Intenção para o MCTI, Termo de Referência, definição das atividades de educação e divulgação científica).

ADRIANO

As seguintes atividades foram desenvolvidas no LIneA em Outubro/2020 por Adriano Pieres, dando prosseguimento a atividades anteriores. Houve uma grande participação do membro do LIneA no evento LSST Operations Bootcamp e nas subsequentes reuniões de debriefing sobre o encontro, onde se pode comparar as últimas tecnologidas a serem utilizadas pelo novo levantamento no futuro e como adaptar as atuais utilizadas pelo LIneA. Houve também participação em reuniões semanais sobre planejamento e avaliação do andamento de atividades da equipe do LIneA. Foram também complementada a documentação, feitas atualizações no código e testes com a pipeline que produz mapas das condições de observação para a última liberação de dados do Dark Enery Survey (Y6A2) e para os campos profundos (DEEP FIELDS) do DES, sendo possivelmente extendidas ao LSST. Houve também interação e participação do membro do LIneA nas reuniões da colaboração do Dark Enery Survey, também interagindo com o grupo de TI na solução de problemas em ferramentas de visualização da colaboração. Por fim, como contribuição significativa, está em andamento o desenvolvimento/implementação de uma pipeline para descoberta de galáxias anãs/aglomerados estelares no portal científico do LIneA, com possível uso com dados do LSST.