Faça uma busca
Faça uma busca

Relatório de atividades

Veja abaixo os relatórios das atividades realizadas pela equipe nas diversas áreas do LIneA.

Filtrar por:
Limpar filtros
53 resultados encontrados

2024 / Dezembro

2024 / Dezembro

Atividades de Planejamento e Gestão

  • Assinatura de convênio com a FINEP
  • Abertura de conta para receber recursos FINEP
  • Cadastramento do LIneA no Instituto de Inteligência Artificial
  • Reunião presencial de planejamento (10/12)
  • Contratação HPE para instalação de novos nós no cluster Apollo
  • Renovação de bolsas

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

  • Com o apoio do PoP-RJ/RNP foi finalizado o processo de aquisição do Autonomous System Number (ASN) junto ao registro.br, necessário para a desvinculação das redes do LIneA do ASN LNCC;
  • Reunião de alinhamento com os técnicos da Laniaq para ajustes na configuração do equipamento recém instalado;
  • Contratação da firma WHanna HPC para apoiar o time de infraestrutura na reinstalação do cluster ICEX;
  • Realizadas tratativas junto ao CNPq e à HPE para a importação da nova storage para o IDAC Brasil;
  • Contratação da HPE para execução dos serviços de garantia e suporte, e instalação e configuração dos nós de administração e acesso do cluster apollo;

Gestão de dados

  • Investigação sobre a qualidade das imagens HIPS geradas a partir de dados do LSST, ajuste fino de configurações baseado na comparação com o DES. 
  • Criação de skinny tables do LSST DP0.2 no formato HDF5 para alimentar algoritmos específicos no pipeline photo-z compute.
  • Conversão de tabelas de dados do LSST e dados públicos do DES DR2, DESI EDR, Gaia DR3 e 2MASS para o formato de particionamento espacial hierárquico HATS.  
  • Correção de problemas nos índices espaciais Q3C na tabela do 2MASS no banco de dados;

Apoio ao usuário

  • Desenvolvimento e implementação de aplicação de apoio aos usuários para exibição de endereço IP público;
  • Implementada nova página de aviso de registro direto no website do LIneA;
  • Foram realizados trinta e seis atendimentos aos usuários via sistema de chamados e agendamento de office hours;
  • Em andamento o apoio ao projeto iMaNGA através de Office Hours paraa otimização de código e instruções de boas práticas de uso do cluster de processamento. Ticket #14786;
  • Iniciada a implementação de novas filas Slurm exclusivas para os membros da colaboração LSST e BPG-LSST. [card 433]

Operação e projetos

  • Realizada instalação e configuração do novo servidor de banco de dados do IDAC Brasil para o projeto LSST;
  • Iniciada a implementação da solução de banco de dados PostgreSQL com a assessoria da firma Timbira;
  • Instalação e configuração básica do novo roteador, incluindo o cabeamento e habilitação de acesso remoto;
  • Implementadas melhorias no sistema de backup do website;
  • Realizada a atualização do sistema de gerenciamento de contas do LDAP;
  • Implementadas melhorias no sistema de gerenciamento do Cluster – slurm como, rotação de logs e banner de instruções; 
  • Iniciado o processo de avaliação de compatibilidade do sistema de armazenamento Lustre com o SO Rocky 8.6;
  • Implementadas melhorias sistema de monitoramento de storages permitindo o monitoramento individual dos discos;
  • Finalizada a cópia de segurança das licenças das interfaces de gerenciamento iDRAC dos servidores Dell/
  • Iniciada a avaliação do sistema de monitoramento Prometheus;
  • Realizada a atualização da aplicação GDrive bem como foram implementadas melhorias no script de monitoramento e de download de vídeos da nuvem do Zoom;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

  • Melhorias nas páginas de conteúdo sobre a ferramenta (página About) 

IDAC Science Science Server

  • Front-end novo Target Viewer: configuração do ambiente; instalação do React, Node, Nextjs, Material UI; implementação da página Home contendo a lista de catálogos; acesso a um catálogo específico e a página de registro do catálogo; página de detalhes para catálogos, lista de registros da tabela e Aladin linkado ao target selecionado; página de registro de um novo catálogo; formulário dividido em steps, com informações básicas do catálogo e interface para associação de colunas a UCDs; template para páginas About, Contact, Tutorials, componentes de layout Header e Footer; 
  • Back-end novo Target Viewer: reinstalação do Django + Django Rest, criação de devcontainer, configuração do Ngnix e criação de banco de dados de teste para o novo Target Viewer; 
  • Instalação do ambiente de testes nas novas URLs dedicadas em local isolado do antigo DES Science Server 
  • Conclusão do desenvolvimento do pipeline HIPS Image, entrando em fase de validação científica;

JupyterHub

  • Atualização da página de início com simplificação da página de login e três opções de recursos para criação de containers, a ser selecionado pelo usuário.  

Photo-z Server

  • Correção de bug em botão para deletar produtos; 
  • Mudanças na página de login para incluir autenticação com CILogon para usuários internacionais membros do LSST;   
  • Implementação de tooltip com descrição dos dados para cada produto adicionado pelos usuários;  
  • Conclusão do estudo detalhado e escrita de relatório de performance do hats e lsdb;
  • Correção de bug na leitura de arquivos FITS pela biblioteca Python pzserver ;
  • Integração do back-end do pipeline Combine Spec-z Sample na página de pipelines do PZ Server; 
  • Adição de suporte a novo tipo de produto: “Training Results” para permitir a hospedagem de arquivos .pkl resultantes do treinamento dos algoritmos do pipeline RAIL; 
  • Melhorias no front-end – padronização do rodapé;
  • Correção de bug da deamon da orchestration. 

Photo-z Compute

  • Implementação de automatização da criação de relatórios de qualidade dos resultados (output QA) com gráficos e estatísticas básicas sobre os photo-zs e sobre o desempenho do processo (time profiling) 
  • Melhorias no script de setup do ambiente de desenvolvimento 
  • Adaptação de todos os scripts que utilizavam Hipscat para adequação ao novo HATS
  • Disponibilização de notebooks de QA dos dados de entrada do pipeline photo-z compute em página pública na internet, com acesso aberto para dados públicos (DES) e com solicitação de senha de acesso ao conteúdo para autorização em caso de dados privados (LSST). 

Portal SSO

  • Implementação em produção do serviço de subscrição de predições de ocultações;

Comunicação, Divulgação e Educação:

  • Histórico dos cursos 2024
  • Notícias:
    • Python e Banco de Dados
    • TOPCAT: confira o panorama do último curso do ano
    • Cientista de dados do LIneA participa de workshop organizado pelo INPE
    • Associação LIneA anuncia convênio com a FINEP para fortalecer a ciência brasileira
    • LIneA: Retrospectiva 2024
    • INCT do e-Universo: Resultados, Impactos e Perspectivas Finais
    • Novidade: Portal do Sistema Solar LIneA disponibiliza serviço de subscrição
  • Relatório INCT
    • revisão do relatório
    • entrega da versão final
    • divulgação do material
  • Análise dos usuários LIneA
  • Rubin media training session

Comunicação:

  • Revisão de textos para notícias
  • Mentoria 

Divulgação Científica:

  • Porque as nebulosas brilham?
  • Dia nacional da astronomia 
  • Você conhece as referências de física e astronomia dessas capas de álbuns?
  • Solstício de verão 

Curso: 

  • Certificados do curso de Python e Banco de Dados
  • Validação do curso TOPCAT
  • Aplicação do curso em 12/12

Site:

  • Atualização das teses e dissertações
  • Conclusão das tarefas de desenvolvimento nas páginas de cursos e LIneA na Mídia
  •  Organização da planilha “LIneA na Mídia” para utilização no site

2024 / Novembro

2024 / Novembro

Atividades de Planejamento

  • Apoio ao BPG no planejamento de atividades técnicas de apoio à ciência a serem realizadas no período de 2025-2027;
  • Apoio a preparação na redação do projeto INCT a ser submetido ao CNPq;  

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

  • Reunião com os técnicos da Laniaq para fechar os últimos detalhes do planejamento de instalação do novo servidor de banco de dados do IDAC Brasil;
  • Reunião inicial com o time da Timbira para discutir os primeiras atividades para implementação da solução de banco de dados do IDAC Brasil;
  • Continuação das tratativas junto ao registro.br com o envio da documentação existente que comprova a habilitação do LIneA ao serviço de redes (RNP);
  • Iniciadas tratativas com a HPE para a contratação do serviço de garantia e suporte, e instalação e configuração dos nós de administração e acesso do cluster apollo;

Gestão de dados

  • Download de ~600 imagens simuladas e 4 catálogos do LSST dos servidores do NERSC via servidor DTS utilizando a ferramenta Globus; Organização e disponibilização destes dados no sistema de arquivos Lustre FS;
  • Realizada transferência de 1500 arquivos do tipo FITS do catálogo IMaNGA, que foram organizados e disponibilizados no sistema de arquivos Lustre FS para processamento;
  • Desenvolvido o primeiro protótipo do pipeline de fluxo de dados para o PZ Compute utilizando Apache-Nifi; 

Apoio ao usuário

  • Foram realizados quarenta e dois atendimentos aos usuários via sistema de chamados e agendamento de office hours;
  • Apoio ao projeto de processamento de Cubos iMaNGA através do cluster apollo. ticket #14678;
  • Implementadas melhorias no procedimento de registro para facilitar o preenchimento do formulário de registro por parte dos novos usuários;

Operação e projetos

  • Automatização do procedimento de ajuste de contas de usuários para acesso ao ambiente de HPC utilizando playbooks Ansible; 
  • Iniciada a instalação física do novo servidor de banco de dados para o projeto IDAC Brasil no datacenter do LNCC. Também foram realizados diversos testes de hardware pelos técnicos da Laniaq para validar o funcionamento do equipamento;
  • Implementadas melhorias na interface de inicialização de servidores da plataforma JupyterHub, que passa a exibir menus com opção de seleção de imagem e de configuração de servidor baseados no perfil do usuário;
  • Corrigidos erros na consulta do sistema de monitoramento dos servidores de banco de dados que reportavam inconsistências no serviço;
  • Iniciado o planejamento e testes para atualização da solução de armazenamento de alta performance Lustre FS;
  • Realizadas melhorias no dashboard  do grafana de utilização do cluster apollos. Também foi implementado o dashboard para o monitoramento do portal pz-server;
  • Foi realizada a recuperação do ambiente do site de produção, após a ocorrência de bugs nas subpáginas da plataforma wordpress;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server

  • Disponibilização de vídeos tutoriais de apoio ao usuário no site do DES Science Server   

IDAC Science Server

  • Implementação da primeira versão funcional do novo Sky Viewer em ambiente de testes integrado ao Aladin Sky Atlas;
  • Disponibilização das imagens do DES DR2 no novo Sky Viewer;   
  • Customizações de front-end (cabeçalho padrão do LIneA) no novo Sky Viewer;   
  • Envio de email de estatísticas diárias para administrador;
  • Início do desenvolvimento do pipeline HIPS Image;

Portal SSO

  • Correções em falhas detectadas na rotina (praia Fortran) no registro de resultados.
  • Disponibilização de nova versão de documentação.
  • Implementação de algoritmo TOPSIS para classificação de resultados enviados via subscrição.
  • Implementação em homologação do serviço de subscrição de predições de ocultações.
  • Definição e implementação parcial de testes para definir o impacto do passo temporal em predições como uma função do semi-eixo orbital do objeto.

Photo-z Server

  • Escrita de documentação da API;
  • Adaptação dos scripts de pre-processamento do x-matching para compatibilizar com a migração de hipscat para hats;
  • Disponibilização dos relatórios de QAs em página pública;
  • Estudo detalhado e escrita de relatório de performance do hats e lsdb;
  • Conclusão da integração entre o front-end e o back-end da página de pipelines; 
  • Implementação de autenticação com CILogon e autorização de usuários com direito a acesso a dados proprietários utilizando a API do Rubin Observatory; 

Photo-z Compute

  • Atividades de validação científica de resultados do pipeline; 
  • Desenvolvimento de scripts Python para a semi-automação de processos;
  • Desenvolvimento de notebooks para submissão de processos via OnDemand.     

Comunicação, Divulgação e Educação:

  • Notícias:
    • Rubin Observatory anuncia construção completa do seu telescópio
    • Bolsistas INCT do e-Universo se reúnem para encontro online
    • 21ª SNCT: destaque das atividades oferecidas pelo LIneA
    • Resumo das inscrições no curso: Análise de dados
    • Resultado FINEP
  • Relatório INCT:
    • Revisão do texto
    • Envio de imagens solicitadas
  • Declaração para bolsista (IC do INCT)
  • Envio do modelo de relatório para os bolsistas INCT
  • Resumo: atuação do LIneA
  • Histórico dos cursos 2024 (em desenvolvimento)

Comunicação:

  • Resumo executivo relatório INCT
  • Orientações para articular com a imprensa

Divulgação Científica:

  • Histórias de terror (halloween)
  • Qual a diferença entre sonda e satélite?
  • O que você sabe sobre constelações?
  • 26 anos da estação espacial internacional

Curso: 

  • Certificados do curso de análise de dados
  • Anúncio do curso: Python e Banco de Dados
  • Aplicação da aula (14/11)
  • Google Classroom atualizado com o material

Site:

  • Reunião com desenvolvedor para acompanhamento das atividades
  • Problemas com o site (19 a 22/11)
  • Mudanças para o site de desenvolvimento 

2024 / Outubro

2024 / Outubro

Atividades de Planejamento

  • Revisão do planejamento estratégico 2024 e plano de trabalho para 2025/1.  
  • Preenchimento e submissão do relatório anual referente ao ano fiscal americano de 2024 à colaboração LSST com todo o plano de trabalho do IDAC Brasil para 2025;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

  • Reuniões com a firma Laniaq Inc. para planejar a instalação e a configuração do novo servidor de banco de dados do IDAC Brasil;
  • Contratação da firma Timbira especializada em bancos de dados PostgreSQL com o objetivo de assessorar o time de infraestrutura na implementação da solução de banco de dados do IDAC Brasil;
  • Agendamento da visita dos técnicos da FINEP para a vistoria dos equipamentos financiados pelo projeto APLSST;
  • Contratação do serviço especializado de suporte e garantia junto à Binário/Juniper para o equipamento roteador Juniper ACX7024
  • Continuação das tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe de suporte à e-Ciência da RNP e do POP-RJ;
  • Reuniões com a firma Unitech/Dell para alinhamento sobre a extensão do contrato de garantia e suporte dos servidores que compõem a solução Lustre FS após o fim do período de garantia dos equipamentos;
  • Solicitada a adesão do LIneA ao sistema RNP para atender aos requisitos do registro.br para a aquisição do Sistema Autônomo de Números (Autonomous System Number);

Redes e Segurança

  • Concluída a primeira etapa de homologação da integração do sistema de autenticação e de autorização do IDAC Brasil aos sistemas do Rubin Observatory em ambiente de homologação;
  • Finalizada a atualização da solução de scanner de vulnerabilidades OpenVAS visando manter o ambiente mais seguro e em conformidade com o conjunto de normas SIRTFI, necessárias para atender aos requisitos de uso do integrador de provedores de identidades CILogon;
  • Atualizações em diversos servidores e sistemas para corrigir vulnerabilidades identificadas pelo scanner OpenVAS;
  • Implementação de um novo web proxy na infraestrutura do POP-RJ e alteração nas regras de segurança do firewall com o objetivo de tornar o acesso às aplicações mais seguro a partir da internet;

Gerenciamento de dados

  • Instalação e configuração da instância de homologação do Apache-Nifi utilizando containers docker com acesso ao sistema de arquivos t0 e t1 do Lustre;
  • Definidos os requisitos básicos para o desenvolvimento do principal pipeline de fluxo de dados para o projeto Photo-Z utilizando a solução Apache-Nifi;

Apoio ao usuário

  • Realizados quarenta atendimentos aos usuários via sistema de chamados;
  • Finalizado o desenvolvimento da primeira versão da aplicação para automatizar o envio de vídeos das gravações de reuniões para a plataforma Youtube;
  • Realizada reunião de alinhamento para definição do escopo do apoio do time de infraestrutura ao projeto IMANGA. Iniciadas as tratativas para a transferência de dezenas de terabytes de dados através da plataforma Globus e do servidor DTS do LIneA;

Operação e projetos

  • Continuação das atividades de planejamento e documentação para a reestruturação do cluster ICEX;
  • Iniciada a primeira etapa de reinstalação da nova versão do sistema operacional EL8 e do software HPCM no cluster ICEX;
  • Reorganização dos cabos da rede infiniband EDR no rack R7C, no CPD do LNCC, em preparação para a instalação do novo servidor de banco de dados do IDAC Brasil;
  • Migradas diversas aplicações de infraestrutura para containers docker;
  • Finalizada a migração dos servidores de nomes de domínio (DNS) do LIneA para o EL9, tendo sido melhorados diversos aspectos de segurança incluindo a utilização do SELinux. Além disso, foram configuradas zonas específicas para as redes privadas incluindo a disponibilização de um servidor interno dedicado a elas;
  • Recuperação dos volumes de armazenamento da storage IS5600 com a instalação de discos sobressalentes;
  • Iniciado o planejamento para atualização do atual sistema de gerenciamento de virtualização Proxmox;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

  • Customização da página de erro de login devido a usuário não autorizado 
  • Definição de requisitos para o novo pipeline de automatização e paralelização da criação de imagens HIPS 
  • Ativação da ferramenta Google Analytics para monitoramento de tráfego de usuários. 
  • Revisão da lista de datasets disponíveis e remoção de conjuntos de dados obsoletos do menu do Sky Viewer 
  • Correção de bug na consulta de metadados ao COmanage 
  • Início do desenvolvimento do novo Sky Viewer – integração da nova versão do software Aladin com a interface do Science Server (em andamento)        
  • Correção de bug no trigger que libera a permissão para leitura das tabelas recém-criadas no MyDB com a ferramenta User Query, para que sejam acessíveis pela plataforma Jupyter Hub através da biblioteca Python dblinea. 
  • Atualização do Jupyter notebook de tutorial 2_acesso_a_dados.ipynb com um exemplo de acesso a tabelas do MyDB criadas pelo usuário no User Query. 
  • Publicação dos dados do levantamento 2MASS no TAP Service do LIneA  

Portal SSO

  • Continuação no desenvolvimento do serviço de subscrição criando novas funções no backend e corrigindo bug no frontend;
  • Atualização da documentação do usuário para o uso do Portal Web;
  • Atualização do frontend na página inicial para refletir todas as implementações do último release;
  • Continuidade na produção do artigo científico envolvendo o portal;
  • Inclusão e execução da classe Near-Earth Asteroids – NEAs (ou Near-Earth Objects em outras nomenclaturas);
  • Inclusão de caching e atualização do frontend para melhorar a experiência do usuário em função do considerável aumento de predições devido aos NEAs.

Photo-z Server

  • Melhorias nos arquivos de log da Orchestration com a adição de informações provenientes do Celery Beat 
  • Upload do catálogo de redshifts espectroscópicos de galáxias provenientes do survey DESI (EDR) no PZ Server. 
  • Confeção de QA notebook de caracterização da amostra DESI EDR.  
  • Correção de bugs na checagem da finalização de processos dos pipelines do PZ Server.  
  • Implementação da página de submissão do pipeline Training Set Maker   

Photo-z Compute

  • Confecção de 5 Jupyter notebooks para investigação de possíveis objetos duplicados no catálogo simulado do LSST, usando ferramentas de HPC para inspeção do conjunto completo de dados armazenados no Lustre.  
  • Escrita de manual para o usuário sobre os sctipts individuais (de treinamento e estimativa do pz-compute e de scripts auxiliares de pré e pós-processamento). 
  • Manual de como adicionar um novo algoritmo de photo-z no pipeline pz-compute. 
  • Testes de escalabilidade com o algoritmo LePhare.    

Comunicação, Divulgação e Educação:

  • Notícias:
    • Afiliados ganham posições de destaque no DESC
    • LIneA Science Server operado pelo LIneA
    • Jovem pesquisador do BPG é selecionado para participar presencialmente do DESC Sprint week
    • Membros do BPG participam da XLVII reunião da SAB
    • LIneA na Mídia: mais de 70 notícias abordam o maior projeto da astronomia para a próxima década
    • Highlights do curso de Jupyter Notebook 
    • Aviso de manutenção
  • Evento bolsistas INCT:
    • organização do evento (dia, hora, slides)
    • contato com bolsistas
    • aplicação do evento dia 14 e 15 de outubro
  • Relatório INCT:
    • ajuste das últimas pendências
    • envio para diagramação
    • criação de repositório para imagens
    • finalização da parte escrita do relatório
  • Semana Nacional de Ciência e Tecnologia
    • Criação da arte
    • Divulgação das atividades
    • Atividades
      • Breve manual da divulgação científica para astronomia (14/10)
      • O fim do mundo (15/10)
      • Mesa redonda: a diversidade da astronomia (16/10)
      • [curso] Análise de dados: incidência de dengue no Brasil (17/10)
      • Os astrônomos respondem (18/10)

Comunicação:

  • Revisão de textos/notícias diversas
  • Revisão do relatório INCT

Divulgação Científica:

  • Chegada da Primavera
  • Nossas redes sociais
  • Prêmio Nobel
  • Brasileiro dá entrevista para a NASA
  • Dia dos professores
  • NASA lança maior sonda planetária

Curso: 

  •  Aplicação do curso Jupyter Notebook
  •  Validação do curso Análise de Dados: incidência de dengue no Brasil
  • Aplicação do curso Análise de Dados: incidência de dengue no Brasil
  • Desenvolvimento do curso Python + Banco de dados
  • Material adicionado ao Classroom: Jupyter e Análise)
  • Certificados Jupyter Notebook

Site:

  • Reunião de alinhamento com o desenvolvedor web
  • Entrega parcial das pendências do site
  • (re)introdução das publicações retiradas do site 

2024 / Setembro

2024 / Setembro

Atividades Gerais e de Planejamento

  • Preparação de relatório final do INCT;
  • Preparação de Plano de Trabalho para o ano Fiscal 2025 a ser submetido ao Rubin Observatory;
  • Planejamento operacional para primeiro semestre de 2025;
  • Entrevistas à imprensa; 

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

  • Contratação da firma A3 Tech para a manutenção no piso elevado e organização dos cabos de rede nos switches;
  • Iniciadas as discussões com a equipe do GidLab/RNP acerca do uso dos protocolos de autenticação e autorização OIDC e OAuth2 necessários para a integração do IDAC Brasil ao LSST;
  • Em andamento o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;
  • Contratação de um engenheiro de dados via bolsa CNPq para apoio no uso da solução Apache-Nifi e no desenvolvimento de pipelines de fluxos de dados;
  • Recebimento no LNCC de parte dos novos equipamentos adquiridos pelo INCT do e-Universo para o IDAC Brasil: roteador ACX7024 (Juniper), servidor de banco de dados (Laniaq Inc.) e dois servidores de serviço do cluster Apollo (HPE Proliant DL360);
  • Iniciadas as tratativas junto ao registro.br para a aquisição de um sistema autônomo de anúncio de redes (ASN) com o apoio da equipe do POP-RJ;

Gerenciamento de dados

  • Provisionada infraestrutura virtualizada para a instalação do Apache Nifi e o desenvolvimento e testes dos fluxos de dados;

Apoio ao usuário

  • Realizados mais de trinta atendimentos aos usuários via sistema de chamados, incluindo office hours de suporte;
  • Validado o processo de criação de kernels python no Jupyter Notebook via Open OnDemand, visando a melhor experiência do usuário com a plataforma. Também foi desenvolvida e liberada a documentação de uso no site docs.linea.org.br;  

Operação

  • Atualizações do firmware das controladoras e dos discos das storages ME4024 e ME4084 que compõem o Lustre FS, com o objetivo de corrigir falhas e problemas de segurança;
  • Início das atividades de planejamento e documentação para a reestruturação do cluster ICEX. Também foi realizada a verificação das conexões físicas das redes ethernet e infiniband;
  • Validação das configurações de cópia de segurança e de restauração de dados visando garantir a recuperação do ambiente de registro de usuários e do website;
  • Provisionamento de ambiente para a instalação e testes da plataforma Dataverse;
  • Reinstalação e configuração do ambiente do Jupyter Hub para corrigir erros no provisionamento dos servidores Jupyter Notebook;
  • Realizado o InfraDay #15 com a migração dos servidores sistemas de DNS para o novo Rocky Linux 9.4;

Redes e segurança da informação

  • Finalizada a reinstalação e configuração do servidor DTS, incluindo a habilitação do sistema de transferência de dados Globus integrado à autenticação federada do LIneA via CILogon;
  • Implementados os endpoints de homologação e produção no SATOSA para a integração dos sistemas de autenticação e autorização do IDAC Brasil ao sistema do Observatório Rubin (LSST). Também foi solicitado o registro desses endpoints à equipe do LSST;
  • Iniciada a avaliação para o desenvolvimento de uma solução para lidar com a autorização dos direitos de acesso a dados do LSST;
  • Troca das placas do piso elevado que fica embaixo dos racks do LIneA, pois estavam cedendo, o que impedia a colocação de novos equipamentos nos racks;
  • Aplicação de patches de segurança em vários servidores para corrigir problemas de segurança identificados pela ferramenta de detecção de vulnerabilidades;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

  • Deploy do Science Server e User Query no ambiente de produção.
  • Padronização do rodapé igual ao site institucional em todas as plataformas, com links para redes sociais e agências de fomento.  
  • Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
  • Atualização da página de contato com email para helpdesk; 
  • Setup inicial do repositório do novo Sky Viewer que será feito baseado na nova versão do Aladin com instalação e configuração do Django e Django Rest, React, Nginx e update do Node. 
  • Registro de catálogos para overlay no Sky Viewer (antigo) 
  • Atualização das páginas de resumo sobre os surveys DES, Gaia e 2MASS no User Query e dos metadados sobre as tabelas (colunas, UCDs, etc) 
  • Habilitação do serviço TAP (table access protocol) para acesso remoto aos dados hospedados no LIneA via API 
  • Documentação para o usuário com exemplos de uso no User Query e TAP service
  • Atualização da página inicial do User Query (padronização banners plataformas LIneA)   

Photo-z Server

  • Atualização dos metadados para autenticação (Uniform Resource Identifiers) 
  • Atualização de pacotes e dependências 
  • Finalização do deploy da aplicação no ambiente de testes no novo servidor srvorch-dev – integração do PZ Server com a Orchestration 
  • Atualização da página de documentação 
  • Correção de bug na função de atualizar os metadados de um data product 
  • Início da preparação para a implementação de login federado via CILogon com SAML2 e autorização via Rubin Authorization API for IDACs (em andamento) 
  • Integração do pipeline Training Set Maker com a biblioteca Python pzserver para disparo de processos via Python scripts 
  • Adaptação dos catálogos fotométricos de entrada do PZ Compute (skinny tables) para alimentar também os pipelines de x-matching 
  • Container que consome rabbitMQ para registrar o produto dos pipelines como novos data products no PZ Server
  • Nova classe que faz requisições na orchestration para lidar com tokens expirados 
  • Correção de bug no suporte a tabelas no formato CSV no pipeline Training Set Maker 
  • Correção de bug  – falha no carregamento do arquivo HTML auxiliar de descrição de um data product no PZ Server 

Photo-z Compute

  • Finalização da implementação do suporte ao algoritmo LePhare (rail-lepahre) 
  • Script para automação da conversão de tabelas em formato HIPSCat em paralelo no cluster usando DASK 
  • Expansão da flexibilização do pipeline pz-compute com a possibilidade de entrada de parâmetros de configuração via arquivo YAML para todos os cinco algoritmos.  
  • Script para seleção randômica de objetos e criação de conjunto de treinamento representativo nos dados de simulação em paralelo no cluster usando DASK 
  • Scripts de checagem de resultados 
  • Finalização do script de preparação de dados de entrada com correção da extinção da Galáxia. 
  • Início do testes de validação usando a plataforma Open OnDemand 
  • Finalização do pipeline pz-compute em produção e respectivas documentações para o desenvolvedor e para o operador.   

Comunicação, Divulgação e Educação:

  • Notícias:
    • InfraDay #15
    • Cientista de dados do LIneA participa de entrevista em programa da Record
    • Aviso de manutenção na infraestrutura
  • Relatório INCT:
    • Revisão do texto
    • Inclusão de informações
    • Inclusão de novos tópicos
    • Atualização da planilha financeira
  • Evento: Explorando o Portal do Solar System LIneA
  • Organização de informações sobre o BPG (
    • PIs, instituições e e-mails;
    • mapa com alcance nacional
    • logo das instituições
  • Vídeo INCT
    • Pedido de modificações
    • Entrega do vídeo
  • Criação de novas redes sociais (Blue Sky e Threads)
  • Organização para SNCT 2024
  • Colaboração com ajustes para o documento BPG-LSST enviado ao Ministério
  • Envio de e-mail aos bolsistas: prorrogação do INCT do e-Universo

Comunicação:

  • Curadoria das informações que saíram na mídia (agosto)
  • Revisão das notícias
  • Revisão do relatório do INCT

Curso: 

  • Validação do curso de Jupyter Notebook
  • Lançamento do curso de Jupyter
  • Envio das instruções para os interessados no curso de Jupyter
  • Envio dos certificados referente ao curso “Desenvolvendo Software Científico”

Divulgação Científica:

  • 25 anos do Observatório Chandra
  • Noite internacional de observação da Lua
  • É um pássaro ou avião? Não, é o cometa do ano!
  • Início da primavera

Site:

  • Contratação de um desenvolvedor web (18/09) para implementação de melhorias e ajustes.
  • Inclusão de documentos na página “Documentação”
  • Criação da página “LIneA News”
    • Inclusão de notícias 2024
    • Inclusão de notícias dos anos anteriores
  • Atualização das publicações de 2024
  • Revisão e atualização das publicações entre 2017 a 2008

2024 / Agosto

2024 / Agosto

Atividades Gerais e de Planejamento

  • Entrevista com vários veículos de comunicação para divulgar a assinatura do acordo entre o LIneA e o laboratório SLAC da Universidade de Stanford.
  • Validação do vídeo sobre o INCT do e-Universo que completa a divulgação do trabalho sendo feito pelo INCT e LIneA e apresentando o IDAC do LSST.
  • Preparação do relatório final do INCT do e-Universo descrevendo seu apoio ao LIneA.
  • Visita ao datacenter (LNCC) no dia 21/08/2024 para verificação de algumas atividades, incluindo:
  • Confirmação da capacidade de suporte de peso do piso no datacenter;
  • Verificação da capacidade de energia das PDUs em outro rack;
  • Validação das conexões do firewall.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gestão de TI

  • Foram realizadas entrevistas para contratação temporária de um engenheiro de dados para assessorar o time na implementação da nova arquitetura de dados e no desenvolvimento de fluxos de dados com Apache-Nifi;
  • Foram realizadas reuniões com o time de suporte à e-ciência da RNP para discutir melhorias na infraestrutura de rede local;
  • Foram realizadas reuniões de alinhamento com a firma Laniaq Inc. e visita ao datacenter, para tratar do plano de instalação do novo servidor de banco de dados;
  • Foi realizada reunião com as equipes do LNCC e do POPRJ para tratar da reestruturação da rede externa e da troca de blocos IPv4 entre o LIneA e o LNCC;
  • Foi realizada reunião de alinhamento com o time de infraestrutura da UNESP sobre a solução Rucio para a transferência de dados entre o IDAC brasileiro e o LSST;
  • Foi iniciado o inventário e o planilhamento das fontes de energia dos equipamentos, incluindo o uso dos circuitos elétricos e o consumo energético dos equipamentos no datacenter;

Gerenciamento de dados

  • Foi finalizada a reestruturação dos diretórios para os dados do DES com o objetivo de preparar o ambiente para uso das plataformas Science Server e User Query;
  • Levantamento de informações e contato com stakeholders no LSST para viabilizar o download de conjuntos de dados;
  • Download da tabela MatchesTruth a partir do repositório do LSST no Google Cloud;
  • Movimentação de dados do LSST no Lustre e organização dos datasets do LSST;  
  • Foi implementado acesso ao banco de dados de catálogos para a plataforma User Query para os dados DES, incluindo o desenvolvimento e a implementação de códigos para a automatização das permissões de uso no PostgreSQL;

Apoio ao usuário

  • Foi implementado no ambiente de produção o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google;
  • Está em desenvolvimento e em testes uma ferramenta que automatiza o upload de vídeos para o canal do do LIneA no Youtube.
  • Realizados ajustes nas configurações de parâmetros do escalonador de jobs Slurm, visando a melhor performance dos jobs no cluster Apollo. 
  • Foram implementadas melhorias no formulário de triagem para registro de novos usuários incluindo versões em inglês em português;

Operação

  • Realizada a atualização e o re-provisionamento das imagens dos nós de computação do cluster Apollo;
  • Foi realizada a reconfiguração de quotas de usuários nos sistemas de arquivos de armazenamento temporário (T0) e nos diretórios pessoais; 
  • Foram incluídos novos sistemas no servidor de cópias de segurança incluindo testes de restauração para validar as cópias;
  • Foram iniciados testes para a completa atualização dos sistemas de servidores de nomes de domínio (DNS) do LIneA para o Rocky Linux 9;

Redes e segurança da informação

  • Foi finalizada a organização do inventário de blocos de endereços de redes utilizados pelo LIneA no LNCC e no POPRJ;
  • Foi iniciada a instalação e configuração da versão mais atual da solução de scanner de vulnerabilidades OpenVAS para manter o ambiente em conformidade com o conjunto de normas SIRTFI;
  • Foram iniciados testes com a nova solução de firewall OPNSense incluindo mudanças na configuração lógica das redes virtuais;
  • Foi iniciada a atualização do sistema da antiga DTS com o objetivo de habilitar o ambiente para testes com a solução de transferência de dados Rucio, adotada oficialmente pelo LSST;

Desenvolvimento e melhorias nas plataformas científicas:

DES Science Server + User Query:

  • Correção de bug no botão de download de imagens FITS a partir do Science Server. 
  • Padronizações na aparência das páginas do Science Server e User Query – adequação à identidade visual do novo site com links para as redes sociais.     
  • Implementação de página de erro de autenticação ou autorização em conformidade com a identidade visual para informar o usuário em caso de falha no login.
  • Remoção de funcionalidades obsoletas no Target Viewer (rating/reject, menu de permissão). 
  • Implementação da visualização do mapa de sistemáticos “fração de detecção” nas 5 bandas. 
  • Validação científica das imagens DES DR2. 
  • Atualização da aplicação para adequação ao novo serviço de autenticação CILogon com mudanças no provedor de metadados. 
  • Escrita de documentação de apoio ao usuário com exemplos de uso do User Query. 
  • Revisão e melhorias nos textos sobre os levantamentos DES, Gaia e 2MASS.
  • Reinstalação total do ambiente de testes, início da preparação para instalação do ambiente de produção.
  • Investigação de possíveis soluções para reduzir o tempo de carregamento das imagens HIPS no Sky Viewer.  
  • Atualização do jupyter notebook de tutorial com exemplos de acesso aos dados gerados no User Query através do JupyterHub.

Photo-z Server

  • Deploy do serviço de orquestração de processos submetidos pelas aplicações no cluster no novo servidor srvorch-dev – integração do serviço com a aplicação PZ Server (em andamento).
  • Desenvolvimento de método para criação de training sets simulados a partir da seleção de amostra no sistema de arquivos Lustre. 
  • Implementação da primeira versão do pipeline Combine Spec-z Catalog
  • Testes de cross-matching com LSDB usando dados do LSST DP0.2 

Photo-z Compute

  • Implementação de parâmetros de configuração específicos dos algoritmos FlexZBoost e GPz. 
  • Adaptação do “prepare-pz-tests” para o novo scheduler Slurm, para preparar processos executados em produção com controle de proveniência
  • Notebooks de controle de qualidade dos dados de saída e de estatísticas resumidas – em andamento. 
  • Notebooks de controle de qualidade dos dados de entrada com exibição de propriedades dependentes da região no céu (mapas) – em andamento. 
  • Suporte para leitura de arquivos de entrada no formato hipscat adicionado
  • Atualização da documentação para o desenvolvedor com instruções para as duas configurações diferentes: modo de desenvolvimento e modo de produção.

Solar System:

  • Serviço de subscrição:
    • Implementação do registro e autenticação de usuários sem uso de senha (passwordless).
    • Conclusão da implementação e revisão de banners, telas, e templates de email.
  • Implementação de incertezas nas predições enviadas para homologação:
    • Cálculo de incertezas nas predições, tanto temporal quanto espacial, foi implementado.
    • Correção de falhas nas predições para Plutão e asteroides com caracteres especiais no nome.
    • Implementação de novas métricas, como a fração iluminada da Lua durante os eventos.
  • Links persistentes
    • Em fase de testes, foi implementada uma solução para identificadores que resistem a pequenas atualizações nas predições, garantindo a permanência dos identificadores no banco de dados.
  • Curso sobre o portal
    • Desenvolvimento continuado de uma biblioteca Python a ser utilizada no curso.
    • Estrutura e slides do curso foram elaborados e revisados.
  • NIMA: calculador de efemérides
    • Testes realizados com o NIMA para assegurar sua futura implementação na refatoração do serviço.

Comunicação, Divulgação e Educação:

  • Notícias:
    • Panorama dos inscritos e participantes no curso “Fundamentos de Banco de Dados”;
    • Notificação de interrupção nas plataformas científicas (problemas no LNCC);
    • Panorama dos inscritos e participantes no curso “Desenvolvendo Software Científico”;
    • InfraDay #14;
    • Observatório Vera Rubin: Instalação do espelho secundário é concluída;
    • Rubin Community Workshop 2024: estudantes membros do LIneA apresentam trabalhos.
  • Relatório INCT:
    • Colaboração com informações para o texto
    • Imagens diversas
    • Revisão de planilhas
  • Vídeo INCT:
    • Recebimento do vídeo em 21/08
    • Revisão e solicitação de mudanças em 21/08
  • SNCT 2024:
    • Envio de e-mail informando sobre a SNCT e convidando colaboradores a propor atividades.

Comunicação:

  • Envio da matéria sobre a participação brasileira no projeto LSST à FAPERJ.
  • Organização dos textos para notificação dos usuários sobre a mudança na forma de registro no LIneA (CAFe > CILogon).

Curso: 

  • Desenvolvendo Software Científico:
    • Validação do curso (29/07)
    • Inscrições para o curso de 30/07 a 9/08
    • Aplicação do curso em 15/08
    • Material adicionado ao Google Classroom
  • Fundamentos de Banco de Dados
    • Lembrete aos participantes do formulário
    • Produção dos certificados
    • Envio dos certificados
    • Material adicionado ao Google Classroom
  • Planejamento para o curso de Jupyter Notebook

Divulgação Científica:

  • O observatório Rubin vai caçar anãs brancas
  • Que tipo de torcedor é você nas Olimpíadas?
  • Instalação do espelho secundário do Rubin Observatory
  • Especial dias dos pais
  • Você sabe como achar exoplanetas?
  • Superlua (agosto)
  • Há 18 anos Plutão deixava de ser um planeta

Site:

  • Entrevista com desenvolvedores
  • Proposta de projeto para pendências existentes do novo site
  • Ajuste em links quebrados (página de documentos)
  • Glossário:
    • Finalização da revisão pela bolsista
    • Organização da planilha
    • Auxílio nos termos com dúvida (em andamento)

2024/ Julho

2024/ Julho

Atividades Gerais e de Planejamento

  • Preenchimento da planilha para solicitar prorrogação do INCT do e-Universo junto ao CNPq;
  • Foram realizadas várias atividades relacionadas aos processos de importação de equipamentos atualmente em curso no setor de importações do CNPq;

Atividades de operação e gerenciamento de infraestrutura computacional.

Gerenciamento de dados

  • Foi feito o teste final e bem sucedido da prova de conceito (POC) com o Apache NiFi, realizando o download, transferência e ingestão dos dados do catálogo 2mass.  
  • Checagem, organização e disponibilização das imagens do DES DR2 no formato HiPS e PTIF no Lustre para leitura pelo novo DES Science Server hospedado no LIneA.  
  • Iniciado o desenvolvimento de uma solução para identificação e remoção de dados dos diretórios de scratch dos usuários (garbage collector);

Apoio ao usuário

  • Foi iniciada a homologação da plataforma interativa Jupyter Notebook no Open OnDemand visando identificar possíveis problemas e também documentar a melhor forma de uso para os usuários do cluster Apollo;
  • Foi desenvolvido e implementado no ambiente de homologação o novo design da página de login, a qual inclui os botões de acesso para autenticação via CAFe, CILogon e Google.

Operação

  • Foi finalizada a migração do ambiente do antigo DES Portal para uma infraestrutura virtualizada e removidas todas as dependências dos servidores do cluster ICEx;
  • Foram corrigidos diversos erros nos trabalhos de backup agendados para o servidor de documentos e a storage principal;
  • Iniciada a reavaliação e melhoria do processo de configuração de quotas de usuários nos sistemas de arquivos da storage NAS e do Lustre FS;
  • Foi iniciada a implementação da nova infraestrutura para execução das plataformas web em produção, a qual inclui o uso de soluções de alta disponibilidade (HA) e de balanceamento de carga (LB).
  • Implementado novos servidores para as aplicações Pz-Server e Orchestration

Redes e Segurança da informação

  • Realizada a atualização dos responsáveis técnico e de segurança do Provedor de Identidades do LIneA na Comunidade Acadêmica Federada (CAFe).
  • Finalizado o planejamento e o desenho da rede local para a implementação da nova solução de firewall que considera o uso de VLANs para segmentar as redes de administração de dispositivos, gerenciamento e de acesso aos sistemas.

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

  • Implementação de registro automático de tabelas criadas pelos usuários no banco de dados através do Userquery para serem exibidas na ferramenta Target Viewer. 
  • Criação de endpoint e disponibilização de URL para monitoramento do status do serviço para equipes do LIneA e NCSA. 
  • Implementação de classe genérica para consulta dos dados do usuário do COmanage e LDAP para ser usada pelos diversos microsserviços.
  • Disponibilização de imagens do DES DR2 nos formatos FITS, HIPS e PTIFs no ambiente HPC do LIneA para alimentar localmente as ferramentas de visualização. 
  • Adição de link para página de documentação para o usuário. 
  • Configuração de grupos de usuários a fim de permitir o controle de permissões por tabelas e schemas. 
  • Front-end do serviço User Query – layout, informações sobre datasets (DES DR2 e Gaia DR3) e levantamentos, adequação à identidade visual 
  • Documentação para instalação do ambiente de desenvolvimento.
  • Definição do processo de dump e restauração dos metadados de schemas do Daiquiri para sincronizar instâncias local/staging/production. 
  • Implementação de um novo sistema para correção de metadados importados, que causaram parada no funcionamento da interface query após atualização do Daiquiri, SAML2 ou CMS. 
  • Atualização do Django e instalação do Django Saml2. 
  • Remoção da autenticação com Shibboleth 
  • Implementação da nova página de login com Saml2 a partir do registro Comanage com botões para logar via CAFe ou CILogon.

Portal SSO (Solar System Objects)

  • Desenvolvimento e implementação da execução automática de predições;
  • Desenvolvimento continuado do serviço de subscrição do portal;
  • Testes de completeza e precisão na cálculo de incertezas a partir de órbitas do JPL concluídos com sucesso;
  • Desenvolvimento de estratégias para testar refinamento de órbitas in loco com NIMA;
  • Início de implementação de mapas de predição baseados em javascript;
  • Desenvolvimento continuado da biblioteca lineaSSP para uso do portal;

Photo-z Server

  • Conclusão do documento de design e requisitos do pipeline Training Set Maker.
  • Front-end da tela de interação com o usuário para disparo de execução do pipeline Training Set Maker. 
  • Melhorias na página de documentação da API. 
  • Reorganização do material didático para apoio ao usuário – separação do conteúdo em jupyter notebooks direcionados por assunto. 
  • Melhorias na tela de upload – botão de retorno 
  • Implementação de autenticação interna usando Django PySAML 2 
  • Criação de modelos de dados para pipelines e processos.  
  • Correção de bug – falha ao abrir tabela de arquivo FITS 
  • Upgrade de versões no ambiente de testes

Photo-z Compute

  • Implementação de correção do efeito da extinção galáctica e adição de colunas de identificação nos dados de entrada.
  • Implementação do suporte ao algoritmo GPz.
  • Configuração de scripts para execução em modo de produção e desenvolvimento e escrita de documentação para o operação em ambos os modos. 
  • Script para criação de conjuntos de treinamento aleatoriamente selecionado a partir dos dados de simulação hospedados no lustre em paralelo usando o cluster.     
  • Implementação de parâmetros de configuração específicos dos algoritmos BPZ e TPZ. 
  • Testes end-to-end com o algoritmo TPZ.
  • Solução do problema do estouro de memória com arquivos de treinamento grandes no TPZ.  
  • Início da escrita de jupyter notebooks de tutorial para usuários. 

Comunicação, Divulgação e Educação:

  • Notícias:
    • Ocultação estelar (pt. 2)
    • LIneA participa do primeiro evento LSST na América Latina
    • Aviso: Processo de migração para o novo site institucional
    • LIneA concede entrevista para Fiocruz sobre o projeto LSST
    • Portal do Sistema Solar LIneA adota operação autônoma para predições otimizadas
    • Curso sobre “Versionamento de Código” é aplicado com sucesso
    • LIneA é convidado para o grupo de trabalho do Telescópio Nancy Roman
    • Lançamento do novo site institucional
    • InfraDay #13
    • Cientistas brasileiros participam do encontro Dark Energy Science Collaboration do LSST
    • LIneA na mídia: mais de 30 matérias abordam o trabalho realizado pelo laboratório
    • Fundamentos de Banco de Dados: confira o panorama das inscrições e aplicação do curso
  • Relatório INCT:
    • plots da planilha financeira
    • entrevistas pontuais com membros do INCT
  • Vídeo INCT
    • revisão do storyboard
    • reunião com equipe Flávia da Matta
    • revisão e aprovação do storyboard para confecção

Comunicação:

  • Evento: Comunicação estratégica ao nosso alcance
    • período de inscrições (27/06 a 1/07)
    • aplicação em 4/07
    • certificados para os participantes
  • Contato assessoria de imprensa FAPERJ:
    • colaboração na divulgação de notícias envolvendo o INCT do e-Universo
    • desenvolvimento de texto para a FAPERJ 
  • Revisão de textos para as notícias

Minicurso: 

  • Curso Versionamento de código:
    • material adicionado ao Classroom
    • certificados para os participantes
  • Curso “Fundamentos de banco de dados”
    • validação por parte da equipe
    • período de inscrições (2 a 15)
    • aplicação do curso (17/07)
  • Organização para o próximo curso: Desenvolvimento de Software científico 

Divulgação Científica:

  • Resultados dos primeiros 5 anos do projeto Dark Energy Spectroscopic Instrument (DESI)
  • Dia do Asteroide
  • Hoje a Terra está em seu ponto mais distante do Sol: o afélio!
  • Como é o bojo da via láctea? 
  • Como se parece um telescópio profissional hoje em dia?

Site:

  • Webinars:
    • 2023 e 2022
    • ajuste na forma de apresentação dos webinares (sem imagem de capa, apenas o link para youtube direto)
  • Migração para o novo site institucional 
  • Migração dos sites antigos (azul e cinza) para outra URL
  • Resolução dos issues abertos
    • total de posts para a página divulgação
    • planilhas dinâmicas LIneA e INCT
  • Revisão do Glossário 
  • Desenvolvimento do doc/manual de atualização do site

2024 / Junho

2024 / Junho

Atividades Gerais e de Planejamento

  • Assinatura de acordo com  o Stanford LInear Accelerator Laboratory (SLAC).
  • Participação de 4 membros do LIneA na reunião LSST Latin America realizada em La Serena, Chile.
  • Contratação de bolsistas para atuação em gerência de projetos de software e implementação de metodologia Agile.
  • Submissão de Letter of Intent para o LSST Discovery Alliance.
  • Entrevista com firma de assessoria de imprensa.

Atividades de operação e gerenciamento de infraestrutura computacional.

Gerenciamento

  • Foram realizadas reuniões de alinhamento com os técnicos da firma Laniaq em preparação para a instalação do novo servidor de bancos de dados do IDAC Brasil;
  • Foi realizada na reunião LSST Latin America 2024 em La Serena, Chile, a apresentação sobre o trabalho que está sendo feito para implantar a infraestrutura computacional do IDAC Brasil;

Apoio ao usuário

  • Foram implementadas melhorias no conteúdo da documentação incluindo a gravação e disponibilização de vídeos tutoriais com orientações de uso da nova plataforma Open OnDemand, incluindo o novo processo de registro de contas e o uso do cluster de processamento;
  • Foi realizada a migração do website de documentação – docs.linea.org.br – para a plataforma Github Pages com a url personalizada;
  • Foi desenhado um novo processo de registro simplificado que agiliza a identificação do perfil do usuário de forma automática;
  • Realizadas melhorias na documentação dos catálogos de dados DES DR2 e GAIA, e 2MASS, incluindo a validação dos dados, e disponibilizados em repositório próprio;
  • Instalação e configuração do novo website do LIneA;

Operação

  • Finalizada a primeira fase da migração do ambiente do DES portal para uma infraestrutura mais simples com o objetivo de liberar a infraestrutura atual para novos projetos;
  • Realizadas diversas atualizações de segurança nos servidores Skybot, Web Proxy e Login;
  • Foram instalados e configurados quatro servidores (workers) ao Kubernetes para atender aos requisitos de processamento na plataforma Jupyter Notebook;
  • Realizada a reconfiguração das rotas das redes privadas de modo a liberar o servidor gateway da infraestrutura do cluster ICEX;
  • Realizadas diversas melhorias no sistema de registro incluindo a criação de grupos adicionais integrados ao servidor LDAP;
  • Finalizada a integração do sistema de autenticação com a plataforma CILogon e implementadas melhorias na configuração do proxy SATOSA;
  • Instalado e configurado novo servidor de backup bacula v13;

Monitoramento

  • Implementadas melhorias na configuração do monitoramento das interfaces de gerenciamento (iDRAC) dos servidores Dell via protocolo SNMP
  • Realizada a configuração para monitoramento do tráfego de dados, incluindo gatilhos e notificações, nas interfaces de rede dos servidores voltados para a internet;
  • Melhorias nos dashboards de apresentação de perfis de usuários e de monitoramento de bancos de dados;

Gerenciamento de dados

  • Instalados e configurados novos servidores de bancos de dados administrativos incluindo a configuração da replicação entre eles;
  • Migradas as bases de dados de dados das aplicações legadas e históricas para o novo servidor de bancos administrativos;

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

  • Conclusão da implementação inicial do User Query baseado no daiquiri com:
    • página inicial com identidade visual do LIneA
    • páginas de documentação de datasets disponíveis
    • página de queries funcionando com MyDB    
  • Conclusão da migração dos serviços de visualização do NCSA para o LIneA com a simplificação das páginas desabilitando funcionalidades obsoletas.   
  • Integração com protocolo SAML2 autenticação com rede CAFÉ e CILogon.
  • Utilização do Comanage para obtenção de informações necessárias para autorização do acesso a dados de colaboração      
  • Melhorias no front-end:
    • correção do link para o site do LIneA no rodapé
    • correção no logo do INCT
    • melhorias na página de contato
    • adição do nome da instância no título da landing page 
  • Correção de bug no upload de arquivos CSV no Target Viewer   
  • Correção de bug no overlay do DES DR2 objects catalog no Sky Viewer  
  • Adição de dados de teste ao ambiente de desenvolvimento (tutorial list) 
  • Registro dos mapas do release Y6A2  
  • Validação da documentação de setup do ambiente local de desenvolvimento 

Portal SSO (Solar System Objects)

  • Melhorias na página de exibição de detalhes de ocultação, incluindo:
    • Otimização na exibição de coordenadas estelares e do objeto
    • Exibição de unidades de medida
  • Início do desenvolvimento de soluções para determinar a incerteza projetada no céu da predição de ocultação e do instante central da ocultação:
    • Integração de profissional ao time para executar o arcabouço teórico
    • Estudo sobre a determinação a partir de matrizes de covariância das soluções orbitais disponibilizadas pelo laboratório JPL/Nasa
    • Estudo sobre a determinação a partir de refinamento orbital próprio com o software NIMA
  • Continuação do desenvolvimento do serviço de subscrição
  • Desenvolvimento parcial de biblioteca Python para simplificar e tornar o acesso à API do Portal SSO mais eficiente
  • Desenvolvimento e implementação de banner de alerta para indicar que o acesso está sendo feito em ambiente de homologação
  • Correção de bug detectado em tarefas de backend recorrentes que utilizam Celery
  • Criação parcial de curso para uso do Portal SSO 

Photo-z Server

  • Integração com Orchestration:
    • Criação de classe genérica para gerenciamento do Upload 
    • Elaboração de mecanismo de integração do Orchestration no Pz Server (desenvolvimento e produção)
  • Implementação de mecanismo para Upload diretamente pelo Pz Server library.
  • Correção de erro ao exibir conteúdo de um Upload.
  • Correção de erro no build automático da página de documentação da API
  • Melhorias na página de produtos (simplificação do table preview para acelerar o carregamento da página) e de pipelines (botão de voltar).  
  • Novo card para futuro pipeline pz-compute 
  • Passagem de conhecimento sobre deploy de ambiente homolog  
  • Update do Django e instalação do pre-commit 

Photo-z Compute

  • Investigação sobre complexidade de implementação de algoritmos (comparação entre LePhare, Delight e GPz) 
  • Implementação de scripts simplificados de execução já incluindo configurações de ambiente 
  • Início da implementação de parâmetros de configuração específicos de cada algoritmo, começando pelo FlexZBoost.  
  • Adaptação do script de preparação de processos (captura de metadados para controle de proveniência) para funcionar com Slurm, em substituição ao antigo escalonador HTCondor. 

Comunicação, Divulgação e Educação:

  • Notícias:
    • Curso de fundamentos de prog. em Python reúne 70 pessoas. 
    • Participação na Semana de Informação Profissional do Colégio Andrews;
    • Tese Manuela;
    • Análise de risco pelo CAIS/RNP
    • Ocultação estelar é detectada através do portal (pt. 1)
  • Relatório INCT:
    • Material para a Angela
    • Acompanhamento de reuniões
    • Reunião para tirar dúvidas dos projetos científicos
  • Vídeo INCT:
    • Revisão do storyboard
    • Reunião de acompanhamento
    • Revisão da narração
  • Bolsistas CDE: envio do relatório parcial das atividades realizadas entre março e maio
  • Webinar: Astrofotografia (6/06)
  • Organização da planilha financeira;
  • Solicitação de modelo para carta do BPG enviada ao Ministério;

Comunicação:

  • LIneA na mídia:
    • Mais de 30 sites noticiaram a participação brasileira no LSST com base no texto elaborado pela área de comunicação e enviado às Instituições dos pesquisadores participantes.
    • Mapeamento das notícias
  • Apresentação sobre comunicação por Luciana B. Gomes para o time LIneA.
  • Inscrições para o minicurso de comunicação em 24/06 até 1/07.
  • Contato com a Folha de São Paulo (novidades sobre o LSST: camêra, LSST LATAM).
  • Participação no programa Boletim de Ciência da Fiocruz.

Minicurso: 

  • Montagem do cronograma para todos os cursos até novembro;
  • Envio dos certificados para os participantes do curso “Fundamento de prog. em Python”;
  • Curso: Versionamento de código: git, github e gitflow
    • validação em 27/05
    • inscrições em 3/06 até 10/06
    • aplicação em 12/06
    • curso no Google Classroom
  • Desenvolvimento do curso Fundamentos de banco de dados; 

Divulgação Científica:

  • Postagens nas redes sociais:
    • Meteoros em Portugal
    • Espelho do LSST
    • O lado escuro da Lua
    • Imagens astronômicas para o dia dos namorados
    • Solstício de inverno
  • Ocultação estelar detectada pelo Solar System Portal
    • Entrevista com Giuliano Margoti, mestrando UTFPR
    • Edição dos vídeos
    • Publicação em 21/06 e 25/06

Site:

  • Revisão do site
  • Verificação das pendências pelo Colativo
  • Issues pendentes no github
  • Verificação da documentação para deploy do novo site
  • Atualização das notícias e anúncios (concluído) 
  • Atualização dos webinares (em andamento) 
  • Publicações revisadas 2019 a 2021 (concluído) 
  • Revisão do Glossário (em andamento)

2024 / Maio

2024 / Maio

Atividades de Planejamento

  • Escrita e revisão coletiva dos documentos de descrição dos projetos Science Server, PZ Server e PZ Compute com cronogramas de entregas até dezembro de 2024.
  • Escrita da política de backup e restauração.  

Atividades de operação e gerenciamento de infraestrutura computacional.

Apoio ao usuário

  • 13 tickets resolvidos (helpdesk)
  • 5 atendimentos em vídeo chamada (office hours)
  • Documentação Open OnDemand finalizada
  • Documentação Cluster Apollo finalizada 
  • Gravação Vídeo “How to Register” em andamento 

Manutenção

  • Levantamento de problemas de hardware com a empresa Big Blue
  • Upgrade de servidores que apresentaram falha de segurança
  • Instalação e configuração da versão mais recente do servidor Bacula

Autenticação e Autorização

  • Atualização dos grupos de usuários com perfis públicos
  • Preparação para adição do CILogon no front-end do Open OnDemand 
  • Integração do PZ Server com o ambiente de testes Satosa-dev
  • Contato com equipe responsável pela distribuição do CILogon para implementação do serviço usando Satosa sem custos.   

Monitoramento

  • Criação e configuração de um ambiente de testes para o Grafana
  • Validação dos dashboards existentes

Curadoria de dados

  • Plano de organização dos diretórios de dados científicos públicos e privados
  • Documentação do acervo de dados para as coleções DES DR2 e Gaia DR3

Desenvolvimento e melhorias nas plataformas científicas:

Science Server

  • Varredura em todas as funcionalidades dos microsserviços Sky Viewer e Target Viewer instalados no ambiente de testes do LIneA, levantamento de requisitos e correção de bugs.   
  • Integração com COmanager para identificação do usuário e identificação dos grupos

Portal SSO

  • Início do desenvolvimento do serviço de subscrição para usuários cadastrados receberem avisos de futuras ocultações por email 

Photo-z Server

  • Mudança do sistema de autenticação e autorização para o Satosa-dev, em preparação para implementação do CILogon
  • Novo card na tela de pipelines (PZ Compute) 
  • Atividades de passagem de conhecimento sobre deploy da aplicação no ambiente de testes do LIneA
  • Update do Django e instalação da ferramenta pre-commit 
  • Botões de retorno na barra de navegação da página pipelines 
  • Implementação de autenticação interna com Django na orchestration 

Photo-z Compute

  • Testes com RAIL TPZ Lite 
  • Início da implementação do suporte ao algoritmo LePhare   
  • Identificação de bugs e abertura de issues no repositório dos autores 
  • Produção de jupyter notebooks de caracterização de amostras

Comunicação, Divulgação e Educação:

  • Notícias:
    • Total de inscritos no minicurso
    • Anúncio de bolsas remanescentes (desenvolvedores)
    • LSST LATAM (aviso das inscrições)
    • Infraday #14
    • Pesquisadores participam de evento na França (…)
  •  Webinar: Ofer (2/05)
  • Vídeo INCT:
    • Seleção de imagens
    • Solicitação de mudanças no storyboard
    • Reunião para alinhamento com a Flávia da Matta
  • Organização geral do Google Classroom
  • Novos afiliados no site (Bruno Moraes, Andresa e Iago)
  • Envio do relatório parcial para todos os bolsistas (infra, dev e cde)
  • Declarações:
    • Marcela Vitti (justificando a falta na faculdade)
    • Bruno Moares (concurso CBPF)
  • Circular sobre grants LSST DA
  • Convite webinar: Paulo Assunção (Astrofotografia)

Divulgação Científica:

  • Vídeo sobre o LSST
  • Aurora Boreal
  • James Webb
  • Homenagem ao dia do Físico

Relações Públicas:

  • Revisão de textos
  • Contato com Universidades

Minicurso: 

  • E-mail de lembrete para as aulas
  • Formulário de presença (dias 2 e 9)
  • Organização do material no Google Classroom
  • Cronograma dos próximos cursos

Site:

  • Github issues: #10, #11, #12, #14, #16,
  • Reunião de documentação
  • Validação da documentação (localmente e no servidor – com barreiras ainda)

2024 / Abril

2024 / Abril

Atividades de Planejamento

  • Elaboração de projeto submetido à FINEP
  • Elaboração de projeto submetido à RNP 
  • Discussão inicial sobre projeto a ser submetido ao LSST Discovery Alliance
  • Iniciado o processo de importação do novo roteador Juniper e da nova storage 1.2 PB junto ao CNPq;
  • Iniciado o processo de importação do novo roteador Juniper;
  • Iniciado o processo de importação da nova storage 1.2 PB;

Atividades de operação e gerenciamento de infraestrutura computacional.

  • Instalação do Open OnDemand (ODD);
  • Criação de vídeos tutoriais sobre o OOD;
  • Criação e Deploy de novas imagens com OOD nas apl`s cluster Apollo; 
  • Atualização do COmanage e simplificação dos fluxos de registro;
  • Comparação dos grupos COmanage vs grupos LDAP;
  • Iniciado a validação da documentação de deploy do novo site;
  • Download, ingestão, indexação e verificação do acervo Gaia DR3; 

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

  • Mudanças na distribuição de distâncias das simulações (código de simulações);
  • Modificações nos gráficos de Quality Assurement do código de detecção, seguindo o que foi determinado pelo grupo de pesquisa.
  • Atualização das tarefas definidas na reunião semanal;

WaZP

  • Nova versão python disponibilizada no github para testes

Orchestration

  • Finalizado a definição da estrutura.
  • Finalizado a primeira versão da API REST.
  • Implementado executor local com todas funcionalidades.
  • Implementação do executor slurm em andamento.

Photo-z Compute

  • Benchmark pipeline pz-compute após correções de bugs na instalação do Slurm utilizando o algoritmo flexzboost atingindo a marca de 9h de processamento para 40 bilhões de objetos.
  • Implementação de mudanças nas configurações e na manipulação dos dados de entrada e saída do pipeline para incluir o suporte a um novo algoritmo (TPZ). 
  • Início dos testes do pipeline pz-compute com Jupyter notebooks usando a interface Open OnDemand.  

Science Server

  • Revisão e correções de bugs no ambiente de desenvolvimento
  • Atualização das instruções de instalação
  • Dados de exemplo para uso dos desenvolvedores
  • Remoção do botão de Cutout
  • Remoção do botão explorer para classes de objetos que não sejam cluster
  • Alteração da imagem DES DR2 agora hospedada no LINEA
  • Correção do login federado no User query
  • Correção das credenciais de usuário ao fazer login federado.
  • Iniciado o desenvolvimento de pipeline para teste de criação de imagens PTIFF do DES para uso com o Science Server

Photo-z Server

  • Corrigido bug no build da documentação do pz server lib.
  • Desenvolvimento de pipeline simples de contagem de objetos para testes da orchestration
  • Melhorias na navegabilidade do site através do uso de cache nas prévias das tabelas de dados
  • Correção de bug na criação automatizada da documentação 
  • Atividades de passagem de conhecimento sobre deploy da aplicação no ambiente de testes  

Portal SSO

  • Atualização/Integração do portal com catálogo GAIA DR3 
  • Novos filtros por diâmetro e duração do evento
  • Correção de bugs

CANVAS

  • Reuniões de planejamento
  • Levantamento de requisitos e escrita de documentação técnica (em andamento) 

Comunicação, Divulgação e Educação:

  • LIneA News (1º trimestre de 2024)
  • Notícias:
    • Novo portal de ocultações estelares (redes sociais, mailchimp e agências de fomento)
    • Lançamento do novo site LIneA
    • 15 anos de atuação do Singulani no LIneA
    • 15 anos de atuação da Rosane no LIneA
    • Prêmio do Clécio de Bom no evento de Harvard
    • Novos resultados do levantamento DESI
    • Notificação de manutenção (serviço de registro)
  • Webinar:
    • Contato com o palestrante Prof. Ofer Lahav (foto, título e resumo)
    • Arte para redes
    • Links Zoom + Youtube
  • Revisão da política de backup
  • Revisão de todos os planos de trabalho dos bolsistas (atualização)
  • Vídeo INCT do e-Universo:
    • Revisão do roteiro
    • Seleção de imagens
    • Reunião com equipe Flávia da Matta
  • Organização da planilha de bolsistas
  • Relatório INCT do e-Universo (Angela):
    • Conversa e apresentação do escopo de trabalho
    • Reunião com o coordenador INCT (2 encontros)
    • Reunião com o vice-coordenador INCT 
    • Definição dos responsáveis por cada assunto
    • Forms de participação nos projetos científicos
  • Modelo de relatório para os bolsistas do INCT

Divulgação Científica:

  • Dia mundial da Astronomia
  • Maior câmera digital do mundo
  • Chuva de meteoros
  • 34 anos do telescópio Hubble 

Relações Públicas:

  • Revisão final para o texto “Dia mundial da Astronomia”
  • Texto para Universidades (base a partir do texto “Dia mundial da astronomia”)
  • Listagem dos PIs e suas Universidades
  • Listagem de sites, podcasts e youtubers
  • E-mail para os PIs informando sobre a ação de contato com as universidades
  • Oportunidade de participar na matéria do RBS TV (conversa e convite para Thaisa)

Minicurso: 

  • Arte para o minicurso
  • Desenvolvimento do formulário de inscrição
  • Inscrições abertas de 5/04 a 19/04
  • Desenvolvimento do e-mail com orientações para os interessados

Site:

  • Revisão dos issues (git)
  • Reunião sobre documentação (Colativo + LIneA)

2024 / Março

2024 / Março

Atividades de Planejamento

  • Planejamento estratégico
  • Cronograma de entregas e eventos 2024
  • Elaboração de material introdutório e atividades de Onboarding do time de bolsistas CNPq — reuniões de planejamento e sessões online de atividades hands-on 
  • Organização dos projetos e subprojetos de software no Github Projects
  • Elaboração de modelos de documentos de planejamento de projetos de software e de design e requisitos para produtos de software 
  • Início do preenchimento de documentos de design e requisitos a partir de entrevistas com stakeholders 
  • Organização de reuniões semanais de acompanhamento dos projetos com o time de bolsistas  

Atividades de operação e gerenciamento de infraestrutura computacional.

  • Implementado dashboard para monitoramento do servidor de aplicação da aplicação SolarSystem.
  • Ajustes foram realizados no dashboard usuários LIneA no Grafana.
  • Foram criadas contas e configurados os acessos dos bolsistas do INCT. 

Descrição de serviços Melhorias nas plataformas científicas:

CANVAS

  • Início Setup Backend e configurações básicas do repositório.

Photo-z Server

  • Correção de bug na library pz-server – atualização de dependências
  • Correção de link na página de tutoriais. 
  • Ocultação da barra de rolagem 
  • Adicionado menu de navegação com caminho completo das páginas
  • Disponibilização de QA notebooks de exemplo na documentação da biblioteca pzserver 

Orchestration

  • Iniciado o desenvolvimento da orchestration.

Photo-z Compute

  • Testes com algoritmo TPZ em amostras reduzidas 
  • Testes iniciais de execução de notebooks no ambiente HPC usando a platatorma OnDemand 

Portal SSO

  • Preparação do portal para release público 
  • Diversas correções de bugs
  • Refactoring do ambiente de dev/produção para facilitar o deploy
  • Refactoring no frontend da página pública. 
  • Implementação de interfaces compatíveis com dispositivos móveis. 
  • Melhorias no Formulário de filtro. 
  • Funções para calcular parâmetros adicionais no pipeline de predição
  • Criação de Documentação de usuário. 
  • Criação de Documentação da API. 
  • Controle de proveniência das predições de ocultações
  • Design das telas do futuro serviço de subscrição 
  • Implementação de endpoints para serviço de subscrição

Science Server

  • Userquery/Daiquiri Autenticação com Shibboleth/Login federado foi finalizada.
  • Remoção das páginas antigas de sign up
  • Implementação de devcontainer no repositório do daiquiri 

Comunicação, Divulgação e Educação:

  • Notícias:
    • Aniversário da Associação LIneA
    • Resumo da chamada pública para as bolsas do INCT do e-Unvierso
    • Boas-vindas aos novos bolsistas
    • Lançamento do vídeo IDAC
  • Bolsas INCT
    • Slides de onboarding
    • Boas-vindas aos novos bolsistas (1/03)
    • Mapeamento das inscrições para notícias
  • Projeto FINEP
    • Informações dos pesquisadores
    • Informações das instituições
    • Informações equipe técnica
  • Organização das informações dos membros INCT e BPG
  • Solicitação de teses e dissertações aos pesquisadores do BPG
  • Planilhas: membros INCT e BPG para o site
  • Declaração Gustavo
  • Vídeo INCT: colaboração no desenvolvimento do roteiro
  • LSST LATAM: informe de pré inscrição 
  • Bolsistas CDE
    • Retorno dos e-mails com dúvidas
    • Encontros semanais de até 1h para alinhamento das atividades
    • Elaboração dos planos de trabalho por área

Divulgação Científica:

  • Especial mês das mulheres (uma postagem por semana homenageando astrônomas relevantes para a área)
  • Equinócio de outono (20/03)
  • Eclipse da Lua (25/03)

Relações Públicas:

  • Mapeamento das notícias envolvendo o LSST (jornais)
  • Mapeamento das universidades dos PIs BPG
  • Notícia sobre o dia mundial da astronomia (gancho para abordar o lsst, bpg e o linea) para enviar aos jornais
  • Textos:
    • LSST América Latina
    • vídeo IDAC
    • site institucional

Minicurso: 

  • Desenvolvimento do minicurso “Fundamentos de programação para python”
    • Slides, exercícios e gabarito
  • Validação do curso (25/03)
  • Cronograma para aplicação do minicurso

Site:

  • Revisão do site -dev
  • Issues no github
  • Handover técnico (ajustes pedidos, planilha automatizadas e publicação)
  • Solicitação da criação da pág “publicações”
  • Teses e dissertações planilhadas e atualizadas no site atual
  • Planilhar publicações de 2022 e ajustar erros no site
  • Planilhar e atualizar publicações de 2023 e 2024

2024 / Fevereiro

2024 / Fevereiro

Atividades de Planejamento

  • Continuação do processo de avaliação das candidaturas dos bolsistas técnicos para atuar nos projetos de desenvolvimento de software, infraestrutura, divulgação científica e educação. 

Atividades de operação e gerenciamento de infraestrutura computacional.

  • Foi realizada visita ao datacenter (LNCC) para manutenção corretiva da solução de armazenamento HPC Lustre. Foram realizados diversos testes de performance com o apoio do suporte Dell a fim de identificar o problema de performance.
  • Foi iniciada a avaliação da aplicação Apache-Nifi incluindo a implementação de infraestrutura virtual para o desenvolvimento de um protótipo de pipeline básico com o objetivo de automatizar a transferência de dados na rede interna do IDAC/BR;
  • Foram realizados avanços no projeto de reestruturação do COManage com diversos problemas corrigidos entre eles a captura de atributos e a atualização da versão da aplicação. Ainda em andamento.
  • Foi registrado na plataforma de importação do CNPq o pedido de importação via FOB do novo roteador de borda que foi negociado com a Binário/Juniper.
  • Realizada aplicações de patches de segurança em diversos servidores para corrigir problemas de vulnerabilidades;
  • Foi realizada a atualização completa da plataforma wordpress que hospeda o website.

Descrição de serviços Melhorias nas plataformas científicas:

TNO

  • Finalizada a integração do pipeline Predict occultation em ambiente docker/cluster;
  • Criado script para deploy o pipeline Predict occultation;
  • Atualização da lista de asteroides utilizando dados do MPC de forma automatizada.
  • Refactoring da página pública, para compatibilidade em diversos tamanhos de tela.
  • Pipeline foi atualizado para que a etapa de cálculo do path coeff seja executada em paralelo. 
  • Novos atributos científicos foram calculados/adicionados aos resultados do pipeline.
  • Melhorias no processo de deploy/instalação do portal e pipeline.
  • Todos os campos das tabelas asteroide e predição foram revisados.
  • Adicionado página de documentação utilizando documentos Markdown.
  • Pipeline teve suas dependências atualizadas saindo de python 2.x para python 3.x.
  •  Programa de geração de datas para as ephemerides passou a ser executado uma única vez por job ao invés de ser executado para cada asteroide.
  • O devcontainer foi revisado e o processo de onboard no projeto foi facilitado.
  • Foi implementado pipelines de CI para validação e formatação dos scripts python. 
  • Está sendo implementado pipeline CI para validação e formatação do frontend Javascript. 

Photo-z Server

  • Criado pipeline de exemplo usando LSDB;
  • Realizado estudo de como utilizar o SLURM em conjunto com Dask/Ray;

Photo-z Compute

  • Finalizada a apresentação e entrega do relatório de testes de escalabilidade no cluster Apollo e validação da instalação do Slurm com atualização das previsões de duração das rodadas com os dados do LSST DR1, após upgrade na infraestrutura.     

Comunicação, Divulgação e Educação:

Notícias:

  • Dia internacional das meninas e mulheres na ciência
  • Workshop ESO
  • Press release BAO-DES

Bolsas INCT do e-Universo:

  • Entrevistas
  • Organização dos selecionados
  • Elaboração dos e-mail de devolutiva (aceitos, em espera, não selecionados)
  • Desenvolvimento do plano de trabalho para cada área de atuação

Site:

  • Migração para o github LIneA
  • Handover

Lembrete das reuniões: 1) BPG situação política; 2) AGO presencial

Reunião presencial: AGO, hack session de software, handover site

Desenvolvimento do projeto para FINEP

2024 / Janeiro

2024 / Janeiro

Atividades de Planejamento

  • Organização e execução de processo para avaliação das candidaturas dos bolsistas técnicos para atuar nos projetos de desenvolvimento de software, infraestrutura, divulgação científica e educação. 

Atividades de operação e gerenciamento de infraestrutura computacional.

  • Foi realizada visita ao datacenter (LNCC) para executar manutenção preventiva em diversos servidores e equipamentos, entre eles servidores de aplicação e de virtualização, além da conferência das etiquetas de patrimônio;
  • Foi realizado o mapeamento e o planilhamento de todos os ativos de TI sob a gestão do LIneA/INCT; a planilha foi compartilhada com o gerente do suporte de TI do LNCC Gisele Zukowski;
  • Foi implementado novo quadro de monitoramento na ferramenta grafana para comparação de uso do Cluster Apollo e o sistema de arquivos Lustre.  
  • Foi realizada a contratação do Felipe Cardoso para implementar melhorias no sistema de registro tendo sido desenvolvido um plano de trabalho com foco na correção dos problemas e na atualização da solução COManage.
  • Foi definida pela diretoria do LIneA com apoio da equipe de TI e do suporte à e-Ciência da RNP a compra do roteador Juniper ACX7024 junto à Binário/Juniper.
  • Foi organizado e realizado processo seletivo para a contratação de um novo analista de infraestrutura para compor o time de operações de TI. 
  • Contratação pela empresa Infax e integração do novo analista de infraestrutura de TI pelo time LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

TNO

  • Finalizada a integração do pipeline Predict occultation em ambiente docker/cluster;
  • Criado script para deploy o pipeline Predict occultation;

Photo-z Server

  • Criado pipeline de exemplo usando LSDB;
  • Realizado estudo de como utilizar o SLURM em conjunto com Dask/Ray;

Photo-z Compute

  • Finalizada a apresentação e entrega do relatório de testes de escalabilidade no cluster Apollo e validação da instalação do Slurm com atualização das previsões de duração das rodadas com os dados do LSST DR1, após upgrade na infraestrutura.     

Comunicação, Divulgação e Educação:

Notícias:

  • Press release DES
  • Resultado da chamada pública CNPq para o BPG
  • Pesquisadores brasileiros ganham posições de destaque no LSST-DESC

Bolsas INCT do e-Universo:

  • Oferta para os juniores do BPG;
  • Implementação dos JAs-BPG
    • CHAMADA PÚBLICA PARA BOLSAS DO INCT
      • Texto para chamada pública
      • Desenvolvimento da arte 
      • Desenvolvimento do edital
      • Lançamento do edital (17/01)
      • Organização das candidaturas
      • Resposta aos e-mail de dúvidas
      • Organização das áreas para entrevista dos candidatos
      • Realização de entrevistas

Press release DES:

  • Tradução da notícia
  • Revisão por pares
  • Criação do design
  • postagem nas redes sociais 
  • Envio para as principais agências (SAB, CNPq, FINEP, ABC, RNP, FAPERJ)

Site:

  • Revisão dos textos das chamadas
  • Pedido de previsão de entrega
  • Revisão geral do site

Declaração: Comprovante de orientação – Gustavo Rossi

Criação do Linktree para o LIneA

Contato com o pós-doc Douglas: envio do relatório final de atividades como bolsista