A reunião anual para os colaboradores do Dark Energy Survey (DES) acontece de 9 a 13 de outubro, sendo sediado no National Center for Supercomputing Applications (NCSA) de forma presencial e virtual.
As inscrições para membros da colaboração se encerram dia 29/09.
Para mais informações, acesse: https://publish.illinois.edu/des-fall2023/
NCSA’s National Petascale Computing Facility
No início de agosto notificamos os usuários do processo de instalação dos novos nodes de processamento Apollo e a reestruturação do ambiente HPC.
A última atualização, de acordo com a equipe de TI, é que foi finalizada a instalação do novo cluster e a integração do lustre ao novo ambiente.
No momento, a previsão de liberação do ambiente para uso é até o dia 15/09, no entanto, algumas paralisações pontuais ainda serão necessárias até a completa conclusão do projeto.
O trabalho pode ser acompanhado através do link: https://github.com/orgs/linea-it/projects/23/views/1
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
Durante os dias 7 a 11 de agosto foi realizada em Tucson (EUA), presencialmente, a Reunião Anual do Legacy Survey of Space and Time (LSST): o Project & Community Workshop (PCW). O encontro reúne diversos colaboradores envolvidos no projeto de todo o mundo, além da equipe de construção do telescópio, gestores de dados e membros da comunidade científica.
Imagem 1: Foto de todos os participantes do PCW 2023 (fonte)
Neste ano, participaram presencialmente, o analista de sistemas e contribution lead do IDAC-Brazil, Carlos Adean (LIneA), a cientista e program manager do programa de contribuição in-kind BRA-LIN, Julia Gschwend (LIneA) e a estudante de iniciação científica Heloisa Mengisztki (IFSC/LIneA). Todos os representantes do LIneA fizeram apresentações em sessões do PCW.
Imagem 2: Time LIneA
Julia Gschwend apresentou o andamento da contribuição brasileira para o time de Photo-z e se reuniu com a coordenação do programa internacional de contribuições in-kind.
Carlos Adean participou das discussões em torno da implementação dos IDACs, que estão espalhados em diversos lugares pelo mundo, inclusive no Brasil. Além disso, Carlos também esteve presente no debate sobre a adoção e uso de soluções para a infraestrutura de redes e de transferência de dados, que foi conduzida pelo time de operações do Observatório Rubin.
Heloisa Mengisztki, estudante de iniciação científica do LIneA contemplada pelo financiamento de viagem do LSST para o PCW, apresentou o pôster sobre os resultados da sua participação na pesquisa “Optimizing software infrastructure to compute photo-z in the LSST scale: preparing for DR1”.
Imagem 3: Apresentação do pôster
Ao longo da semana os participantes puderam acompanhar diversos assuntos apresentados nas sessões do PCW envolvendo o uso e administração de dados, operação, aplicações científicas de software e infraestrutura. Além da conferência especial, no dia 11/08 Carlos, Julia e Heloisa fizeram uma visita ao NOIRLab, onde se reuniram com o time responsável pela operação do Astro Data Lab, incluindo Knut Olsen, cientista responsável pela coordenação dos esforços dos vários IDACs espalhados pelo mundo.
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
O Survey MaNGA observou mais de 10 mil galáxias próximas a Via-Láctea e todo esse material foi capturado através de um instrumento formado por feixes contendo até 127 fibras, chamado de unidade de campo integral (Integral Field Units – IFU). Cada uma destas fibras, que estão presas a uma placa, coletam a luz de uma parte diferente da galáxia (imagem 1, esquerda) e a envia para a entrada do espectrógrafo, representada pela caixa pontilhada (imagem 1, direita).
Imagem 1, esquerda: Galáxia espiral mostrando círculos para as fibras IFU individuais (fonte)
Imagem 1, direita: Esquema de funcionamento do IFU (fonte)
No recente artigo “Mapping the stellar population and gas excitation of MaNGA galaxies with MEGACUBES. Results for AGN versus control sample”, é apresentada uma análise dos mais de 10 mil cubos de dados presentes no MaNGA – o que representa a análise de 40 milhões de espectros ou cerca de 140 bilhões de dados individuais (data-points). Esse esforço foi liderado por Rogério Riffel (UFRGS), junto com a participação de membros do Brazilian Participation Group (BPG) e da equipe de TI do LIneA, que tornaram disponíveis todos os resultados para a comunidade através da plataforma científica: https://manga.linea.org.br/ (imagem 2).
Imagem 2: Exemplo de utilização da plataforma MaNGA
No trabalho, os autores demonstram o potencial científico que este tipo de dado tem ao fazer uma análise das populações estelares em galáxias de núcleo ativo, chamados de AGNs. Os AGNs são galáxias que possuem um buraco negro supermassivo em seu centro acretando matéria e emitindo energia.
Imagem 3: Representação de um AGN
Um dos principais resultados do artigo revela que as AGNs possuem um excesso de população de idade intermediária, e que a perda de massa dessas estrelas alimenta o núcleo ativo, tornando-o mais “poderoso” (imagem 4).
Imagem 4: Resultados obtidos para os AGNs
Outro resultado importante encontrado diz respeito a classificação de galáxias com linhas de emissão. Esta deve ser baseada em diagramas de diagnóstico que consideram, além das razões de fluxos de linhas de emissão (Hβ, [O III]λ5007, Hα e [N II]λ6583), também a largura equivalente – representado por Hα. Os diagramas de diagnóstico espacialmente resolvidos revelam que a emissão do AGN está concentrada na região interna de raio efetivo (Re) – raio que concentra a metade de luz da galáxia. Isso mostra que a classificação do AGN depende da região utilizada e que as razões das linhas de emissão devem ser consideradas em conjunto com a largura equivalente de Hα para uma classificação adequada da atividade. É apresentado, na imagem 5, um diagrama composto que proporciona um mapeamento mais abrangente da excitação do gás.
Imagem 5: Plots para linhas de emissão e largura equivalente.
Agradecemos ao Prof. Dr. Rogério Riffel e colaboradores pelas informações para construção do texto e parabenizamos os mesmos pelo trabalho.
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
Com a chegada do novo cluster HPE Apollo 2000 Gen 10 Plus System, o LIneA dá início a implantação do seu centro de dados que, entre outras atividades, irá operar o Independent Data Access Center do LSST (IDAC-LSST) no Brasil, fazendo parte de uma rede de IDACs espalhados pelo mundo. O projeto prevê uma completa reorganização da topologia das máquinas atuais e um reaproveitamento dos clusters antigos para outras funções, incluindo a disponibilização do cluster Altix para o nosso Jupyter Hub, a separação das máquinas ICE-X do cluster Apollo, adquirido anteriormente e que será expandido com novas máquinas para um total de 1072 cores (upgrade de 624) em 28 servidores (upgrade de 12).
Para executar esta reorganização, foram contratadas firmas especializadas para revisar todo o cabeamento e reorganizar os racks. Está sendo considerado, também, o plano de upgrade da rede interna desenvolvido pela Rede Nacional de Ensino e Pesquisa (RNP) para instalação das novas máquinas e manutenção das antigas. Quando finalizado, o scheduler Slurm será instalado nos sistemas em substituição ao HT Condor que é usado atualmente. Durante o período de trabalho algumas interrupções nos nossos serviços serão necessárias, mas os usuários serão notificados antecipadamente.
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
No dia 7 de junho, o LIneA ofereceu mais uma edição do minicurso de Jupyter Notebook. A novidade deste ano foi o convite feito a dois ex-estudantes de iniciação científica para elaborar o minicurso dentro do idealizado como uma preparação da comunidade brasileira para utilização dos dados do Legacy Survey of Space and Time (LSST), que estarão disponíveis futuramente para utilização. No momento, foram usados os dados do Dark Energy Survey (DES), que trazem uma grande semelhança com os do LSST.
Andressa Wille e Gabriel Oliveira planejaram, organizaram e apresentaram todo o minicurso sob orientação da equipe científica do LIneA. O minicurso obteve recorde de 88 inscritos, alcançando 13 estados, 33 instituições distintas e pelo menos 4 áreas diferentes de atuação – leia texto completo aqui.
Os participantes desta edição contaram com suporte via slack, acesso a todo o material (escrito + vídeo da aula) e uma sessão tira dúvidas, proposta para duas semanas após o minicurso, dando tempo dos participantes utilizarem a ferramenta e apresentarem suas dúvidas.
Em um breve feedback enviado pelos participantes, conseguimos ver que estes consideraram o minicurso bem organizado, com boa abordagem dos temas e duração da aula adequada. Além disso, alguns participantes demonstraram interesse em minicursos de outros temas e como participar das atividades do LIneA.
O LSST Photo-Z Virtual Symposia é um encontro dedicado ao desenvolvimento e interoperabilidade de software relacionado à geração e validação científica de redshifts photométricos (photo-z) para o Legacy Survey of Space and Time (LSST) – dentro do contexto do comissionamento e dos programas de contribuição in-kind. São convidados os responsáveis pelas contribuições in-kind de todos os países e os cientistas interessados no assunto, deste modo, o evento é uma maneira de reunir as pessoas fazendo com que seja uma oportunidade delas conhecerem outros colaboradores e formar grupos de trabalho, visando uma cooperação mútua.
Nesta primeira edição realizada no dia 27 de junho, Julia Gschwend, program manager da colaboração BRA-LIN, apresentou o andamento da contribuição in-kind que o LIneA está oferecendo para o LSST na área de photo-z. Em sua fala, Julia explicou como está o desenvolvimento das frentes de trabalho que envolvem o PZ Server (uma plataforma para criação e hospedagem de dados auxiliares), PZ Compute (produção de tabelas de photo-z em grande escala para os data releases anuais) e a validação destes produtos.
A próxima edição do LSST Photo-Z Virtual Symposia está prevista para novembro deste ano.
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
O servidor do Science Server, localizado no National Center for Supercomputing Applications (NCSA), sofreu instabilidade por conta de mudanças na infraestrutura local, o que impactou o funcionamento das três instâncias da ferramenta.
O que aconteceu?
Como todas as contas foram bloqueadas pelas novas normas de segurança, a equipe LIneA precisou recuperá-las para então entender o ocorrido. O NCSA foi notificado pela equipe que logo em seguida se debruçou para solucionar o problema. Todo o processo durou aproximadamente um mês.
A ferramenta já está funcionando normalmente.
Qualquer problema técnico deve ser notificado ao helpdesk@linea.org.br
No mês de maio o LIneA abriu chamada para interessados, em todos os estágios de carreira, para uma nova edição do minicurso de Jupyter Notebook. Todo o minicurso foi desenvolvido e apresentado por dois ex-estudantes de iniciação científica do laboratório, Andressa Wille (UTFPR) e Gabriel Oliveira (UFSM).
O intuito da edição 2023 do minicurso foi de reforçar o treinamento da comunidade brasileira no uso de dados que futuramente ficarão disponíveis pelo Legacy Survey of Space and Time (LSST). A ferramenta utilizada e os dados trabalhados, do Dark Energy Survey (DES), têm natureza muito semelhante aos do LSST, deixando evidente a importância de familiarização com os mesmos.
A seguir, é apresentado um panorama das inscrições recebidas durante o período de 12 de maio a 2 de junho de 2023.
No total foram recebidas 88 inscrições para o minicurso. A maior concentração de interessados está distribuída pelos estados de São Paulo (28), Rio de Janeiro (25) e Minas Gerais (10). O alcance do minicurso chegou a outras regiões além do Sudeste e Sul, que sempre estão muito presentes nas atividades desenvolvidas pelo laboratório. Como pode ser visto na figura 1, foram recebidas inscrições do Amazonas, Ceará, Alagoas e outros. Embora sejam inscrições pontuais, isso demonstra o alcance da chamada e ao mesmo tempo a necessidade de se estar mais presente nestas regiões.
figura 1: Estados
Foram contabilizadas 33 instituições espalhadas pelo Brasil, sendo as mais presentes: UFRJ (24), USP (9) e UNESP(7). Outras inscrições pontuais vindas, por exemplo, da UFBA, UFRN, UFS, UFC e UFPE também foram recebidas.
Em relação ao estágio de carreira, de acordo com a figura 2, a maior parte dos inscritos são graduandos (30) e doutorandos (22). Também podemos encontrar professores do ensino superior e outros, como por exemplo, aposentados.
figura 2: Estágios de carreira
A área mais presente é a astronomia (59) seguido da física (19). Outras áreas como ciência da computação, engenharia, matemática e biotecnologia também foram identificadas (figura 3).
figura 3: áreas de atuação
Agradecemos pelo interesse de todos os inscritos e também pela aplicação do minicurso por Andressa Wille e Gabriel Oliveira.
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
A estudante de Iniciação Científica do LIneA, Heloisa Mengisztki, foi selecionada na chamada Enabling Science Program e irá receber um auxílio para participar presencialmente do evento Project & Community Workshop (PCW) 2023, que acontece no mês de agosto em Tucson (EUA). Ela é a terceira aluna de iniciação científica a participar deste evento com o apoio da parceria LIneA/LSSTC.
No evento Heloisa apresentará seu trabalho no cálculo de redshifts fotométricos.
Parabenizamos a Heloísa pela conquista e participação no PCW 2023!
O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais, apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.
