LIneA cria comitê para definir novo centro de processamento na era do LSST

26 de setembro de 2018 | LIneA

Uma importante missão do LIneA é a de operar um Centro de Acesso e Processamento de Dados Astronômicos (CAPDA) para dar suporte aos pesquisadores brasileiros envolvidos em grandes levantamentos astronômicos em andamento como o o Sloan Digital Sky Survey (SDSS) e o Dark Energy Survey (DES) ou previstos para um futuro próximo como ao Dark Energy Spectroscopic Instrument (DESI) e o Large Synoptic Survey Telescope (LSST). Uma visão esquemática atual do centro, em operação há mais de 10 anos, é apresentada na Figura 1. O centro consiste de uma combinação de clusters fornecendo uma capacidade de processamento da ordem de 20 Tflops; e de armazenamento da ordem de 800 PB onde estão montados diferentes banco de dados (40 TB), um sistema Lustre associado ao cluster de processamento (20 TB), um sistema de armazenamento (740 TB). Fazem parte deste centro um grande número de máquinas de apoio onde estão montadas máquinas virtuais (VMs) que hospedam os diversos serviços oferecidos aos usuários.

Este centro vem sendo desenvolvido e operado desde 2007 e a Figura 2 mostra o perfil de investimento realizado com contribuições do ON, FAPERJ, FINEP e do INCT do e-Universo. Em alguns casos os equipamentos já estão relativamente obsoletos e fora da garantia, precisando ser substituídos. Além disso, a partir de 2020 uma grande quantidade de dados surgirá com a entrada em operação da câmera de comissionamento do LSST. A partir de 2022 terá início o levantamento propriamente dito. Só no primeiro ano de observações o LSST irá gerar mais de 40 vezes o volume de dados obtido pelo levantamento DES.

Embora ainda não suficientes, novos recursos estão previstos pela FINEP e INCT do e-Universo. O desafio é conciliar investimentos necessários a curto prazo e a disponibilidade de recursos que serão feitas de forma parcelada com uma visão para o que deve ser o CAPDA no período 2020-2022 quando se espera poder abrigar um Centro Regional de Acesso aos dados do LSST. O dimensionamento e a escolha da arquitetura do centro irão depender do número de usuários, do tipo de dados que os pesquisadores associados ao projeto precisam, do tipo de processamento a ser realizado no centro e da possibilidade de se criar uma federação de clusters formando uma nuvem com uma política de uso que atenda as necessidades do LSST e as condições impostas pelo projeto para seu credenciamento como um DAC regional.

Como os pontos a serem considerados são os mais diversos, envolvendo rede, armazenamento de grandes volumes de dados, diferentes arquiteturas de banco de dados para a realização de buscas e para alimentar workflows científicos e diversos tipos de processamento (map-reduce, mpi), jupyter notebooks e interfaces de visualização, busca e acesso a dados, qualquer tomada decisão requer o conhecimento em várias áreas. Levando isso em consideração foi criado um comitê de especialistas formado por pesquisadores, cientistas da computação e tecnologistas do LIneA (C. Singulani, C. Adean, F. Massena), do LNCC (L. Gadelha), do NCE/UFRJ (C. Micelli), do ON (M. Maia), da RNP (J. Souza, E. Sanchez), da UFCG (F. Brasileiro) e da firma que mantém o centro (SLACAM). Os nomes foram indicados em consulta com os responsáveis dos institutos envolvidos e a diretoria da SBC. Sua primeira reunião foi realizada no dia 28/08/2018 quando foram apresentadas: as atividades do LIneA, a visão de futuro de como apoiar os pesquisadores do BPG para que possam acessar e processar os dados do LSST, os vínculos impostos pelos recursos disponíveis, e o perfil de desembolso mais provável. Também foi feita uma primeira avaliação sobre proposta recebidas, até agora, de fornecedores sobre possíveis soluções de armazenamento e processamento. A próxima reunião do comitê está programada para o dia 25/09/2018 quando o LIneA terá a visita, apoiada pelo INCT do e-Universo de William O’Mullane responsável pela a área de gerenciamento de dados do LSST.

O grupo de participantes do LSST é apoiado pelo Instituto Nacional de Ciência e Tecnologia do e-Universo ( INCT do e-Universo). O LIneA é apoiado pelo Ministério da Ciência, Tecnologia, Inovação, e Comunicações; Fundação Carlos Chagas de Amparo à Pesquisa do Estado do Rio de Janeiro; Conselho Nacional de Desenvolvimento Científico e Tecnológico; e Financiadora de Estudos e Projetos.

Figura 1 – Visão esquemática da infraestrutura computacional do LIneA. As máquinas estão localizadas no centro do LNCC em Petrópolis. A atual capacidade de processamento e armazenamento é de 20 Tflops e 740 TB, respectivamente. Crédito da imagem: LIneA.

 

Figura 2 – A linha de tempo e o custo em USD dos investimentos feitos na implantação do Centro de Acesso e Processamento de Dados Astronômicos (CAPDA) do LIneA que servirá como ponto de partida para o centro de acesso aos dados do LSST. Crédito da imagem: LIneA.

 

 

 

Deixe um comentário