Lançamento da plataforma “LIneA Science Server” no Brasil

14 de junho de 2021 | LIneA

Para facilitar o acesso aos dados acumulados ao longo de seis anos de observação do projeto Dark Energy Survey, o LIneA está disponibilizando acesso aos 600 milhões de objetos detectados numa área de 5.000 graus quadrados do hemisfério sul – o maior levantamento astronômico realizado até hoje. Através dessa interface, o profissional, estudante e o curioso podem visualizar as imagens obtidas em cinco diferentes filtros, sobrepor o catálogo de objetos identificados nessas imagens e explorar suas propriedades em diferentes levantamentos, caso disponível em outros repositórios (e.g. VIZIER, NED).

A interface é a versão mais recente daquela desenvolvida pelo LIneA e disponibilizada no National Center for Supercomputer Applications (NCSA) desde 2018. A vantagem de ter o serviço disponível localmente é a de ter maior governança da infraestrutura física e não depender da conexão internacional, dessa forma melhorando a qualidade do serviço.

Nesta primeira versão alguns serviços (e.g user query) estão sendo adaptados a infraestrutura local e, portanto, ainda não estão disponíveis, mas ficarão em breve.

Tendo em vista a complexidade da ferramenta, o LIneA organizou um primeiro curso sobre a interface e pretende lançar uma segunda edição. Pedimos ainda que qualquer problema com a plataforma seja informado pelos canais disponíveis na própria ferramenta.

Este esforço está também sendo feito em preparação para a implantação e operação de um Independent Data Access Center (IDAC) do Legacy Survey of Space and Time (LSST) aqui no Brasil. A médio prazo, o LIneA irá fazer a curadoria dos dados dos levantamentos do LSST, além do que já é feito para o SDSS e DES, bem como de outros levantamentos sob demanda.

Para conhecer mais a ferramenta, desde seu desenvolvimento até as possibilidades de utilização, apresentamos as perspectivas de dois membros da equipe LIneA diretamente ligados a plataforma: Glauber Vila Verde (Arquiteto de Software) e Adriano Pieres (Pesquisador).

Como foi desenvolver a plataforma?

Glauber Vila Verde: A primeira dificuldade no desenvolvimento de aplicações para ciência é entender a necessidade do pesquisador, afinal “como um desenvolvedor vai entender o que é preciso para a uma análise de dados astronômicos?”. Essa comunicação/tradução das necessidades entre o time de ciência e o time de TI é a primeira barreira no desenvolvimento de qualquer aplicação. Passado essa fase, vêm as complicações imposta pela natureza dos dados: tabelas com bilhões de linhas e centenas de colunas, imagens com Terabytes são grandes demais até para processamento em cluster – imagina para um navegador! Estamos sempre buscando formas de conseguir um equilíbrio entre performance e usabilidade, buscando soluções que já existam e integrando em nossas ferramentas. Essa busca constante por melhores soluções é o que torna o trabalho de desenvolver soluções para ciência tão interessante.

Quais são as mudanças que a plataforma apresenta?

G: A plataforma Science Server passou por muitas melhorias ao longo do tempo, ela foi criada em 2013 como parte do LIneA Science Portal, em 2016 nós decidimos separar o Science Server, que tinha necessidade de estar sempre atualizado com as últimas tecnologias, para desenvolvimento web. Nesse momento, nós reescrevemos a aplicação toda utilizando novos frameworks e redesenhamos sua estrutura. Desde então a ferramenta vem sendo atualizada constantemente, sempre utilizando as últimas versões de suas dependências. Estamos sempre desenvolvendo novas features para facilitar o trabalho dos pesquisadores e integrando novos dados . Agora em 2021 estamos integrando o Science Server ao ambiente do LIneA para atender a comunidade brasileira.

O que a plataforma permite ao usuário?

G: O Science Server foi desenvolvido com intuito de ser uma forma rápida e prática para análise visual de Big Data. Ela permite a visualização de todas as imagens do Dark Energy Survey (DES) com alta qualidade e acesso rápido a partir do navegador do usuário e, além das imagens, é possível acessar os catálogos de objetos, seja por meio de querys ou fazendo um overlay desses objetos na imagem, é possível fazer comparações entre imagens e catálogos. É uma interface intuitiva com muitas features, o que permite o trabalho em equipe em um mesmo conjunto de dados, como nas validações de imagens utilizando o tile viewer ou no target viewer com a análise de lista de objetos de interesse de um determinado grupo.

Quais são as contribuições que as ferramentas do LIneA Science Server podem trazer para pesquisa/pesquisador?

Adriano Pieres: As contribuições que esta plataforma pode trazer para o pesquisador são inúmeras e indispensáveis. Outliers, objetos no limite da classificação, asteroides, galáxias extensas na imagem e uma série de artefatos nos catálogos são quebra-cabeças para o pesquisador quando possui apenas o catálogo de fontes, somente se revelando quando vistos nas imagens coadicionadas. E quando se tem um levantamento de 5000 graus quadrados é muito mais prático abrir a plataforma em uma página no browser e procurar pela localização do objeto do que selecionar uma imagem, baixar, analisar, procurar pela posição. Soma-se a isso a possibilidade de fazer o upload de catálogos, efetuar queries no bando de dados, ter os cutouts dos objetos. Enfim, uma grande gama de possibilidades a um clique de distância.

O que esperar do futuro para a ferramenta?

A: Vejo o futuro da ferramenta com um acoplamento com o Jupyter Notebook, de forma que o usuário tenha uma área para melhor avaliar os dados, inclusive contando com a integração entre as ferramentas já disponível (como no caso do UserQuery e TargetViewer). Além disso, o gerenciamento e disponibilidade de novos dados públicos vai fazer com que a ferramenta tenha um alcance ainda maior tanto em número de usuários, como em profundidade e área coberta pelos novos levantamentos para os usuários que virão.

Para utilizar a Plataforma LIneA Science Server, basta acessar o site linea.org.br, na página inicial ir até “Acesso a Dados” e clicar no ícone “DES Brasil”.

O LIneA e o INCT do e-Universo tem como missão apoiar a participação de pesquisadores associados a instituições brasileiras em grandes levantamentos astronômicos como o Dark Energy Survey (DES), Sloan Digital Sky Survey (SDSS), Dark Energy Spectroscopic Instrument (DESI), Legacy Survey of Space and Time (LSST) e outros projetos internacionais como o Transneptunian Occultation Network (TON).

O LIneA é um instituto de ciência e tecnologia privado cuja missão é viabilizar a participação de pesquisadores e estudantes em colaborações internacionais; apoiar centros emergentes, fornecer acesso a acervos de dados astronômicos e a uma infraestrutura de processamento intensivo de dados, e desenvolver soluções para problemas de big data nas áreas de astronomia e cosmologia. Atualmente as atividades do LIneA são apoiadas pela FINEP e pelo INCT do e-Universo.

Deixe um comentário